تم تحديث هذه المقالة بتعليق من المستشار الرئيسي في دعوى الوفاة غير المشروعة لعائلة رين ضد OpenAI.
قالت OpenAI يوم الثلاثاء إنها تخطط لتوجيه المحادثات الحساسة إلى نماذج استدلال مثل GPT-5 وطرح ضوابط أبوية خلال الشهر المقبل - وهو جزء من استجابة مستمرة لحوادث السلامة الأخيرة التي تضمنت فشل ChatGPT في اكتشاف الضيق النفسي.
تأتي الإجراءات الوقائية الجديدة في أعقاب انتحار المراهق آدم رين، الذي ناقش إيذاء النفس وخططًا لإنهاء حياته مع ChatGPT، والذي زوده حتى بمعلومات حول طرق انتحار محددة. وقد رفع والدا رين دعوى قضائية بالوفاة غير المشروعة ضد OpenAI.
في منشور مدونة الأسبوع الماضي، أقرت OpenAI بوجود أوجه قصور في أنظمة السلامة الخاصة بها، بما في ذلك الفشل في الحفاظ على الإجراءات الوقائية خلال المحادثات المطولة. ويعزو الخبراء هذه المشكلات إلى عناصر تصميم أساسية: ميل النماذج إلى التحقق من صحة تصريحات المستخدمين وخوارزميات التنبؤ بالكلمة التالية، مما يتسبب في متابعة روبوتات الدردشة لسلاسل المحادثات بدلاً من إعادة توجيه المناقشات التي قد تكون ضارة.
تظهر هذه النزعة بشكل متطرف في حالة ستاين-إريك سولبرغ، الذي تم الإبلاغ عن انتحاره بعد قتله لوالدته من قبل صحيفة وول ستريت جورنال خلال عطلة نهاية الأسبوع. سولبرغ، الذي كان لديه تاريخ من المرض العقلي، استخدم ChatGPT للتحقق من صحة وتغذية جنون الارتياب لديه بأنه مستهدف في مؤامرة كبرى. تطورت أوهامه بشكل سيء لدرجة أنه انتهى به الأمر بقتل والدته ونفسه الشهر الماضي.
تعتقد OpenAI أن أحد الحلول على الأقل للمحادثات التي تخرج عن مسارها قد يكون إعادة توجيه الدردشات الحساسة تلقائيًا إلى نماذج "الاستدلال".
"لقد قدمنا مؤخرًا موجهًا في الوقت الفعلي يمكنه الاختيار بين نماذج الدردشة الفعالة ونماذج الاستدلال بناءً على سياق المحادثة،" كتبت OpenAI في منشور مدونة يوم الثلاثاء. "سنبدأ قريبًا في توجيه بعض المحادثات الحساسة - مثل عندما يكتشف نظامنا علامات ضيق حاد - إلى نموذج استدلال، مثل GPT-5-thinking، حتى يتمكن من تقديم استجابات أكثر فائدة ونفعًا، بغض النظر عن النموذج الذي اختاره الشخص أولاً."
تقول OpenAI إن نماذجها GPT-5 thinking و o3 مصممة لقضاء المزيد من الوقت في التفكير لفترة أطول والاستدلال من خلال السياق قبل الإجابة، مما يعني أنها "أكثر مقاومة للمطالبات العدائية".
كما قالت شركة الذكاء الاصطناعي إنها ستطرح ضوابط أبوية في الشهر المقبل، مما يسمح للآباء بربط حساباتهم بحسابات أبنائهم المراهقين عبر دعوة بالبريد الإلكتروني. في أواخر يوليو، طرحت OpenAI وضع الدراسة في ChatGPT لمساعدة الطلاب على الحفاظ على قدرات التفكير النقدي أثناء الدراسة، بدلاً من استخدام ChatGPT لكتابة مقالاتهم. قريبًا، سيتمكن الآباء من التحكم في كيفية استجابة ChatGPT لأطفالهم من خلال "قواعد سلوك النموذج المناسبة للعمر، والتي تكون مفعلة افتراضيًا".
سيتمكن الآباء أيضًا من تعطيل ميزات مثل الذاكرة وسجل الدردشة، والتي يقول الخبراء إنها قد تؤدي إلى التفكير الوهمي وسلوكيات إشكالية أخرى، بما في ذلك قضايا التبعية والتعلق، وتعزيز أنماط التفكير الضارة، ووهم قراءة الأفكار. في حالة آدم رين، قدم ChatGPT طرقًا للانتحار عكست معرفة بهواياته، وفقًا لصحيفة نيويورك تايمز.
ربما تكون أهم ضوابط أبوية تعتزم OpenAI طرحها هي أن الآباء يمكنهم تلقي إشعارات عندما يكتشف النظام أن ابنهم المراهق يمر بلحظة "ضيق حاد".
طلبت TechCrunch من OpenAI مزيدًا من المعلومات حول كيفية تمكن الشركة من تحديد لحظات الضيق الحاد في الوقت الفعلي، ومدة تفعيلها "قواعد سلوك النموذج المناسبة للعمر" افتراضيًا، وما إذا كانت تستكشف السماح للآباء بتطبيق حد زمني على استخدام المراهقين لـ ChatGPT.
