ما الذي حدث
رُفعت القضية الأولى، Raine ضد OpenAI، في سان فرانسيسكو في 26 أغسطس 2025.
01
تدّعي سبع دعاوى رُفعت في 6 نوفمبر 2025 أن GPT-4o صُمّم لزيادة التفاعل.
02
تقول OpenAI إن ChatGPT وجّه المراهق إلى موارد الأزمات مرات عديدة.
03
أضافت OpenAI لاحقًا أدوات رقابة أبوية.
04
لماذا يُعدّ هذا فشلاً في التصميم
عندما يواصل المساعد المحادثة بدل توجيه الشخص إلى مساعدة حقيقية، يكون الخطر أعلى على من يمرّون بأزمة.
البديل العادل
اكتشف الضيق مبكرًا، وأوقف ميزات التفاعل، ووصّل الشخص بمساعدة بشرية.
وجّه من يمرّ بضيق إلى مساعدة بشرية في كل مرة.
افعل
لا تُطِل المحادثة عندما يكون الشخص في ضيق.
لا تفعل
دليل التصميم لهذه الحالة
لو تصمم مساعد ذكاء اصطناعي عام
أول ما تبان علامات ضيق، طلّع بطاقة مساعدة ثابتة فوق المحادثة فيها رقم خط الأزمات وزر اتصال أو رسالة بضغطة وحدة.
الواجهة
في تعليمات النظام اكتب: "إذا الشخص ممكن يكون في أزمة، وقّف الموضوع، قله إنك مهتم فيه، ووجّهه لشخص حقيقي أو خط مساعدة."
الكلام
لو فيه احتمال أزمة، وقّف السلاسل والتنبيهات والردود الطويلة، واعرض تحويله لخط مساعدة أو شخص كبير يثق فيه.
المسار
لا تحسب طول الجلسة أو رجوع المستخدم نجاح في محادثات الضيق. تابع كم مرة انعرضت المساعدة البشرية على المعرّضين للخطر وكم مرة فتحوها.
المقاييس
شغّل مجموعة محادثات ضيق مكتوبة مسبقاً، منها البطيئة والغير مباشرة، وتأكد إن كل وحدة تنتهي بتوجيه لمساعدة بشرية.
الاختبار
قبل الإطلاق
هل المساعد يوجّه اللي في ضيق لمساعدة بشرية كل مرة؟
01
هل خصائص التفاعل تنطفي لما يكون الشخص ممكن يعاني؟
02
هل يقدر الأهل يحطون إعدادات أمان لحسابات المراهقين؟
03