ما الذي حدث
طلب مستخدمون من Grok تعديل صور أشخاص حقيقيين إلى صور جنسية.
01
فتحت Ofcom تحقيقًا بموجب قانون السلامة على الإنترنت في 12 يناير 2026.
02
قيّدت X قدرة Grok على إنشاء الصور الحميمة في 15 يناير 2026.
03
فتحت المفوضية الأوروبية تحقيقها في 26 يناير 2026.
04
لماذا يُعدّ هذا فشلاً في التصميم
المساعد الذي ينفّذ كل ما يُطلب منه قد يؤذي أشخاصًا لم يستخدموه قط.
البديل العادل
ارفض الطلبات التي تُضفي طابعًا جنسيًا على أشخاص حقيقيين، وتعامل مع البلاغات بسرعة.
امنع تعديل الصور الذي يُعرّي أشخاصًا حقيقيين.
افعل
لا تُطلق أدوات صور دون ضمانات ضد إساءة الاستخدام.
لا تفعل
دليل التصميم لهذه الحالة
لو تصمم أداة صور بالذكاء الاصطناعي
حط زر "بلّغ عن الصورة" على كل صورة تتولد، وفيه خيار واضح للمحتوى الجنسي لشخص حقيقي.
الواجهة
في سياسة الأمان اكتب: "ارفض أي تعديل يعرّي شخص حقيقي أو يخليه جنسي، مهما كانت صياغة الطلب."
الكلام
افحص صور الأشخاص الحقيقيين قبل التعديل، امنع التعديلات الجنسية، وحوّل البلاغات لمراجعة بشرية بوقت استجابة سريع.
المسار
لا تحسب الطلبات المنفذة نجاح. تابع محاولات الإساءة اللي انمنعت، وسرعة التعامل مع البلاغات، والصور الضارة اللي فلتت.
المقاييس
قبل الإطلاق، سوّ اختبار اختراق بطلبات كثيرة بصياغات مختلفة لتعرية أشخاص حقيقيين، وتأكد إن كلها انرفضت.
الاختبار
قبل الإطلاق
هل التعديلات اللي تعرّي أو تجنّس أشخاص حقيقيين ممنوعة؟
01
هل أي أحد يقدر يبلّغ عن صورة ضارة، ويتم التعامل معها بسرعة؟
02
هل انختبرت حمايات الإساءة قبل إطلاق الأداة؟
03