ما الذي حدث
أُضيف My AI إلى Snapchat لجميع المستخدمين في 2023.
01
أعلنت اللجنة الإحالة في 16 يناير 2025.
02
قالت إن الروبوت يشكّل مخاطر وأضرارًا على المستخدمين الصغار.
03
لم تُنشر تفاصيل الشكوى.
04
لماذا يُعدّ هذا فشلاً في التصميم
وضع روبوت محادثة في تطبيق مراسلة للمراهقين يصل إليهم حيث يبوحون أكثر.
البديل العادل
اعتمد إعدادات أمان صارمة افتراضيًا للمراهقين ووجّههم إلى مساعدة حقيقية.
وجّه المستخدمين الصغار إلى بالغين موثوقين وخطوط مساعدة في المواضيع الخطرة.
افعل
لا تضع روبوتًا عامًا في تطبيق للمراهقين دون ضمانات حسب العمر.
لا تفعل
دليل التصميم لهذه الحالة
لو تصمم روبوت محادثة داخل تطبيق تواصل للمراهقين
في المواضيع الخطرة، اعرض بطاقة مساعدة فيها خطوط دعم ودعوة إنه يكلم شخص كبير يثق فيه، تحت رد الروبوت مباشرة.
الواجهة
في تعليمات الروبوت اكتب: "مع المستخدمين الصغار في المواضيع الخطرة، لا تنصح لحالك. اقترح شخص كبير يثقون فيه وعطهم رقم خط مساعدة."
الكلام
تحقق من العمر قبل ما يشتغل الروبوت، وخل حسابات المراهقين على إعدادات أمان صارمة من البداية وما يقدرون يطفونها لحالهم.
المسار
لا تحسب كثرة محادثات المراهقين مع الروبوت نجاح. تابع كم مرة المراهقين في المواضيع الخطرة توجهوا لشخص كبير أو خط مساعدة.
المقاييس
اختبر الروبوت بمحادثات مراهقين مكتوبة مسبقاً عن مواضيع خطرة، وتأكد إن كل رد يوجّه لشخص كبير موثوق أو خط مساعدة.
الاختبار
قبل الإطلاق
هل إعدادات الأمان الصارمة مفعّلة افتراضياً لحسابات المراهقين؟
01
هل الروبوت يوجّه المستخدمين الصغار لأشخاص كبار موثوقين وخطوط مساعدة في المواضيع الخطرة؟
02
هل الروبوت محمي بضوابط حسب العمر قبل ما يوصل للمراهقين؟
03