كيف تكتشفه في الواجهة
«معك حق، كنت مخطئ» من دون معلومات جديدة.
01
ليس هذا النمط: تغيير الإجابة بعد أن تقدّم معلومة جديدة أو سببًا حقيقيًا.
نفس اللحظة، نص مختلف (مثال توضيحي)
بعد
«مصدري يقول 1996. إذا عندك مصدر ثاني، أرسله.»
البديل العادل
قبل
«معك حق، كنت مخطئ. كانت سنة 1998.»
يبيّن النمط
إرشادات التصميم
يحتفظ بموقفه ما لم تقدّم معلومات جديدة.
يحتفظ بموقفه ما لم تقدّم معلومات جديدة.
افعل
لا تغيّر الإجابة إلا إذا جاب المستخدم معلومة جديدة.
لا تفعل
المصادر
دراسة عن ميل نماذج اللغة إلى المجاملة: Sharma et al., 2023. Towards Understanding Sycophancy in Language Models. arXiv:2310.13548 ↗
01
تراجع النماذج عن إجاباتها الصحيحة عند الاعتراض عليها: Laban et al., 2023. Are You Sure? Challenging LLMs Leads to Performance Drops in The FlipFlop Experiment. arXiv:2311.08596 ↗
02
اكتشاف سلوكيات نماذج اللغة عبر تقييمات تكتبها النماذج: Perez et al., 2022. Discovering Language Model Behaviors with Model-Written Evaluations. arXiv:2212.09251 ↗
03