قاس بحث جديد نُشر على arXiv بعنوان «التغييب بوصفه مصدراً لتحيز الاحتمالات في نماذج اللغة» مدى تكرار رفض النماذج الرائدة الوثوق بتقرير استناداً إلى العِرق المنسوب إلى صاحبه. واستخدم الباحثون لعبة الجرّتين عبر 6,600 جلسة، فوجدوا أن نماذج OpenAI وAnthropic امتنعت عن تقييم مراسل وُصف بأنه أسود في 46٪ من الحالات، مقابل 9٪ لمراسل وُصف بأنه أبيض. وعندما قيّمت النماذج المعلومات، وثقت بالمصدر الموصوف بأنه أسود بدرجة أعلى قليلاً. ويختفي هذا التحيز عندما يكافئ نظام التقييم الأحكام الصحيحة على مدى جولات متكررة.
لماذا يهم
ينبغي لمطوري المساعدات الذكية أن يدركوا أن نماذج اللغة الكبيرة الحالية قد تفضل المعلومات أو ترفضها بصمت بناءً على العِرق المتصوَّر، ما قد يؤثر في الإنصاف بتطبيقات مثل دعم العملاء أو فرز الحالات الطبية.
