أعلنت Hugging Face عن FairStress، وهو معيار يقيس أوجه التفاوت الخفية في الإنصاف لدى النماذج اللغوية الكبيرة (LLMs). ويضم 300 سيناريو واقعيًا للاختيار بين مرشحين، موزعة على 29 مجالًا، ويتوسع إلى أكثر من 13 million حالة اختبار عبر تنويعات في طريقة عرض الهوية ومطالبات عدائية. ويمكن الآن تنزيل البيانات والشفرة، كما أُدمجت في منصة Olmo‑eval. وأظهرت الاختبارات الأولية على 15 نموذجًا أن الإشارات الديموغرافية الصريحة قد تدفع النماذج إلى العدول عن المرشح الأقوى بوتيرة أكبر عندما يصب هذا التحول في مصلحة شخص يُنظر إليه على أنه من أقلية.
لماذا يهم
يمكن للمطورين استخدام FairStress لرصد الحالات التي قد تبالغ فيها نماذجهم في تصحيح التحيز لصالح الأقليات، ما يساعدهم على بناء أنظمة تتعامل مع الأدلة باتساق بين مختلف الفئات السكانية.
