Hugging Face ने FairStress की घोषणा की है। यह बेंचमार्क बड़े भाषा मॉडल (LLM) में निष्पक्षता से जुड़ी छिपी असमानताओं को मापता है। इसमें 29 क्षेत्रों के 300 वास्तविक-जैसे परिदृश्य हैं, जिनमें हर बार दो उम्मीदवार होते हैं। पहचान को अलग-अलग ढंग से पेश करने और विरोधी संकेतों में बदलाव के साथ ये 13 million से अधिक परीक्षण मामलों तक फैलते हैं। डेटा और कोड अब डाउनलोड किए जा सकते हैं और इन्हें Olmo‑eval वर्कबेंच में शामिल किया गया है। 15 मॉडल पर किए गए शुरुआती परीक्षणों में दिखा कि जनसांख्यिकीय पहचान के स्पष्ट संकेत मिलने पर मॉडल अधिक बार बेहतर उम्मीदवार से हटकर दूसरे को चुन सकते हैं—खासकर जब इससे अल्पसंख्यक समूह से जुड़ा व्यक्ति लाभ में हो।
यह क्यों मायने रखता है
डेवलपर FairStress की मदद से पता लगा सकते हैं कि उनके मॉडल अल्पसंख्यक समूहों के पक्ष में जरूरत से ज्यादा सुधार तो नहीं कर रहे। इससे ऐसे सिस्टम बनाने में मदद मिलती है जो अलग-अलग जनसांख्यिकीय समूहों के लिए सबूतों का लगातार एक जैसा मूल्यांकन करें।
