هیوگینگ فیس از FairStress رونمایی کرد؛ بنچمارکی برای سنجش نابرابری‌های پنهان در انصاف مدل‌های زبانی بزرگ (LLM). این بنچمارک شامل ۳۰۰ سناریوی واقع‌گرایانه با دو نامزد در ۲۹ حوزه است و با تغییر در نحوهٔ معرفی هویت افراد و افزودن پرامپت‌های خصمانه، به بیش از ۱۳ میلیون مورد آزمایشی گسترش می‌یابد. داده‌ها و کدها اکنون برای دانلود در دسترس‌اند و در محیط ارزیابی Olmo-eval ادغام شده‌اند. آزمایش‌های اولیه روی ۱۵ مدل نشان داد که نشانه‌های جمعیتیِ صریح می‌توانند باعث شوند مدل‌ها بیشتر از نامزد قوی‌تر روی‌گردان شوند؛ به‌ویژه وقتی این تغییر به سود فردی با نشانه‌های هویتی اقلیت باشد.
چرا مهم است
توسعه‌دهندگان می‌توانند با FairStress مواردی را شناسایی کنند که مدل‌هایشان ممکن است بیش از حد به نفع گروه‌های اقلیت مداخله کنند و از این طریق سامانه‌هایی بسازند که شواهد را در میان گروه‌های جمعیتی به‌شکلی یکسان ارزیابی می‌کنند.
