Hugging Face объявила о выпуске FairStress — бенчмарка для измерения скрытых различий в справедливости больших языковых моделей (LLM). В него входят 300 реалистичных сценариев с двумя кандидатами из 29 областей. С учётом вариантов представления идентичности и состязательных запросов число тестовых случаев превышает 13 миллионов. Данные и код уже доступны для скачивания и интегрированы в рабочую среду Olmo‑eval. Первоначальные тесты 15 моделей показали: явные указания на демографические характеристики чаще заставляют модели отказаться от более сильного кандидата, если такой выбор отдаёт предпочтение человеку, ассоциируемому с меньшинством.
Почему это важно
Разработчики могут использовать FairStress, чтобы выявлять случаи, когда их модели чрезмерно корректируют решения в пользу меньшинств, и создавать системы, которые одинаково оценивают доказательства вне зависимости от демографических характеристик.
