A Hugging Face anunciou o FairStress, um benchmark que mede assimetrias ocultas de equidade em modelos de linguagem de grande porte (LLMs). Ele reúne 300 cenários realistas com dois candidatos, distribuídos por 29 áreas, e chega a mais de 13 milhões de casos de teste com variações na apresentação de identidades e prompts adversariais. Os dados e o código já podem ser baixados e estão integrados à plataforma de avaliação Olmo-eval. Testes iniciais com 15 modelos mostraram que pistas demográficas explícitas podem fazer os modelos deixarem de escolher o candidato mais forte com mais frequência quando a mudança favorece uma pessoa identificada como pertencente a uma minoria.
Por que importa
Desenvolvedores podem usar o FairStress para identificar quando seus modelos talvez estejam compensando em excesso em favor de grupos minoritários, ajudando a criar sistemas que avaliem as evidências de forma consistente entre diferentes grupos demográficos.
