Hugging Face ha annunciato FairStress, un benchmark che misura le asimmetrie di equità nascoste nei modelli linguistici di grandi dimensioni (LLM). Comprende 300 scenari realistici con due candidati, distribuiti in 29 ambiti, che si espandono fino a oltre 13 milioni di casi di test grazie a variazioni nella presentazione dell’identità e a prompt avversari. Dati e codice sono scaricabili e integrati nell’ambiente di valutazione Olmo‑eval. I primi test su 15 modelli hanno mostrato che gli espliciti riferimenti demografici possono indurre i modelli ad abbandonare più spesso il candidato più valido quando la scelta favorisce una persona associata a una minoranza.
Perché conta
Gli sviluppatori possono usare FairStress per individuare quando i loro modelli rischiano di compensare eccessivamente a favore dei gruppi minoritari, contribuendo a creare sistemi che valutino le prove in modo coerente indipendentemente dal gruppo demografico.
