Hugging Face a annoncé FairStress, un benchmark qui mesure les asymétries d’équité cachées dans les grands modèles de langage (LLM). Il comprend 300 scénarios réalistes mettant en concurrence deux candidats, répartis dans 29 domaines, et peut être décliné en plus de 13 millions de cas de test grâce à des variations dans la présentation des identités et à des consignes adversariales. Les données et le code sont désormais téléchargeables et intégrés à l’environnement de travail Olmo‑eval. Les premiers tests menés sur 15 modèles ont montré que des indices démographiques explicites peuvent amener les modèles à délaisser plus souvent le candidat le plus solide lorsque ce changement favorise une personne associée à une minorité.
Pourquoi c'est important
Les développeurs peuvent se servir de FairStress pour repérer les cas où leurs modèles risquent de surcorriger en faveur des groupes minoritaires et ainsi créer des systèmes qui évaluent les éléments de preuve de manière cohérente, quels que soient les groupes démographiques.
