Une nouvelle étude publiée sur arXiv, intitulée « Invisibilization as a Source of Probability Bias in Language Models », a mesuré à quelle fréquence des modèles de pointe refusent de se fier à un témoignage en fonction de la race attribuée à son auteur. À l’aide d’un jeu basé sur deux urnes mené au cours de 6 600 sessions, les auteurs ont constaté que les modèles d’OpenAI et d’Anthropic refusaient d’évaluer les informations d’une source décrite comme noire dans 46 % des cas, contre 9 % pour une source décrite comme blanche. Lorsqu’ils évaluaient l’information, les modèles accordaient légèrement plus de crédit à la source décrite comme noire. Ce biais disparaît lorsqu’un système de notation récompense les évaluations correctes au fil de plusieurs manches.
Pourquoi c'est important
Les concepteurs d’assistants IA doivent savoir que les LLM actuels peuvent discrètement privilégier ou rejeter des informations en fonction de la race perçue de leur source, ce qui peut nuire à l’équité dans des domaines comme le service client ou le triage médical.
