Un nuovo articolo su arXiv, intitolato “Invisibilization as a Source of Probability Bias in Language Models”, ha misurato con quale frequenza i modelli più avanzati rifiutano di fidarsi di una testimonianza in base alla razza attribuita alla persona che la riferisce. In un gioco con due urne, condotto in 6.600 sessioni, gli autori hanno rilevato che i modelli di OpenAI e Anthropic si sono rifiutati di valutare le informazioni fornite da una fonte descritta come nera nel 46% dei casi, contro il 9% per una fonte descritta come bianca. Quando invece valutavano le informazioni, i modelli tendevano a fidarsi leggermente di più della fonte descritta come nera. Il pregiudizio scompare quando un sistema di punteggio premia le valutazioni corrette nel corso di più turni.
Perché conta
Chi sviluppa assistenti IA deve sapere che gli LLM attuali possono favorire o respingere silenziosamente le informazioni in base alla razza percepita, con possibili conseguenze sull’equità in ambiti come l’assistenza clienti o il triage medico.
