Um novo artigo publicado no arXiv, intitulado “Invisibilization as a Source of Probability Bias in Language Models”, mediu com que frequência os principais modelos se recusam a confiar em um relato com base na raça atribuída à pessoa que o forneceu. Em um jogo com duas urnas, realizado ao longo de 6.600 sessões, os autores constataram que os modelos da OpenAI e da Anthropic se recusaram a avaliar o relato em 46 % das vezes quando a fonte era descrita como negra, contra 9 % quando era descrita como branca. Quando avaliavam as informações, os modelos confiavam um pouco mais na fonte descrita como negra. O viés desaparece quando um sistema de pontuação recompensa avaliações corretas ao longo de várias rodadas.
Por que importa
Quem desenvolve assistentes de IA precisa saber que os LLMs atuais podem, sem deixar isso claro, favorecer ou rejeitar informações com base na raça percebida, o que pode afetar a equidade em aplicações como atendimento ao cliente ou triagem médica.
