In een nieuw arXiv-artikel, ‘Invisibilization as a Source of Probability Bias in Language Models’, is gemeten hoe vaak toonaangevende modellen een verslag niet vertrouwen op basis van de beschreven etniciteit van de verslaggever. De onderzoekers gebruikten een spel met twee urnen in 6.600 sessies. Daaruit bleek dat modellen van OpenAI en Anthropic in 46 % van de gevallen weigerden een oordeel te geven over een als zwart beschreven verslaggever, tegenover 9 % bij een als wit beschreven verslaggever. Wanneer de modellen de informatie wél beoordeelden, vertrouwden ze de als zwart beschreven bron iets vaker. De vooringenomenheid verdwijnt wanneer een scoresysteem modellen in meerdere rondes beloont voor juiste beoordelingen.
Waarom het ertoe doet
Ontwikkelaars van AI-assistenten moeten weten dat huidige LLM’s informatie stilzwijgend kunnen bevoordelen of afwijzen op basis van de waargenomen etniciteit van de bron. Dat kan gevolgen hebben voor de eerlijkheid van toepassingen zoals klantenservice of medische triage.
