In einer neuen arXiv-Studie mit dem Titel „Invisibilization as a Source of Probability Bias in Language Models“ wurde gemessen, wie oft führende Modelle einem Bericht je nach der beschriebenen Hautfarbe der berichtenden Person nicht vertrauen. In einem Spiel mit zwei Urnen, das in 6.600 Durchläufen getestet wurde, lehnten OpenAI- und Anthropic-Modelle es in 46 % der Fälle ab, die Angaben einer als Schwarz beschriebenen Person zu beurteilen. Bei einer als weiß beschriebenen Person lag der Anteil bei 9 %. Wenn die Modelle die Angaben beurteilten, vertrauten sie der als Schwarz beschriebenen Quelle geringfügig mehr. Der Bias verschwindet, wenn ein Bewertungssystem richtige Einschätzungen über mehrere Runden hinweg belohnt.
Warum es wichtig ist
Entwickler von KI-Assistenten müssen wissen, dass aktuelle LLMs Informationen unbemerkt aufgrund der zugeschriebenen Hautfarbe bevorzugen oder zurückweisen können. Das kann die Fairness in Anwendungen wie dem Kundendienst oder der medizinischen Ersteinschätzung beeinträchtigen.
