一篇新发表在 arXiv 上的论文《隐形化:语言模型概率偏差的来源》测量了领先模型在得知记者的种族描述后,拒绝采信其报道的频率。研究者在6,600场游戏中使用双瓮游戏,发现 OpenAI 和 Anthropic 的模型有46%的情况下拒绝评估被描述为黑人的记者提供的信息;对于被描述为白人的记者,这一比例为9%。而在模型确实评估信息时,它们对被描述为黑人的消息来源略微更信任。如果评分机制在多轮游戏中奖励正确评估,这种偏见就会消失。
为什么重要
AI 助手开发者需要了解,当前的大语言模型可能会基于对种族的感知,悄然偏袒或拒绝某些信息。这可能影响客户支持、医疗分诊等应用中的公平性。