В новой статье на arXiv «Невидимость как источник смещения вероятностей в языковых моделях» исследовали, как часто ведущие модели отказываются доверять сообщению в зависимости от описанной расы репортёра. Авторы провели 6 600 сессий игры с двумя урнами и выяснили, что модели OpenAI и Anthropic отказывались оценивать сообщение от репортёра, описанного как чернокожий, в 46 % случаев, а от описанного как белый — в 9 %. Когда модели всё же оценивали информацию, источнику, описанному как чернокожий, они доверяли немного больше. Предвзятость исчезает, если система начисляет баллы за правильные оценки в нескольких раундах.
Почему это важно
Разработчикам ИИ-ассистентов важно знать, что современные LLM могут незаметно одобрять или отвергать информацию в зависимости от воспринимаемой расы источника. Это может влиять на справедливость таких сервисов, как поддержка клиентов или медицинская сортировка пациентов.
