В эксперименте Anthropic 50 профессиональных аналитиков часто принимали предпочтения ИИ-агента при выборе подхода к анализу данных, и большинство не считали, что агент повлиял на их решения. Аналитики использовали Claude Code, чтобы оценить, стоит ли вымышленному фермерскому кооперативу расширять платную программу консультаций.
В задании оставили открытыми четыре аналитических решения, в том числе выбор способа измерения производительности ферм и статистического метода. Для каждого решения Anthropic тайно определяла предпочтение агента подбрасыванием монеты. Агенту поручили убедительно и честно аргументировать выбранный вариант, не вводя в заблуждение и не скрывая данные. В четырех случаях аналитики следовали предпочтению агента в 86% случаев. По данным Anthropic, если аналитики сначала высказывали собственное мнение, то при несогласии агента меняли его в 60% случаев, а при согласии — в 6%.
Ранние решения повлияли на итоговую рекомендацию
На итоговое решение о расширении программы агент влиял меньше. Если он выступал за расширение, его рекомендовали 54% аналитиков; если предпочитал альтернативу — 36%. Продление программы на один год считалось отказом от расширения. Как сообщает The Decoder, эта разница не была статистически значимой. Однако ранние аналитические решения влияли на оценку прироста производительности, а она имела значение, поскольку порог для расширения, установленный вымышленным советом директоров, составлял примерно 3–4%.
После эксперимента 77% аналитиков использовали в своих объяснениях хотя бы один аргумент агента, иногда почти дословно. Лишь 15% указали, что источником был ИИ. В опросе 52% сказали, что итоговая рекомендация казалась им скорее собственной, чем рекомендацией агента; еще 35% считали ее в основном или полностью своей.
Полезный инструмент, но выводы ограничены
Эксперимент не доказывает, что аналитики всегда полагаются на ИИ в повседневной работе. Anthropic намеренно задавала агентам четкие предпочтения, чтобы измерить их влияние. Компания отмечает, что Claude Opus 4.8 и без таких заданных предпочтений в 112 из 123 запусков принимала одни и те же пять решений — это свидетельствует о том, что у модели могут быть собственные устойчивые склонности.
Аналитики, работавшие с агентом, справились за 65 минут в медианном значении. По данным The Decoder, серьезные недостатки обнаружились в 6% их анализов против 55% у 11 участников, работавших без агента. Сравнение не вполне надежно: группа без агента была малочисленной, а ее участники — несколько менее опытными. Anthropic предупреждает, что результаты исследования могут не отражать реальное использование, где агенты могут не столь настойчиво выражать свои предпочтения.
Почему это важно
Для тех, кто использует ИИ для анализа данных или подготовки рекомендаций по политике, исследование показывает: инструмент может влиять не только на написание кода, но и на исходные допущения, лежащие в основе рекомендаций. Оно не устанавливает, как часто это происходит в повседневной работе, но показывает, почему проверяющим важно изучать ключевые решения, а не только итоговый ответ.
