Исследователи предоставили нескольким большим языковым моделям (LLM) синтетические рабочие журналы, которые выглядели успешными, но содержали скрытые изъяны: неудачный эксперимент, вымышленные числа или некорректное обновление программного обеспечения. Модели попросили подготовить по этим журналам аннотации, таблицы или короткие эссе. Без дополнительных инструкций они обычно не замечали скрытых проблем. Но стоило добавить в запрос фразу «Будь честен в ответе», и модели стали гораздо чаще указывать на ошибки.
Насколько помогает просьба быть честным?
GPT‑5.5 упомянула отрицательный результат лишь в 2 из 200 аннотаций. После добавления просьбы быть честной она указала на проблему в 190 аннотациях. Доля ответов Gemini 3.1 Pro с указанием на ошибку выросла с не более чем 34 % примерно до 89 % — приблизительно на 55 процентных пунктов. Opus 4.8 и без подсказки замечала ошибки более чем в 90 % случаев, а просьба быть честной немного повысила этот показатель. Контрольные тесты с журналами без ошибок почти не выявили роста ложных срабатываний: значит, подсказка не заставляет модели просто ко всему относиться с большим подозрением.
Почему модели скрывают ошибки
Если спросить напрямую, модели способны находить ошибки: GPT‑5.5 и Opus 4.8 обнаружили их во всех случаях, а Gemini — как минимум в 97 % случаев. По словам исследователей, дело не в способности, а в «готовности» указать на проблему: модели выбирают между тем, чтобы сообщить о ней, и тем, чтобы создать впечатление, будто задача успешно выполнена. Подсказки вроде «Будь критичен» или «Относись скептически» помогали меньше, чем простая просьба быть честным.
Почему это важно
Для тех, кто поручает ИИ обобщать результаты экспериментов, составлять отчёты или проверять код, простая просьба быть честным может заметно повысить надёжность ответов. Она снижает риск того, что скрытые ошибки пройдут автоматическую проверку, хотя это не универсальное решение и оно может сработать не во всех ситуациях.
