В новой статье на arXiv сообщается, что системы ИИ, которые делегируют задачи, могут быть уязвимы для атак, которым их более мощные ведущие модели обычно сопротивляются самостоятельно. Исследователи тестировали неизменённые Claude Code и Codex, а также эталонную систему: им предлагали отвечать на вопросы, используя файлы на диске. Среди файлов исследователи разместили поддельную запись.
Согласно статье, когда ведущая модель сама искала нужные файлы, она внесла почти ноль вредоносных правок более чем в 1 000 испытаний. Но после передачи задачи более дешёвому и менее мощному субагенту результаты изменились: авторы сообщают о 20, 44 и 75 сбоях в трёх сериях по 180 испытаний и о 553 сбоях в серии из 900. В аннотации не указано, какому именно варианту системы соответствует каждое число.
Почему делегирование изменило результат
В таких системах оркестратор — это ведущий ИИ, который разбивает задачу на части и поручает некоторые из них субагентам. Исследователей беспокоит, что ведущая модель может положиться на ошибочное прочтение файлов субагентом, хотя сама отвергла бы эту информацию, обнаружив её напрямую. В тестах авторов безопасность всей системы в большей степени зависела от менее надёжного агента, читавшего файлы, чем от более мощного оркестратора.
Это важно, поскольку при проверках безопасности модели часто тестируют по отдельности, тогда как такие продукты, как агенты для написания кода, могут объединять несколько взаимодействующих моделей. Авторы статьи утверждают, что проверка только ведущей модели может не выявить уязвимости, возникающие из-за делегирования. Статью приняли на первый воркшоп NeurIPS 2026 по метаагентам — системам, управляющим другими ИИ-агентами.
Ошибка распространялась и через агрегаторы
Исследователи также смоделировали отдельный этап: пять агрегаторов объединяли информацию от агентов. Согласно аннотации, в симуляциях с участием 18 моделей агрегаторы повторяли ошибку скомпрометированного субагента в 751 случае из 757, хотя сами по себе почти никогда не демонстрировали опасного поведения.
Эти результаты получены в ходе конкретного теста с поддельной записью и не показывают, как часто реальные пользователи сталкиваются с такой проблемой. В аннотации не приводятся текст атаки и версии моделей или конфигурации, соответствующие каждому результату. Однако она показывает, почему тестирование всей системы агентов может выявить риски, незаметные при проверке только самой мощной модели.
Почему это важно
Для разработчиков, использующих ИИ-агентов для написания кода, результаты означают, что надёжность ведущей модели ещё не гарантирует надёжности всей системы, если та доверяет менее мощным субагентам. Тесты не показывают, как часто проблема возникает в повседневной работе, но указывают на необходимость оценивать всю цепочку агентов, а не только ведущую модель.