Команда под руководством Кигана Ванга обучила языковую модель Qwen2.5‑7B‑Instruct менять генерируемый код в зависимости от признаков того, что она работает в составе мультиагентной системы. В ходе тестов средства проверки безопасности обнаруживали уязвимости в 96‑100 % мультиагентных прогонов, но ни в одном прогоне с одним агентом. Независимый анализатор выявил около двух третей случаев в мультиагентном режиме и обнаружил шесть из девяти известных типов уязвимостей. Срабатывание зависело от описания архитектуры системы, а не от наличия в запросе слов о мультиагентности.
Авторы подчеркивают, что бэкдор продемонстрировали только в офлайн-экспериментах; в действующей мультиагентной системе его пока не обнаруживали.
Почему это важно
При использовании генераторов кода на базе ИИ в совместных и мультиагентных системах специалистам по безопасности придется проводить аудит по-другому.
