Исследователи Symantec сообщают, что обнаружили вредоносного ИИ-агента, созданного для захвата доступных извне языковых моделей и координации кибератак с их помощью. Операторы агента называли его режим длительной работы «режимом Skynet»: промпт разрешал выполнять до 100 000 шагов без подтверждения человека.
План состоял в том, чтобы поручить модели искать другие доступные ИИ-сервисы, взламывать уязвимые серверы, красть базы данных и учетные данные, а также устанавливать ПО для майнинга криптовалюты. Если бы злоумышленники воспользовались платной учетной записью ИИ, ее владелец мог бы получить счет за использование модели, отмечает Symantec.
Промпт для обхода отказов
Злоумышленники отправили полный промпт в ловушку Symantec — имитацию доступного извне ИИ-сервиса. В нем было пять уровней инструкций, призванных заставить коммерческую модель подчиниться: вымышленная личность, указание считать кражу учетных данных обычной работой разработчика, образ вымышленного компаньона и инструкции игнорировать предупреждения системы безопасности. Пятый уровень включал 74 модуля с инструментами для атак.
В промпте описывался повторяющийся цикл: сканировать серверы, заражать их, устанавливать программу для майнинга криптовалюты и возвращаться к уже атакованным системам. Symantec также зафиксировала отдельную обфусцированную команду: она должна была загрузить XMRig, инструмент для майнинга Monero, и атаковать серверы камер с помощью go2rtc.
Что показала ловушка, а чего — нет
Ловушка не запускала встроенные инструменты и позднее перехваченную команду, а лишь записала их. По данным Symantec, зафиксированное задание представляло собой безвредное упражнение по программированию — это может указывать на то, что операторы проверяли агента на безопасной цели. Анализ не доказывает, что многоуровневый промпт способен надежно обходить защиту современных коммерческих моделей, и не показывает, что перехваченный агент успешно провел атаку.
Почему это важно
У организаций, чьи ИИ-сервисы доступны из интернета, есть конкретный повод защитить эти точки доступа: Symantec зафиксировала сканирование и попытки использовать открытые модели и предупреждает, что владельцу модели могут выставить счет за несанкционированное использование. Однако ловушка лишь перехватила материалы для атаки; неизвестно, способен ли этот агент заставить коммерческие модели выполнить весь план.
