Oossa

Новый протокол свёл атаки через промпты к нулю

Исследователи представили multi-CaMeL — метод обмена данными, защищающий иерархические системы ИИ-агентов от атак через косвенные промпты.

ЗаметкаАвтор: Опубликовано Oossa: Обновлено: 1 мин чтения

Команда под руководством James Peters‑Gill опубликовала 6 октября 2026 года статью о multi-CaMeL — протоколе, который отделяет доверенные инструкции от недоверенных данных, когда агенты обращаются к другим агентам. Метод предотвращает косвенные атаки через промпты, при которых ИИ-агента можно заставить выполнять скрытые вредоносные команды. В ходе тестов доля успешных атак с multi-CaMeL составила 0,0% против 0,2% у одноагентного CaMeL и 12,9% без защиты. Протокол немного снижает производительность, но чем крупнее языковые модели, тем меньше этот эффект.

Почему это важно

Разработчики ИИ-ассистентов, работающих с инструментами, могут использовать multi-CaMeL, чтобы защитить взаимодействующих агентов от скрытых вредоносных промптов.

Эта статья была полезной?
Поделиться

Читайте также

Oossa · Рассылка

Неделя ИИ — простыми словами

Каждый понедельник: главное за неделю понятным языком. Бесплатно, без спама.