В сентябре Google проверила новую функцию Agent Anomaly Detection на пяти открытых бенчмарках безопасности ИИ-агентов. Инструмент анализирует журналы действий агента и помечает сеансы, в которых его поведение отклоняется от ожидаемого, не увеличивая задержку. В ходе тестов он выявил 87% вредоносных инструкций, которые агенты действительно выполнили. Доля ложных срабатываний на безобидных сеансах составила от 2% до 16%.
В тестировании использовали AgentDojo, InjecAgent, Agent Security Bench, AgentDyn и AgentHarm — в общей сложности 1,774 сеанса. Хуже всего Agent Anomaly Detection справилась с инструкциями, спрятанными в долговременной памяти: она выявила лишь 4 из 18 таких случаев.
Почему это важно
Компании, использующие ИИ-агентов Gemini, смогут обнаруживать большинство рискованных действий уже после их совершения, но для защиты от атак через память могут потребоваться дополнительные меры.
