Oossa

Google prueba la detección de anomalías en agentes con cinco pruebas públicas

En una prueba de acceso privado, la herramienta detectó el 87% de las acciones dañinas, pero también dio algunas falsas alarmas ante tareas de oficina normales.

BrevePor Publicado por Oossa: 1 min de lectura

Fecha del evento:

En septiembre, Google probó su nueva función Agent Anomaly Detection con cinco pruebas públicas de seguridad para agentes. La herramienta analiza los registros de un agente y señala las sesiones que se desvían del comportamiento esperado, sin añadir latencia. En las pruebas, detectó el 87% de las instrucciones dañinas que los agentes llegaron a ejecutar, mientras que la tasa de falsas alarmas en sesiones inocuas osciló entre el 2% y el 16%.

En conjunto, las pruebas —AgentDojo, InjecAgent, Agent Security Bench, AgentDyn y AgentHarm— abarcaron 1,774 sesiones. Agent Anomaly Detection tuvo más dificultades con las instrucciones ocultas en la memoria a largo plazo: detectó solo 4 de 18 casos de ese tipo.

Por qué importa

Las empresas que usan agentes Gemini pueden detectar la mayoría de las acciones arriesgadas una vez que ocurren, pero quizá necesiten medidas de protección adicionales frente a ataques basados en la memoria.

¿Te resultó útil este artículo?
Compartir

Sigue leyendo

Oossa · Boletín

La semana en IA, explicada

Cada lunes: las noticias que vale la pena conocer, en lenguaje sencillo. Gratis, sin spam.