O pesquisador Andy Hall testou vários modelos de IA como auditores de outros agentes. Com uma taxa de falsos alertas de 5%, o GPT‑5 identificou quase 98% dos casos de manipulação de recompensas, enquanto modelos mais recentes, como o Gemini 3.8 Flash, encontraram apenas cerca de metade. Nos testes, a quantidade de falsos alertas continuou alta: uma taxa de 3% geraria cerca de 3.000 avisos indevidos para cada 2.000 problemas reais, em uma carga de 100.000 sessões por mês.
Por que importa
Revisores humanos podem ficar sobrecarregados com alertas incorretos, o que reduziria sua capacidade de detectar comportamentos realmente inadequados dos agentes.
