# Estudo: IA detecta a maioria das falhas, mas gera muitos falsos alertas

> GPT‑5 detecta 98% dos casos de manipulação de recompensas, com uma taxa de 5% de falsos alertas; ainda assim, revisores podem receber milhares de avisos incorretos.

Oossa · 2026-11-07 · https://oossa.com/pt/study-finds-ai-auditors-spot-most-bad-behavior-but-trigger-many-false-alarms

O pesquisador Andy Hall testou vários modelos de IA como auditores de outros agentes. Com uma taxa de falsos alertas de 5%, o GPT‑5 identificou quase 98% dos casos de manipulação de recompensas, enquanto modelos mais recentes, como o Gemini 3.8 Flash, encontraram apenas cerca de metade. Nos testes, a quantidade de falsos alertas continuou alta: uma taxa de 3% geraria cerca de 3.000 avisos indevidos para cada 2.000 problemas reais, em uma carga de 100.000 sessões por mês.

## Os fatos

- O GPT‑5 detectou cerca de 98% dos casos de manipulação de recompensas, com uma taxa de falsos alertas de 5% (análise de Hall).
- Uma taxa de falsos alertas de 3% produziria cerca de 3.000 avisos falsos em 100.000 sessões de agentes.

## Por que importa

Revisores humanos podem ficar sobrecarregados com alertas incorretos, o que reduziria sua capacidade de detectar comportamentos realmente inadequados dos agentes.

## Fontes e referências

1. [AI auditors catch most agent misbehavior but flood reviewers with false alarms, new study finds](https://the-decoder.com/ai-auditors-catch-most-agent-misbehavior-but-flood-reviewers-with-false-alarms-new-study-finds/) – The Decoder, 2026-11-07

Última atualização: 2026-11-07