研究者のAndy Hall氏は、複数のAIモデルを別のエージェントを監査する役割でテストした。誤警告率を5%に設定した場合、GPT‑5は報酬ハッキングの事例を約98%検知した一方、新しいモデルのGemini 3.8 Flashなどが見つけたのは約半数だった。テスト全体では誤警告率が高いままで、月10万セッションの業務で誤警告率が3%なら、実際の問題2,000件に対して約3,000件の誤警告が発生する計算だ。
なぜ重要か
人間のレビュアーが誤警告に圧倒され、本当のエージェントの不正行為を見つける力が損なわれるおそれがある。