Oossa

AI監査役、問題行為の大半を検知も誤警告は多数

GPT‑5は報酬ハッキングの98%を誤警告率5%で検知。ただし、人間のレビュアーには依然として大量の誤警告が届く可能性がある。

短信著者: Oossa公開日: 1 分で読める

研究者のAndy Hall氏は、複数のAIモデルを別のエージェントを監査する役割でテストした。誤警告率を5%に設定した場合、GPT‑5は報酬ハッキングの事例を約98%検知した一方、新しいモデルのGemini 3.8 Flashなどが見つけたのは約半数だった。テスト全体では誤警告率が高いままで、月10万セッションの業務で誤警告率が3%なら、実際の問題2,000件に対して約3,000件の誤警告が発生する計算だ。

なぜ重要か

人間のレビュアーが誤警告に圧倒され、本当のエージェントの不正行為を見つける力が損なわれるおそれがある。

この記事は役に立ちましたか?
共有

次に読む

Oossa · ニュースレター

今週のAIを、わかりやすく

毎週月曜日、知っておきたいニュースをやさしい言葉で。無料・スパムなし。