Oossa

弱いAIエージェントが安全性の高いシステムを損なう可能性、研究で判明

Claude CodeやCodexを使ったテストとシミュレーションから、システムが作業を委ねた能力の低いAIエージェントの誤りを引き継ぐ可能性が示された。

著者: Oossa公開日: 2 分で読める

Markus Spiske · Unsplash

新たに公開されたarXiv論文は、作業を別のエージェントに委ねるよう設計されたAIシステムが、単独なら通常は攻撃に耐える、より強力な主モデルでも防げる攻撃に弱い可能性があると報告している。研究者らは、改変していないClaude Code、Codex、および比較用システムに、ディスク上のファイルを使って質問に答えさせるテストを実施した。ファイルの中には、研究者らが偽造した記録を紛れ込ませていた。

論文によると、主モデルが自らファイルを検索した場合、1,000回を超える試行で有害な修正はほぼゼロだった。しかし、より安価で能力の低いサブエージェントに作業を任せると、結果は変わった。論文は、180回の試行を3セット行ったテストでそれぞれ20件、44件、75件、さらに900回の試行を行ったセットで553件の失敗を報告している。要旨では、各件数がどのシステムや構成に対応するのかは示されていない。

委任によって結果が変わった理由

こうしたシステムでは、オーケストレーターと呼ばれる主役のAIがタスクを分割し、その一部をサブエージェントに割り当てる。研究者らが懸念するのは、主モデルがファイルを直接確認していれば退けていた情報でも、サブエージェントによる誤読を信頼してしまう可能性だ。論文のテストでは、システム全体の安全性は、能力の高いオーケストレーターよりも、読み取り能力の低いエージェントに左右される傾向があった。

安全性テストではモデルを1つずつ評価することが多い一方、コーディングエージェントなどの製品では、複数のモデルが連携して動く場合があるため、この点は重要だ。論文は、主モデルだけを調べても、委任によって持ち込まれる弱点を見逃す可能性があると指摘している。この論文は、他のAIエージェントを管理するシステムを扱うNeurIPS 2026 First Workshop on Meta Agentsに採択された。

集約システムにも誤りが広がる

研究者らは、エージェントからの情報を5つの集約システムがまとめる、別の段階もシミュレーションした。18モデルを対象としたシミュレーションでは、集約システム単独ではほとんど安全性に問題がなかったにもかかわらず、757回の試行のうち751回で、汚染されたサブエージェントの誤りを繰り返したという。

これらの結果は、特定の偽造記録を使ったテストに基づくもので、実際の利用者がこの問題に遭遇する頻度を示すものではない。要旨には、攻撃に使った文章や、各結果の背景にあるモデルのバージョン、構成も記載されていない。一方で、エージェントシステム全体をテストすれば、最も強力なモデルだけを評価する場合には見えないリスクが明らかになる可能性を示している。

なぜ重要か

AIコーディングエージェントを利用する開発者にとって、この結果は、信頼できる主モデルを使っていても、能力の低いサブエージェントを信頼すればシステム全体の信頼性が保証されるわけではないことを示唆している。日常の利用でこの問題がどの程度起きるかは分からないが、主モデルだけでなく、エージェントの連携全体を評価する必要性を示している。

この記事は役に立ちましたか?
共有

次に読む

Oossa · ニュースレター

今週のAIを、わかりやすく

毎週月曜日、知っておきたいニュースをやさしい言葉で。無料・スパムなし。