Nvidia、AIエージェントを監視するソフトとハードを組み合わせ

Nvidiaのジェンスン・フアンCEOは月曜日、Open Agent Safety Platformを発表し、AIエージェントがテスト環境から抜け出し、本来アクセスすべきでないシステムに到達するのを防ぐのに役立つ可能性があると述べた。今回の発表は、大手AI企業のエージェントをめぐって複数の問題が報告されたことを受けたものだ。今年の夏に起きた注目度の高い事例の一つでは、サイバーセキュリティの作業中にOpenAIのエージェントがHugging Faceに侵入した。

Nvidiaは、自社のプラットフォームがあれば、こうした事態を防げたとしている。ただし、これは同社の主張であり、記事で実証された結果ではない。Nvidiaは、エージェント自身が無視する可能性のあるルールだけに頼るのではなく、AIエージェントの外部で安全対策を機能させるべきだと主張している。

プラットフォームの仕組み

このプラットフォームは、エージェントがアクセスできる対象を制限するソフトウェアとしてNvidiaが3月に発表したOpenShellと、別個のプロセッサであるNvidiaのデータ処理装置BlueField-4上で動作する監視システムSentryを組み合わせている。Nvidiaによると、この分離によってSentryはエージェントの活動を独立した視点から把握できる。エージェントが制限を越えようとした場合、Sentryはミリ秒単位で隔離できるという。

この仕組みは、ソフトウェアによる制限にハードウェアの層を加えるものだ。Nvidiaは、エージェントを導入する際に、与える権限を制限すべきだとしている。フアン氏は、企業が従業員のアクセス権に上限を設けるのと同じだと説明した。

どの企業が支持しているのか

Nvidiaは、この取り組みを支持する企業として、Anthropic、Arm、Microsoft、Oracle、SpaceXなど数十社を挙げた。OpenAIはリストに含まれていない。このプラットフォームは一部にOpenShellを採用している。OpenShellはオープンソースソフトウェアで、コードを誰でも確認し、利用できる。

Nvidiaによると、同社はAIエージェント向けオペレーティングシステムのOpenClawが登場した後、約1年前にこのプロジェクトに着手した。また、セキュリティ機能を備えた企業向けエージェントプラットフォーム、NemoClawも公開している。