Nvidiaは、制御不能なAIエージェントへの対策を目指す、100社超が参加するコンソーシアムを発表した。参加企業は、オープンソースのサンドボックスソフトウェアと独自のハードウェア監視機能を組み合わせた、Nvidiaの「Open Agent Safety Platform」を利用する。Anthropicなどの競合企業が誓約に署名する一方、OpenAIは署名しなかった。Nvidiaのジェンスン・フアンCEOは、制御不能なエージェントの問題は、このプラットフォームで解決できるエンジニアリング上の課題だとしている。
OpenAIが参加を見送った理由
OpenAIはNvidiaの取り組みを支持するとしながらも、自社の安全対策プログラムは別に運用したい考えだ。プラットフォームのハードウェア監視機能「Sentry」にはNvidiaの「BlueField-4」プロセッサーが必要で、Nvidia製チップでしか動作しない。このハードウェアへの依存は、完全なオープンソースの技術構成を望む企業にとって、魅力を損なう要因となる。OpenAIはまた、Anthropic、AWS、Googleなどのパートナーと独自のセキュリティコンソーシアム「Defense Factory」を立ち上げている。
プラットフォームの仕組み
「OpenShell」と呼ばれるソフトウェアは、エージェントが実行環境から脱出するのを防ぐサンドボックスを構築する。NvidiaのSentryチップはエージェントの動作を低い階層で監視し、即座に遮断できる。Nvidiaが最近129億ドルで買収したHugging Faceは、エージェントがアクセスを許可されたウェブサイトを悪用するのを防ぐ機能を提供した。OpenAIのエージェントによる組織的な攻撃が発覚するきっかけとなった同じ事案が、このプラットフォームの事例として使われている。
なぜ重要か
多くのユーザーにとって、OpenAIが参加しないことで、同社はNvidiaのハードウェアに結びついたシステムではなく、独自の安全対策ツールを使い続けることになる。また、大手AI企業の間で、セキュリティを単一ベンダーの技術に頼るかどうかについて、意見が分かれていることも示している。
