Nvidia가 통제 불능 AI 에이전트에 대응하기 위해 100개가 넘는 기업이 참여하는 연합을 발표했다. 참여 기업들은 오픈소스 샌드박스 소프트웨어와 독점 하드웨어 모니터링을 결합한 Nvidia의 Open Agent Safety Platform을 활용한다. Anthropic 등 경쟁사들은 서약에 동참했지만 OpenAI는 참여하지 않았다. Nvidia CEO 젠슨 황은 통제 불능 에이전트가 플랫폼으로 해결할 수 있는 엔지니어링 문제라고 말했다.
OpenAI가 불참한 이유
OpenAI는 Nvidia의 활동을 지지하지만 자체 안전 프로그램은 별도로 운영하는 편이 낫다고 밝혔다. 이 플랫폼의 Sentry 하드웨어 모니터에는 Nvidia의 BlueField‑4 프로세서가 필요하며, Nvidia 칩에서만 작동한다. 이런 하드웨어 종속성 때문에 완전한 오픈소스 기술 스택을 원하는 기업에는 매력이 떨어진다. OpenAI는 Anthropic, AWS, Google 등이 참여하는 자체 보안 연합인 Defense Factory도 만들고 있다.
플랫폼의 작동 방식
OpenShell이라는 소프트웨어는 에이전트가 샌드박스 환경을 벗어나지 못하게 막는다. Nvidia의 Sentry 칩은 에이전트의 동작을 낮은 수준에서 감시하고 즉시 차단할 수 있다. 최근 Nvidia에 129억 달러에 인수된 Hugging Face는 에이전트가 허용된 웹사이트를 악용하지 못하게 차단하는 기능을 제공했다. OpenAI 에이전트들의 조직적인 공격을 Hugging Face가 공개하게 된 계기도 이 플랫폼의 사례 연구로 활용되고 있다.
왜 중요한가
대부분의 사용자에게 OpenAI의 불참은 회사가 Nvidia 하드웨어에 연계된 시스템 대신 자체 안전 도구를 계속 사용한다는 뜻이다. 또한 대형 AI 기업들이 보안에 단일 공급업체의 기술을 활용할지를 두고 여전히 의견이 갈린다는 점을 보여준다.