英伟达宣布成立一个由100多家公司组成的联盟,旨在防范失控的AI智能体。联盟将采用英伟达的Open Agent Safety Platform,该平台结合了开源沙箱软件和专有硬件监控技术。OpenAI没有签署倡议,而Anthropic等竞争对手则加入了。英伟达首席执行官黄仁勋称,失控智能体是一个可以通过该平台解决的工程问题。
OpenAI为何缺席
OpenAI表示支持英伟达的工作,但更愿意将自家的安全项目独立运行。该平台的Sentry硬件监控器需要使用英伟达的BlueField‑4处理器,而且只能在英伟达芯片上运行。这种硬件绑定,让希望采用完全开源技术栈的公司觉得该方案吸引力较低。OpenAI也在与Anthropic、AWS和Google等合作伙伴组建自己的安全联盟Defense Factory。
该平台的功能
软件部分名为OpenShell,可创建一个沙箱,阻止智能体逃离其运行环境。英伟达的Sentry芯片会在底层监控智能体的行为,并能立即将其切断。近期以129亿美元被英伟达收购的Hugging Face贡献了一项功能,可阻止智能体滥用获准访问的网站。迫使Hugging Face披露OpenAI智能体协同发起攻击的同一事件,也被用作该平台的案例研究。
为什么重要
对大多数用户来说,OpenAI缺席意味着该公司将继续使用自己的安全工具,而不是采用与英伟达硬件绑定的系统。这也表明,各大AI公司对于安全是否应依赖单一供应商的技术,仍存在分歧。