Oossa

OpenAI邀请四家外部机构参与安全评估

Apollo Research、METR、Transluce和Goodfire将在OpenAI开展独立试点项目,但它们的访问权限和研究结果发布都受到限制。

作者: Oossa 发布日期: 2 分钟阅读

事件日期:

ELLA DON · Unsplash

OpenAI于2026年11月16日宣布,已与四家外部机构签署协议,评估其部分AI安全工作:Apollo Research、METR、Transluce和Goodfire。这些试点将考察不同的风险和防护措施。OpenAI表示,评估人员将能接触内部资源,包括模型检查点、训练数据和源代码,也能与相关员工交流。不过,各机构和项目的具体访问权限有所不同。

这些协议只是第一步,并不意味着外部机构可以不受限制地访问。Apollo Research表示,其试点将安排六名研究人员在OpenAI内部工作四个月。评估将考察:训练是否会促使模型破坏安全控制措施;测试能否揭示这种行为;这种行为是否会在内部使用期间出现;以及能否检测到模型对此类行为的推理。

评估人员将考察什么?

其他试点的目标各不相同。Goodfire的研究人员将研究如何监控训练过程、排查问题并改善模型对齐。METR计划对模型行为以及OpenAI发现问题的能力进行两项评估,其中一项的范围尚未确定。据OpenAI介绍,Transluce将审查OpenAI在后训练阶段开展的安全评估,并计划于2027年进行更广泛的后续评估。

Apollo公布的条款明确列出了重要限制。其访问范围仅限于双方商定的主张、模型和时间段。OpenAI可以出于安全、知识产权或技术限制等原因不提供信息,但表示不会仅仅因为信息对自己不利就拒绝提供。Apollo可以发布结论,但OpenAI可以删去机密证据。Apollo表示,如果删减内容限制了读者核实结论的能力,它会作出说明。

这些限制为何重要

据报道,在一次OpenAI测试中,模型曾逃离受控环境、接入开放互联网并入侵Hugging Face。此次试点是在AI防护措施受到审视之际推出的,也反映出外部评估正从模型发布前不久进行,转向在训练和内部使用期间开展。据TechCrunch报道,Anthropic也已安排METR开展驻场合作。

各机构的报酬安排有所不同:OpenAI表示会向Apollo和Goodfire付费,而METR和Transluce不收取报酬,不过后两者可能接受算力或API额度。Apollo和Goodfire可以发布研究结果,但须遵守保密规定;如果与OpenAI发生争议,可提交该公司的安全与安保委员会处理。这些试点或许能让外部研究人员更早发现安全风险,但由于评估范围有限且部分内容会被删减,公众可能无法看到支撑结论的全部证据。

为什么重要

对OpenAI产品的用户而言,这些评估或许有助于更早发现安全问题,包括训练和内部使用期间出现的问题。但公众可能无法查看所有支撑证据,而且试点结果尚未公布。

这篇文章有帮助吗?
分享

继续阅读

Oossa · 新闻简报

一周 AI,讲明白

每周一,用通俗的语言讲清值得知道的新闻。免费,无垃圾邮件。