Oossa

OpenAI开放内部系统,供四家机构现场审查

OpenAI向Apollo Research、METR、Goodfire和Transluce开放尚未发布的模型及数据,开展首次现场安全审查。

作者: Oossa 发布日期: 1 分钟阅读

Christina @ wocintechchat.com M · Unsplash

OpenAI宣布,四个独立团体将进驻其办公室,审查其AI系统。审查方包括Apollo Research、METR、Goodfire和Transluce,他们可以查看源代码、训练数据、监控工具和尚未发布的模型,也可以保密采访开发人员。OpenAI表示,这项试点项目是落实白宫《超级智能协议》承诺的一部分。

Apollo将重点调查模型是否会试图破坏自身或未来版本的对齐。METR将寻找OpenAI自有测试可能遗漏的危险行为,并测试OpenAI能否发现此类行为。Goodfire将利用其可解释性平台梳理模型内部流程,并提出修复建议。Transluce将评估训练后安全检查,并计划在2027年初进行为期八周的后续审查。独立安全委员会将收到完整、未经删节的报告,并负责调解争议。OpenAI可以删去机密内容,也可以推迟公开报告,以便先处理相关风险。

这项计划延续了此前对OpenAI监控系统的现场审查,也扩大了Anthropic先前启动的一项做法:上个月,METR研究人员获准以员工级别的权限访问系统。批评者指出,Apollo和Goodfire的工作有偿,而METR和Transluce只获得算力或API额度。一些安全专家,例如Redwood首席执行官Buck Shlegeris,认为目前授予的权限还没有达到许多人所呼吁的“类似员工”的级别。

为何重要

对于使用ChatGPT或其他OpenAI产品的人来说,这些审查有望在模型面向公众发布前发现潜在的失效模式。如果审查方发现严重的安全漏洞,OpenAI可能需要修补问题或推迟发布,从而影响功能推出和定价。

为什么重要

这些审查让外部机构得以了解OpenAI最强大的模型在训练期间的表现,而不只是模型发布后的情况。这可能有助于为普通用户打造更安全的产品,但由于公开披露有限,外界目前仍无法全面核实审查结果。

这篇文章有帮助吗?
分享

继续阅读

Oossa · 新闻简报

一周 AI,讲明白

每周一,用通俗的语言讲清值得知道的新闻。免费,无垃圾邮件。