OpenAI宣布,四个独立团体将进驻其办公室,审查其AI系统。审查方包括Apollo Research、METR、Goodfire和Transluce,他们可以查看源代码、训练数据、监控工具和尚未发布的模型,也可以保密采访开发人员。OpenAI表示,这项试点项目是落实白宫《超级智能协议》承诺的一部分。
Apollo将重点调查模型是否会试图破坏自身或未来版本的对齐。METR将寻找OpenAI自有测试可能遗漏的危险行为,并测试OpenAI能否发现此类行为。Goodfire将利用其可解释性平台梳理模型内部流程,并提出修复建议。Transluce将评估训练后安全检查,并计划在2027年初进行为期八周的后续审查。独立安全委员会将收到完整、未经删节的报告,并负责调解争议。OpenAI可以删去机密内容,也可以推迟公开报告,以便先处理相关风险。
这项计划延续了此前对OpenAI监控系统的现场审查,也扩大了Anthropic先前启动的一项做法:上个月,METR研究人员获准以员工级别的权限访问系统。批评者指出,Apollo和Goodfire的工作有偿,而METR和Transluce只获得算力或API额度。一些安全专家,例如Redwood首席执行官Buck Shlegeris,认为目前授予的权限还没有达到许多人所呼吁的“类似员工”的级别。
为何重要
对于使用ChatGPT或其他OpenAI产品的人来说,这些审查有望在模型面向公众发布前发现潜在的失效模式。如果审查方发现严重的安全漏洞,OpenAI可能需要修补问题或推迟发布,从而影响功能推出和定价。
为什么重要
这些审查让外部机构得以了解OpenAI最强大的模型在训练期间的表现,而不只是模型发布后的情况。这可能有助于为普通用户打造更安全的产品,但由于公开披露有限,外界目前仍无法全面核实审查结果。