Oossa

Anthropic开放内部工具,供METR研究人员使用

Anthropic为6名METR研究人员提供公司设备、办公场地和内部工具权限,权限与其自有风险评估团队相当。

作者: Oossa 发布日期: 1 分钟阅读

Luca Bravo · Unsplash

Anthropic宣布,Model Evaluation and Transparency Research(METR)组织的6名员工将在其园区办公,使用与Anthropic自有风险评估团队相同的硬件和内部系统。这项安排不涉及报酬,METR也可以发布研究结果;不过,Anthropic可以要求删去客户数据、特权信息或模型架构细节。

为何向第三方开放如此高的权限?

此举正值Anthropic筹备IPO之际,该公司预计上市估值将超过$2 trillion。投资者一直要求看到安全风险得到控制的证据。通过让METR员工进驻,Anthropic希望展现对模型进行透明监督的做法,并让监督达到类似员工的程度。这有点像银行允许监管机构查看可能造成风险的行为,以便在其危害公众之前加以发现。

为什么重要

对消费者而言,额外监督可能降低公司上市后不安全的模型行为流入产品的风险,也能为监管机构提供更具体的数据来评估风险。不过,这种监督能否发挥作用仍有待观察。

这篇文章有帮助吗?
分享

继续阅读

Oossa · 新闻简报

一周 AI,讲明白

每周一,用通俗的语言讲清值得知道的新闻。免费,无垃圾邮件。