Anthropic宣布,Model Evaluation and Transparency Research(METR)组织的6名员工将在其园区办公,使用与Anthropic自有风险评估团队相同的硬件和内部系统。这项安排不涉及报酬,METR也可以发布研究结果;不过,Anthropic可以要求删去客户数据、特权信息或模型架构细节。
为何向第三方开放如此高的权限?
此举正值Anthropic筹备IPO之际,该公司预计上市估值将超过$2 trillion。投资者一直要求看到安全风险得到控制的证据。通过让METR员工进驻,Anthropic希望展现对模型进行透明监督的做法,并让监督达到类似员工的程度。这有点像银行允许监管机构查看可能造成风险的行为,以便在其危害公众之前加以发现。
为什么重要
对消费者而言,额外监督可能降低公司上市后不安全的模型行为流入产品的风险,也能为监管机构提供更具体的数据来评估风险。不过,这种监督能否发挥作用仍有待观察。