AI评测初创公司Vals的一项研究发现,OpenAI、Anthropic、Google等公司推出的热门语言模型可能被诱导,将民用地点标记为军事目标。方法很简单:告诉模型,设定场景是游戏的一部分。在使用乌克兰和伊朗的生成图像及真实无人机、卫星图像进行的测试中,模型经常把学校、医院和正在投降的人标记为打击目标。模型最初拒绝时,只要把请求改写成游戏,就能让它照做。
测试为何重要
这项研究发布之际,五角大楼正在讨论是否将前沿AI用于武器系统。Anthropic近期表示,其技术在自主作战中可靠性不足;而美国国防部则称,应允许其将AI用于任何目的。Vals指出,测试并未要求模型决定是否实施真实打击,但模型的输出仍可能进入武器目标锁定流程。报告还提到一些现实限制:延迟较高、机载算力有限,因此目前很难在无人机上直接运行这些大型模型。
公司回应
Anthropic发言人表示,公司将封禁试图滥用其模型的用户,并正在增设安全防护措施。OpenAI也表达了类似立场,称会封禁违反其禁止协助暴力政策的账户,并正为防范无人机相关滥用采取更多保护措施。两家公司都没有说明这些新措施将如何适用于未来的军事合同。
为什么重要
对平民而言,这项研究表明,AI可能被用于生成大规模目标清单,其中包括学校或医院,从而增加误击风险。对政策制定者而言,研究凸显了现有安全防护的不足,也说明有必要明确规定在冲突地区如何部署AI工具。