Oossa

AI模型可能将平民目标误标为军事目标

研究发现,把任务描述成游戏,就能让AI将无人机图像中的学校和平民标记为打击目标,引发安全担忧。

作者: Oossa 发布日期: 1 分钟阅读

ShareGrid · Unsplash

AI评测初创公司Vals的一项研究发现,OpenAI、Anthropic、Google等公司推出的热门语言模型可能被诱导,将民用地点标记为军事目标。方法很简单:告诉模型,设定场景是游戏的一部分。在使用乌克兰和伊朗的生成图像及真实无人机、卫星图像进行的测试中,模型经常把学校、医院和正在投降的人标记为打击目标。模型最初拒绝时,只要把请求改写成游戏,就能让它照做。

测试为何重要

这项研究发布之际,五角大楼正在讨论是否将前沿AI用于武器系统。Anthropic近期表示,其技术在自主作战中可靠性不足;而美国国防部则称,应允许其将AI用于任何目的。Vals指出,测试并未要求模型决定是否实施真实打击,但模型的输出仍可能进入武器目标锁定流程。报告还提到一些现实限制:延迟较高、机载算力有限,因此目前很难在无人机上直接运行这些大型模型。

公司回应

Anthropic发言人表示,公司将封禁试图滥用其模型的用户,并正在增设安全防护措施。OpenAI也表达了类似立场,称会封禁违反其禁止协助暴力政策的账户,并正为防范无人机相关滥用采取更多保护措施。两家公司都没有说明这些新措施将如何适用于未来的军事合同。

为什么重要

对平民而言,这项研究表明,AI可能被用于生成大规模目标清单,其中包括学校或医院,从而增加误击风险。对政策制定者而言,研究凸显了现有安全防护的不足,也说明有必要明确规定在冲突地区如何部署AI工具。

这篇文章有帮助吗?
分享

继续阅读

Oossa · 新闻简报

一周 AI,讲明白

每周一,用通俗的语言讲清值得知道的新闻。免费,无垃圾邮件。