Oossa

研究发现:较弱的 AI 智能体可能削弱更安全的系统

对 Claude Code、Codex 和模拟系统的测试显示,系统可能会继承其委派任务的较弱 AI 智能体所犯的错误。

作者: Oossa 发布日期: 2 分钟阅读

Markus Spiske · Unsplash

一篇最新 arXiv 论文称,能够委派任务的 AI 系统可能遭到攻击,而这类攻击通常能被更强的主模型独自抵御。研究人员测试了未经修改的 Claude Code、Codex 和一个基准系统,让它们根据存储在磁盘上的文件回答问题,并在这些文件中植入了一条伪造记录。

论文称,主模型自行搜索文件时,在 1,000 多次测试中几乎没有做出有害修改。但当它把工作交给成本更低、能力较弱的子智能体后,结果就变了:论文报告,在三组各 180 次的测试中,失败次数分别为 20、44 和 75;另一组 900 次测试中则有 553 次失败。摘要没有说明每个数字对应的具体系统或配置。

委派任务为何改变了结果

在这类系统中,协调器是负责拆解任务并将部分工作分配给子智能体的主 AI。研究人员担心,即使主模型直接发现某条信息时会拒绝它,也可能依赖子智能体对文件的错误解读。在论文的测试中,整个系统的安全表现更接近较弱的文件读取者,而非更强的协调器。

这一点很重要,因为安全测试往往逐个评估模型,而编程智能体等产品可能会让多个模型协同工作。论文指出,只检查主模型可能会漏掉委派任务引入的弱点。该论文已被 NeurIPS 2026 First Workshop on Meta Agents 接收。这场研讨会关注管理其他 AI 智能体的系统。

错误也会在信息汇总过程中传播

研究人员还模拟了另一个环节:由五个汇总器整合多个智能体提供的信息。摘要称,在涉及 18 个模型的模拟中,汇总器在 757 次测试里有 751 次重复了受污染子智能体的错误;而单独评估时,汇总器几乎从未表现出不安全行为。

这些结果来自一项特定的植入记录测试,并不代表真实用户遇到这一问题的频率。摘要没有提供攻击文本,也未说明各项结果对应的模型版本和配置。不过,测试结果说明,评估完整的智能体系统,可能会发现仅测试其中最强模型时看不到的风险。

为什么重要

对于使用 AI 编程智能体的开发者来说,这些发现表明,即使主模型可靠,只要它信任较弱的子智能体,整个系统也未必可靠。测试并未说明这一问题在日常使用中出现的频率,但指出有必要评估完整的智能体链条,而不只是其中的主模型。

这篇文章有帮助吗?
分享

继续阅读

Oossa · 新闻简报

一周 AI,讲明白

每周一,用通俗的语言讲清值得知道的新闻。免费,无垃圾邮件。