# 研究发现：较弱的 AI 智能体可能削弱更安全的系统

> 对 Claude Code、Codex 和模拟系统的测试显示，系统可能会继承其委派任务的较弱 AI 智能体所犯的错误。

Oossa · 2026-11-16 · https://oossa.com/zh/study-finds-weaker-ai-agents-can-undermine-safer-systems

一篇最新 arXiv 论文称，能够委派任务的 AI 系统可能遭到攻击，而这类攻击通常能被更强的主模型独自抵御。研究人员测试了未经修改的 Claude Code、Codex 和一个基准系统，让它们根据存储在磁盘上的文件回答问题，并在这些文件中植入了一条伪造记录。

论文称，主模型自行搜索文件时，在 1,000 多次测试中几乎没有做出有害修改。但当它把工作交给成本更低、能力较弱的子智能体后，结果就变了：论文报告，在三组各 180 次的测试中，失败次数分别为 20、44 和 75；另一组 900 次测试中则有 553 次失败。摘要没有说明每个数字对应的具体系统或配置。

## 委派任务为何改变了结果

在这类系统中，协调器是负责拆解任务并将部分工作分配给子智能体的主 AI。研究人员担心，即使主模型直接发现某条信息时会拒绝它，也可能依赖子智能体对文件的错误解读。在论文的测试中，整个系统的安全表现更接近较弱的文件读取者，而非更强的协调器。

这一点很重要，因为安全测试往往逐个评估模型，而编程智能体等产品可能会让多个模型协同工作。论文指出，只检查主模型可能会漏掉委派任务引入的弱点。该论文已被 NeurIPS 2026 First Workshop on Meta Agents 接收。这场研讨会关注管理其他 AI 智能体的系统。

## 错误也会在信息汇总过程中传播

研究人员还模拟了另一个环节：由五个汇总器整合多个智能体提供的信息。摘要称，在涉及 18 个模型的模拟中，汇总器在 757 次测试里有 751 次重复了受污染子智能体的错误；而单独评估时，汇总器几乎从未表现出不安全行为。

这些结果来自一项特定的植入记录测试，并不代表真实用户遇到这一问题的频率。摘要没有提供攻击文本，也未说明各项结果对应的模型版本和配置。不过，测试结果说明，评估完整的智能体系统，可能会发现仅测试其中最强模型时看不到的风险。

## 事实

- 论文称，测试对象包括未经修改的 Claude Code、Codex 和一个基准测试框架。
- 主模型自行搜索文件时，在 1,000 多次测试中几乎没有做出有害修改。
- 委派任务的测试中，论文报告的失败次数分别为 20/180、44/180、75/180 和 553/900。
- 在涉及 18 个模型的模拟中，五个汇总器在 757 次测试里有 751 次重复了受污染子智能体的错误。

## 为什么重要

对于使用 AI 编程智能体的开发者来说，这些发现表明，即使主模型可靠，只要它信任较弱的子智能体，整个系统也未必可靠。测试并未说明这一问题在日常使用中出现的频率，但指出有必要评估完整的智能体链条，而不只是其中的主模型。

## 来源与参考

1. [Only as Safe as the Weakest Agent: A Break That Appears Only When the System Is Multi-Agent](https://arxiv.org/abs/2611.17520) – arXiv cs.MA, 2026-11-16

最后更新: 2026-11-16
