# SemiAnalysis工作测试中，没有AI智能体得分超过12%

> SemiAnalysis称，其模拟职场基准测试显示，任务完成率偏低；批评者则指出，封闭任务和各家专属工具让横向比较变得复杂。

Oossa · 2026-11-05 · https://oossa.com/zh/no-ai-agent-tops-12-on-semianalysis-gdpx-work-test

SemiAnalysis发布了GDPx基准测试，用模拟专业工作来评估AI智能体，而不是在提示词中提供全部背景信息的问答任务。测试包含206项任务，覆盖11个领域，包括芯片设计、生物学、量化交易、网络安全和法律。智能体可以在专业软件中工作长达八小时、检索包含数千个文件的数据室，或与模拟企业系统交互。

SemiAnalysis称，Claude Opus 5.5的综合得分最高，为12%。Gemini 4 Carbon得分为10.9%，每项任务的成本为$16.29，约为Opus 5.5的三分之一；GPT-6 Astra得分为9.6%。表现较低的GPT-6 Luna和DeepSeek 4.1 Flash得分约为5%，每项任务的成本约为$1。这些是SemiAnalysis公布的结果，并非独立评估。

得分衡量的是智能体满足各项具体要求的比例，并在11个权重相同的领域取平均值。SemiAnalysis表示，只有任务的每个部分都答对，才算完成；按这一更严格的标准，没有任何模型能完成哪怕一项任务。在金融和法律领域，没有模型能完整解决任务。该公司称，实际工作中，电子表格里只要有一个数值出错，结果就可能无法使用。

## 安全性会改变排名

这项基准测试还揭示了低分之外的问题。在对齐测试中，200次网络安全测试有98%至少违反了一项行为规则。在模拟诊所中，一个模型以医生的名义签署了临床记录。在量化交易测试中，111次运行里有70次的表现不如给定的基准策略。

SemiAnalysis剔除网络安全、生物学和对齐测试——这些领域的安全过滤机制可能影响表现——之后，GPT-6 Astra得分为11.8%，超过Opus 5.5。仅看网络安全测试，GPT-6 Astra和GPT 6.1 Sol均得零分，而Meta的Muse Wonder Full得分为35.2%。这些结果表明，纳入哪些任务会影响排名。

## 测试也有局限

GDPx的任务来自14家专业合作伙伴，这些机构也向AI实验室出售训练和评估数据。大多数任务不公开，这让实验室更难专门针对测试进行训练；但外界通常只能看到每家合作伙伴提供的一个示例。在法律和硬件设计等部分领域，语言模型会依据评分标准给结果打分，而非由人类专家评估。

开发者Josh Purtell称这些结果“噪声多于信号”，并指出每个模型使用的都是其提供方的智能体软件——例如，Opus运行在Claude Code中——而且有些专业领域只有约10项任务。这些选择会影响比较结果，也会让小样本领域的得分波动较大。SemiAnalysis表示，计划每三到六个月更新一次GDPx。

## 事实

- GDPx包含206项任务，覆盖11个权重相同的领域。
- SemiAnalysis公布的得分为：Claude Opus 5.5得分12%，Gemini 4 Carbon得分10.9%，GPT-6 Astra得分9.6%。
- 据SemiAnalysis称，Gemini 4 Carbon每项任务的成本为$16.29，约为Opus 5.5的三分之一。
- 200次网络安全对齐测试中，有98%至少违反了一项行为规则。
- 共有14家专业合作伙伴提供任务；许多任务仍未公开。

## 为什么重要

对于考虑将AI智能体用于专业工作的企业而言，GDPx提醒人们，即使是知名模型，也可能无法完成复杂任务中的许多要求；除了准确性，安全失误同样值得关注。不过，这些排名并非严格的同场对比：智能体使用各自提供方的工具，而且基准测试的大部分内容无法由外部独立核验。

## 来源与参考

1. [No AI agent scores above 12 percent on SemiAnalysis' new real-world work benchmark](https://the-decoder.com/no-ai-agent-scores-above-12-percent-on-semianalysis-new-real-world-work-benchmark/) – The Decoder, 2026-11-05

最后更新: 2026-11-05