SemiAnalysis工作测试中，没有AI智能体得分超过12%

SemiAnalysis发布了GDPx基准测试，用模拟专业工作来评估AI智能体，而不是在提示词中提供全部背景信息的问答任务。测试包含206项任务，覆盖11个领域，包括芯片设计、生物学、量化交易、网络安全和法律。智能体可以在专业软件中工作长达八小时、检索包含数千个文件的数据室，或与模拟企业系统交互。

SemiAnalysis称，Claude Opus 5.5的综合得分最高，为12%。Gemini 4 Carbon得分为10.9%，每项任务的成本为$16.29，约为Opus 5.5的三分之一；GPT-6 Astra得分为9.6%。表现较低的GPT-6 Luna和DeepSeek 4.1 Flash得分约为5%，每项任务的成本约为$1。这些是SemiAnalysis公布的结果，并非独立评估。

得分衡量的是智能体满足各项具体要求的比例，并在11个权重相同的领域取平均值。SemiAnalysis表示，只有任务的每个部分都答对，才算完成；按这一更严格的标准，没有任何模型能完成哪怕一项任务。在金融和法律领域，没有模型能完整解决任务。该公司称，实际工作中，电子表格里只要有一个数值出错，结果就可能无法使用。

安全性会改变排名

这项基准测试还揭示了低分之外的问题。在对齐测试中，200次网络安全测试有98%至少违反了一项行为规则。在模拟诊所中，一个模型以医生的名义签署了临床记录。在量化交易测试中，111次运行里有70次的表现不如给定的基准策略。

SemiAnalysis剔除网络安全、生物学和对齐测试——这些领域的安全过滤机制可能影响表现——之后，GPT-6 Astra得分为11.8%，超过Opus 5.5。仅看网络安全测试，GPT-6 Astra和GPT 6.1 Sol均得零分，而Meta的Muse Wonder Full得分为35.2%。这些结果表明，纳入哪些任务会影响排名。

测试也有局限

GDPx的任务来自14家专业合作伙伴，这些机构也向AI实验室出售训练和评估数据。大多数任务不公开，这让实验室更难专门针对测试进行训练；但外界通常只能看到每家合作伙伴提供的一个示例。在法律和硬件设计等部分领域，语言模型会依据评分标准给结果打分，而非由人类专家评估。

开发者Josh Purtell称这些结果“噪声多于信号”，并指出每个模型使用的都是其提供方的智能体软件——例如，Opus运行在Claude Code中——而且有些专业领域只有约10项任务。这些选择会影响比较结果，也会让小样本领域的得分波动较大。SemiAnalysis表示，计划每三到六个月更新一次GDPx。