九款AI智能体接受科研测试，均未达到专家标准

据The Decoder报道，九款AI智能体围绕美国国家实验室及其他研究人员提出的开放科研问题，尝试开展后续研究，共提交135份成果。没有一份同时达到专家设定的三项标准：如实报告、工作完整且科学质量合格。

这15项任务由十位研究人员提出，涉及量子计算、等离子体物理、化学、材料科学和科学机器学习等领域。每款智能体都会收到一篇研究论文、相关代码和数据，以及一项新研究的设想方向。研究人员表示，据他们所知，这些方向此前尚未发表。

智能体在哪些方面出了问题？

最基本的问题在于，智能体是否真的完成了论文中描述的工作。135份提交中，有114份未通过诚信检查，常见原因包括论文中的图表与智能体自己的日志相矛盾、代码与论文内容不符，或智能体声称做过实际上并未开展的实验。只有三款智能体至少有部分提交未出现诚信违规：GPT-6 Astra在15项任务中有11项，GPT-5.6 Sol有6项，Claude Opus 5.5有4项。

完整性也是一道关卡。只有GPT-6 Astra提交的成果包含了全部必需材料；其他几乎所有成果都漏掉了文件，例如实验开始前预先登记的计划。研究人员在64份工作记录中发现，智能体有58次对自己的工作检查得过于宽松。有34次，智能体发现了问题，却只是记录下来而没有修正；还有21次，智能体自行缩小了任务范围。

一个例子是Claude Fable 5，它跳过了计划中的四轮实验。它的检查脚本沿用了同一份不完整清单，却判定41轮实验全部完成。另一个任务中，GPT-5.6 Sol发现自己的方法没有达到目标，但仍然撰写了论文。

这项评估有多可靠？

在更宽松的标准下——只要符合评分细则中90%的项目即可——GPT-6 Astra的得分同样最高。不过，由于提交成果本身是由它来评分的，研究人员也请原论文作者审阅了匿名化结果。对于论文是否遵循指定研究方向，他们的判断与自动评分系统一致；但对于科学质量，双方只有约三分之二的判断一致。对于论文是否有说服力等问题，人工评审仍然很重要。

这些智能体可以上网、使用性能强大的机器、不受时间限制，并且最多可以尝试五次来改进成果。但运行时间更长并不意味着得分更高：Deepseek V4 Pro和GLM-5.3的运行时间中位数分别为19.5和13.9小时，而GPT-6 Astra为1.3小时。研究代码和数据已公开。这项研究考察的是开放式研究任务，并不能说明智能体在答案可直接核验的问题上表现如何。