Google Research发布了开源框架Harness2,可在测试时修改AI智能体的运行框架。这里的“运行框架”指帮助模型执行任务的一套外围配置;原文没有具体说明Harness2会改写哪些部分,也未解释它如何实现。
MarkTechPost称,经过一次优化,GLM-5在WorkBuddy-Bench上的得分提高了11.5分,模型权重没有更新。这表明,据报道,得分提升来自智能体配置的调整,而非对底层模型重新训练。文章没有提供起始分数、测试配置或基准测试的执行方,因此仅凭现有信息无法独立评估这一结果。
此次发布对开发者意味着什么
Harness2采用Apache-2.0许可证发布。根据该许可证,开发者可以在遵守相关条款的前提下使用、修改和分享这款软件;研究团队和其他开发者因此可以直接查看这一框架,而不必只依赖文字介绍。
此次公告涉及的范围有限:只报告了一个模型、一项基准测试和一次优化。文章没有说明这一提升是否适用于其他模型或任务、该方法需要多少计算资源,也没有说明这一框架是否已适合日常使用。在判断Harness2能否提升自家智能体的表现之前,开发者还需要了解这些信息。
为什么重要
AI开发者可以依据Apache-2.0许可证查看和改造Harness2。据报道,即使不重新训练模型,调整智能体配置也可能影响基准测试得分。不过,原文没有提供测试细节,也没有证据表明这一提升能延伸至其他模型或任务,因此其实际价值仍不确定。