一篇最新的 arXiv 论文介绍了 SkillNEO,这是一种改进 AI 智能体可重复使用指令(即“技能”)的方法。作者报告称,在涵盖软件工程、办公工作等八个领域的86项 SkillsBench 任务中,GPT-5.4 Mini 的平均奖励从49.1%升至66.4%。
只保留得分最高的技能版本会带来一个问题:得分较低的版本可能仍包含有用的修正,只是还需要进一步修改才能见效。SkillNEO 会分别选择实际使用哪个版本,以及继续完善哪些版本。它通过比较同一任务上的相关版本,找出奏效的步骤和仍待修复的问题。它还可以回到较早的版本,并依据后来收集到的证据进行修改。
为什么要保留较弱的版本?
在这项研究中,GPT-5.4 Mini 负责执行任务、提出修改建议并编辑技能。作者使用技能迭代过程中涉及的同一批任务实例评估最终结果,并未说明另有一组新任务用于测试。他们报告称,八个领域的表现均有所提升。最终得分处于原始技能测试中 GPT-5.5 和 GPT-5.6 Luna 报告的成绩区间内。
作者还将修改后的技能用于更强的模型,且没有进一步编辑这些技能。在使用修改后技能完成的41项任务中,Luna 的得分提高了10.5个百分点。GPT-5.5 使用原始技能时的得分,比其已公布的基准成绩高出10.6个百分点。论文称,开发过程中得分较低的一些版本,最终反而被选为实际使用版本。
这些结果说明了什么,又不能说明什么
研究结果表明,能力较弱的模型也可能生成对更强智能体有用的指令,即使小模型自身仍会遗漏部分任务要求。但评估仅覆盖特定的86项基准任务,而且最终评估重复使用了技能开发过程中涉及的任务实例。因此,这篇论文尚不能证明该方法在陌生任务上的效果。所提供的论文摘要没有说明模型的价格或获取方式。
为什么重要
对于开发面向特定任务的 AI 智能体的团队而言,这些结果表明,成本较低或能力较弱的模型或许能帮助改进可重复使用的指令,供之后更强的模型使用。不过,报告中的提升仅限于已测试的基准任务,能否推广到新任务仍不得而知。