研究人员提出了自我评估强化学习(SARL),这是一种训练语言模型的方法,适用于先搜索信息再作答的模型。该方法教模型追踪已找到的信息和仍然缺少的信息,旨在减少错误推理和过早停止搜索的情况。
作者称,与最强基线相比,SARL的相对表现提升了24.3%;在多跳推理和深度研究基准测试中,相较于各任务的最强基线,平均分别提升了35.9%和27.9%。他们表示,SARL在生成答案时无需额外评估;不过,论文摘要没有说明测试所用的模型,也未提供足够细节来判断这些结果能否适用于实际部署的搜索工具。
为什么重要
对于开发研究助理的团队而言,SARL表明,可以在训练阶段教会模型追踪搜索进展,而不必在使用时另设步骤;但论文摘要并不能证明它有助于现实产品。