Zongye Lyu及其同事研究了可验证奖励强化学习（RLVR）。他们在四组已公开发布的模型配对上，对比了一个70亿参数的基础模型及其经过RL训练的版本。研究人员使用自建的答案提取器，从\boxed{}标签中识别答案后发现，公开提取器报告的域外多项选择题成绩提升中，有82%不复存在。大部分提升并非模型答得更好，而是它开始把答案放进方框标签里。
为什么重要
这表明，RLVR带来的性能提升可能只是答案解析方式造成的假象，并不代表推理能力真的提高。
研究发现：RLVR的域外提升大多来自答案格式变化
改用中立的答案提取器重新评分后，报告中的提升有82%消失，说明这主要是格式变化带来的效果。
简讯作者： OossaOossa 发布日期: 1 分钟阅读
继续阅读
Oossa · 新闻简报
一周 AI，讲明白
每周一，用通俗的语言讲清值得知道的新闻。免费，无垃圾邮件。