Perplexity和NVIDIA的研究人员宣布推出JOLT，这是一种师生联合强化学习方法。该方法在主要训练阶段结束后，让同一个模型同时扮演教师和学生。在MATH基准测试中，JOLT以少6.5倍的训练token用量，达到了与GRPO方法相同的准确率。这一结果展示了一种无需改变模型架构即可提升效率的途径。
为什么重要
研究人员可以以更低成本微调模型，让计算预算有限的实验室也更容易获得高性能数学推理能力。
Perplexity与NVIDIA推出JOLT学习方法
这项新的后训练技术让模型自我教学，在MATH基准测试中将token用量减少6.5倍。
简讯作者： OossaOossa 发布日期: 1 分钟阅读
继续阅读
Oossa · 新闻简报
一周 AI，讲明白
每周一，用通俗的语言讲清值得知道的新闻。免费，无垃圾邮件。