论文 NormTune 提出了一种可轻松添加到参数高效微调（PEFT）中的方法：它会观察各层权重变化的幅度，并增强变化过小的层。将 NormTune 用于 LoRA、Bone 和 MoRA 等现有 PEFT 方法后，在 AIME、MATH 等高难度推理测试中的平均准确率最高提升了 24%。当秩增至 256 时，加入 NormTune 的方法表现可与全量微调相当，有时还高出几个百分点。
为什么重要
研究人员和开发者可以用更少的 GPU 时间和显存，在推理任务上实现接近全量微调的准确率。
NormTune提升低成本微调的数学与推理表现
研究人员为参数高效微调加入基于权重范数的调整步骤，在多个推理基准测试中缩小了与全量微调的差距。
简讯作者： OossaOossa 发布日期: 1 分钟阅读
继续阅读
Oossa · 新闻简报
一周 AI，讲明白
每周一，用通俗的语言讲清值得知道的新闻。免费，无垃圾邮件。