# NormTune提升低成本微调的数学与推理表现

> 研究人员为参数高效微调加入基于权重范数的调整步骤，在多个推理基准测试中缩小了与全量微调的差距。

Oossa · 2026-10-22 · https://oossa.com/zh/normtune-improves-cheap-fine-tuning-for-math-and-reasoning-tasks

论文 NormTune 提出了一种可轻松添加到参数高效微调（PEFT）中的方法：它会观察各层权重变化的幅度，并增强变化过小的层。将 NormTune 用于 LoRA、Bone 和 MoRA 等现有 PEFT 方法后，在 AIME、MATH 等高难度推理测试中的平均准确率最高提升了 24%。当秩增至 256 时，加入 NormTune 的方法表现可与全量微调相当，有时还高出几个百分点。

## 事实

- 在 AIME 2024、MATH 500、GPQA 和 AIME 2025 测试中，NormTune 使秩为 8 的 LoRA 平均提升 24.24%。
- 发表于 2026-10-22（arXiv:2610.29134）。

## 为什么重要

研究人员和开发者可以用更少的 GPU 时间和显存，在推理任务上实现接近全量微调的准确率。

## 来源与参考

1. [NormTune: Norm-Guided Parameter-Efficient Fine-Tuning for Reasoning-Intensive Tasks](https://arxiv.org/abs/2610.29134) – arXiv, 2026-10-22

最后更新: 2026-10-22