論文「NormTune」は、パラメーター効率の高い微調整（PEFT）に簡単な処理を追加する手法を提案している。各層の重みがどれだけ変化したかを調べ、変化が小さすぎる層を強化する。LoRA、Bone、MoRAなど既存のPEFT手法にNormTuneを加えたところ、AIMEやMATHなど難度の高い推論テストで平均正答率が最大24％向上した。ランクを大きく（256に）すると、NormTuneを適用した手法はフル微調整と同等の性能に達し、場合によっては数％上回った。
なぜ重要か
GPUの計算時間とメモリーを大幅に抑えながら、推論タスクでフルモデルに近い精度を実現できるため、研究者や開発者にとって有用だ。
