# NormTune、数学・推論タスク向けの低コストな微調整を改善

> 研究者らは、パラメーター効率の高い微調整にノルムを基準とする処理を追加し、複数の推論ベンチマークでフル微調整との差を縮めた。

Oossa · 2026-10-22 · https://oossa.com/ja/normtune-improves-cheap-fine-tuning-for-math-and-reasoning-tasks

論文「NormTune」は、パラメーター効率の高い微調整（PEFT）に簡単な処理を追加する手法を提案している。各層の重みがどれだけ変化したかを調べ、変化が小さすぎる層を強化する。LoRA、Bone、MoRAなど既存のPEFT手法にNormTuneを加えたところ、AIMEやMATHなど難度の高い推論テストで平均正答率が最大24％向上した。ランクを大きく（256に）すると、NormTuneを適用した手法はフル微調整と同等の性能に達し、場合によっては数％上回った。

## 事実

- NormTuneをランク8のLoRAに追加すると、AIME 2024、MATH 500、GPQA、AIME 2025で平均24.24%の向上を記録した。
- 2026-10-22公開（arXiv:2610.29134）。

## なぜ重要か

GPUの計算時間とメモリーを大幅に抑えながら、推論タスクでフルモデルに近い精度を実現できるため、研究者や開発者にとって有用だ。

## 出典と参考資料

1. [NormTune: Norm-Guided Parameter-Efficient Fine-Tuning for Reasoning-Intensive Tasks](https://arxiv.org/abs/2610.29134) – arXiv, 2026-10-22

最終更新: 2026-10-22