# NormTune verbetert goedkope finetuning voor wiskunde en redeneren

> Onderzoekers voegen een stap op basis van normwaarden toe aan parameterzuinige finetuning. Daarmee verkleinen ze op meerdere redeneringstests de kloof met volledige finetuning.

Oossa · 2026-10-22 · https://oossa.com/nl/normtune-improves-cheap-fine-tuning-for-math-and-reasoning-tasks

De paper NormTune stelt een eenvoudige aanvulling voor op parameterzuinige finetuning (PEFT). De methode kijkt hoeveel de gewichten van elke laag veranderen en versterkt lagen waarin dat te weinig gebeurt. Door NormTune toe te voegen aan bestaande PEFT-methoden zoals LoRA, Bone en MoRA steeg de gemiddelde nauwkeurigheid op zware redeneringstests zoals AIME en MATH met maximaal 24 %. Bij een hogere rank (256) presteerden de methoden met NormTune even goed als volledige finetuning; soms waren ze die met enkele procentpunten de baas.

## De feiten

- NormTune leverde LoRA met rank 8 gemiddeld 24,24% winst op bij AIME 2024, MATH 500, GPQA en AIME 2025.
- Gepubliceerd op 2026-10-22 (arXiv:2610.29134).

## Waarom het ertoe doet

Zo kunnen onderzoekers en ontwikkelaars op redeneringstaken bijna dezelfde nauwkeurigheid halen als met een volledig gefinetuned model, maar met veel minder GPU-tijd en geheugen.

## Bronnen en referenties

1. [NormTune: Norm-Guided Parameter-Efficient Fine-Tuning for Reasoning-Intensive Tasks](https://arxiv.org/abs/2610.29134) – arXiv, 2026-10-22

Laatst bijgewerkt: 2026-10-22