# NormTune verbessert günstiges Fine-Tuning für Mathe und logisches Denken

> Forschende ergänzen das parameter-effiziente Fine-Tuning um einen normgesteuerten Schritt und schließen damit bei mehreren Reasoning-Benchmarks die Lücke zum vollständigen Fine-Tuning.

Oossa · 2026-10-22 · https://oossa.com/de/normtune-improves-cheap-fine-tuning-for-math-and-reasoning-tasks

Das Paper NormTune stellt eine einfache Ergänzung für parameter-effizientes Fine-Tuning (PEFT) vor. Dabei wird gemessen, wie stark sich die Gewichte der einzelnen Schichten verändern. Schichten mit besonders geringen Veränderungen werden stärker gewichtet. Die Ergänzung bestehender PEFT-Methoden wie LoRA, Bone und MoRA durch NormTune steigerte die durchschnittliche Genauigkeit bei anspruchsvollen Reasoning-Tests wie AIME und MATH um bis zu 24 %. Mit einem höheren Rang (256) erreichten die erweiterten Methoden die Leistung des vollständigen Fine-Tunings und übertrafen sie teilweise um einige Prozentpunkte.

## Die Fakten

- NormTune brachte LoRA mit Rang 8 auf AIME 2024, MATH 500, GPQA und AIME 2025 einen durchschnittlichen Zuwachs von 24,24 %.
- Veröffentlicht am 2026-10-22 (arXiv:2610.29134).

## Warum es wichtig ist

So können Forschende und Entwickler bei Reasoning-Aufgaben nahezu die Genauigkeit eines vollständig feinabgestimmten Modells erreichen und benötigen dafür deutlich weniger GPU-Zeit und Speicher.

## Quellen und Referenzen

1. [NormTune: Norm-Guided Parameter-Efficient Fine-Tuning for Reasoning-Intensive Tasks](https://arxiv.org/abs/2610.29134) – arXiv, 2026-10-22

Zuletzt aktualisiert: 2026-10-22