# NormTune улучшает дешёвую донастройку моделей для математики и логики

> Исследователи добавили шаг, учитывающий нормы весов, в параметрически эффективную донастройку. На нескольких тестах на рассуждение она приблизилась по результатам к полной донастройке.

Oossa · 2026-10-22 · https://oossa.com/ru/normtune-improves-cheap-fine-tuning-for-math-and-reasoning-tasks

В статье NormTune описан простой дополнительный метод для параметрически эффективной донастройки (PEFT). Он отслеживает, насколько меняются веса каждого слоя, и усиливает слои, изменения в которых слишком малы. Добавление NormTune к существующим методам PEFT, таким как LoRA, Bone и MoRA, повысило среднюю точность до 24 % на сложных тестах на рассуждение, например AIME и MATH. При большем ранге (256) методы с NormTune сравнялись по результатам с полной донастройкой, а иногда превосходили её на несколько процентов.

## Факты

- NormTune повысил средний результат LoRA с рангом 8 на 24.24% на тестах AIME 2024, MATH 500, GPQA и AIME 2025.
- Опубликовано 2026-10-22 (arXiv:2610.29134).

## Почему это важно

Метод позволяет исследователям и разработчикам добиваться точности, близкой к донастройке всей модели, в задачах на рассуждение, затрачивая гораздо меньше времени на GPU и памяти.

## Источники и ссылки

1. [NormTune: Norm-Guided Parameter-Efficient Fine-Tuning for Reasoning-Intensive Tasks](https://arxiv.org/abs/2610.29134) – arXiv, 2026-10-22

Обновлено: 2026-10-22