В статье NormTune описан простой дополнительный метод для параметрически эффективной донастройки (PEFT). Он отслеживает, насколько меняются веса каждого слоя, и усиливает слои, изменения в которых слишком малы. Добавление NormTune к существующим методам PEFT, таким как LoRA, Bone и MoRA, повысило среднюю точность до 24 % на сложных тестах на рассуждение, например AIME и MATH. При большем ранге (256) методы с NormTune сравнялись по результатам с полной донастройкой, а иногда превосходили её на несколько процентов.
Почему это важно
Метод позволяет исследователям и разработчикам добиваться точности, близкой к донастройке всей модели, в задачах на рассуждение, затрачивая гораздо меньше времени на GPU и памяти.
