El artículo NormTune propone un complemento sencillo para el ajuste fino eficiente en parámetros (PEFT). Analiza cuánto cambian los pesos de cada capa y refuerza las capas que cambian demasiado poco. Al añadir NormTune a métodos PEFT existentes, como LoRA, Bone y MoRA, la precisión media aumentó hasta un 24 % en pruebas exigentes de razonamiento, como AIME y MATH. Con un rango mayor (256), los métodos mejorados con NormTune igualaron el rendimiento del ajuste fino completo y, en ocasiones, lo superaron por unos pocos puntos porcentuales.
Por qué importa
Permite a investigadores y desarrolladores alcanzar una precisión casi igual a la de un modelo completo en tareas de razonamiento, con mucho menos tiempo de GPU y memoria.
