O artigo NormTune propõe um complemento simples para o ajuste fino eficiente em parâmetros (PEFT). O método avalia quanto os pesos de cada camada mudam e dá mais destaque às camadas que mudam pouco. A inclusão do NormTune em métodos de PEFT já existentes, como LoRA, Bone e MoRA, elevou a precisão média em até 24 % em testes difíceis de raciocínio, como AIME e MATH. Com uma classificação mais alta (256), os métodos aprimorados pelo NormTune igualaram o desempenho do ajuste fino completo e, em alguns casos, o superaram em alguns pontos percentuais.
Por que importa
O método permite que pesquisadores e desenvolvedores alcancem, em tarefas de raciocínio, uma precisão próxima à obtida com o ajuste fino do modelo inteiro, usando muito menos tempo de GPU e memória.
