Artikeln NormTune presenterar ett enkelt tillägg för parameter-effektiv finjustering (PEFT). Metoden mäter hur mycket vikterna i varje lager förändras och förstärker lager där förändringen är för liten. När NormTune kombinerades med befintliga PEFT-metoder som LoRA, Bone och MoRA ökade den genomsnittliga träffsäkerheten med upp till 24 % på svåra resonemangstester som AIME och MATH. Med en högre rankning (256) nådde de NormTune-förstärkta metoderna samma resultat som full finjustering och slog ibland den med några procentenheter.
Varför det spelar roll
Metoden gör det möjligt för forskare och utvecklare att nå nästan samma träffsäkerhet som med en fullständig modellfinjustering på resonemangstester, med betydligt mindre GPU-tid och minne.
