L’articolo NormTune propone una semplice aggiunta al fine-tuning efficiente in termini di parametri (PEFT). Il metodo misura quanto cambiano i pesi di ciascun layer e potenzia quelli che cambiano troppo poco. Integrando NormTune in metodi PEFT esistenti come LoRA, Bone e MoRA, la precisione media è aumentata fino al 24 % in difficili test di ragionamento come AIME e MATH. Con un rank più elevato (256), i metodi potenziati da NormTune hanno eguagliato le prestazioni del fine-tuning completo, talvolta superandole di qualche punto percentuale.
Perché conta
Consente a ricercatori e sviluppatori di ottenere nei compiti di ragionamento una precisione vicina a quella del modello completo, usando molto meno tempo GPU e memoria.
