NormTune adlı makale, parametre açısından verimli ince ayar (PEFT) yöntemlerine eklenebilecek basit bir yöntem öneriyor. Her katmandaki ağırlıkların ne ölçüde değiştiğine bakıyor ve çok az değişen katmanları güçlendiriyor. NormTune’u LoRA, Bone ve MoRA gibi mevcut PEFT yöntemlerine eklemek, AIME ve MATH gibi zorlu akıl yürütme testlerinde ortalama doğruluğu %24’e kadar artırdı. Daha yüksek bir rank (256) kullanıldığında NormTune ile güçlendirilmiş yöntemler, tam ince ayarın performansına ulaştı; bazı durumlarda onu birkaç yüzde puanla geçti.
Neden önemli
Araştırmacıların ve geliştiricilerin, çok daha az GPU süresi ve belleği kullanarak akıl yürütme görevlerinde tam model ince ayarına yakın doğruluk elde etmesini sağlıyor.
