शोधपत्र NormTune में पैरामीटर-कुशल फाइन-ट्यूनिंग (PEFT) के लिए एक आसान ऐड-ऑन पेश किया गया है। यह देखता है कि हर लेयर के वेट में कितना बदलाव होता है और जिन लेयर में बहुत कम बदलाव होता है, उन्हें बढ़ावा देता है। LoRA, Bone और MoRA जैसी मौजूदा PEFT विधियों में NormTune जोड़ने से AIME और MATH जैसे कठिन तर्क-परीक्षणों पर औसत सटीकता 24 % तक बढ़ी। बड़े रैंक (256) पर NormTune से बेहतर की गई विधियों का प्रदर्शन पूर्ण फाइन-ट्यूनिंग के बराबर पहुंच गया और कभी-कभी उससे कुछ प्रतिशत बेहतर भी रहा।
यह क्यों मायने रखता है
इससे शोधकर्ता और डेवलपर बहुत कम GPU समय और मेमोरी खर्च करके तर्क-आधारित कार्यों में लगभग पूरे मॉडल जितनी सटीकता हासिल कर सकते हैं।
