تقترح ورقة NormTune إضافة بسيطة إلى أساليب الضبط الدقيق الفعّالة من حيث عدد المعاملات (PEFT). ترصد مقدار تغيّر أوزان كل طبقة، وتعزّز الطبقات التي لا تتغير أوزانها بما يكفي. وأدى دمج NormTune مع أساليب PEFT القائمة، مثل LoRA وBone وMoRA، إلى رفع متوسط الدقة بنسبة تصل إلى 24% في اختبارات استدلال صعبة مثل AIME وMATH. ومع رتبة أعلى (256)، حققت الأساليب المعززة بـNormTune أداءً مماثلًا للضبط الدقيق الكامل، بل تفوقت عليه أحيانًا ببضع نقاط مئوية.
لماذا يهم
يتيح ذلك للباحثين والمطورين تحقيق دقة تقارب دقة النموذج الكامل في مهام الاستدلال، مع استهلاك أقل بكثير لوقت وحدة معالجة الرسومات وذاكرتها.
