مقاله NormTune یک افزونه ساده برای ریزتنظیم کم‌پارامتر (PEFT) پیشنهاد می‌کند. این روش میزان تغییر وزن‌های هر لایه را بررسی می‌کند و به لایه‌هایی که تغییر کمی دارند، وزن بیشتری می‌دهد. افزودن NormTune به روش‌های رایج PEFT مانند LoRA، Bone و MoRA، دقت میانگین را در آزمون‌های دشوار استدلالی مثل AIME و MATH تا 24 ٪ افزایش داد. در رتبه بالاتر (256)، روش‌های تقویت‌شده با NormTune به عملکرد ریزتنظیم کامل رسیدند و گاهی چند درصد هم از آن بهتر عمل کردند.
چرا مهم است
این روش به پژوهشگران و توسعه‌دهندگان امکان می‌دهد در کارهای استدلالی، با زمان و حافظه بسیار کمترِ GPU، به دقتی نزدیک به ریزتنظیم کامل مدل برسند.
