# NormTune, 수학·추론 작업의 저비용 미세 조정 성능 높여

> 연구진은 매개변수 효율적 미세 조정에 노름 기반 단계를 추가해, 여러 추론 벤치마크에서 전체 미세 조정과의 성능 격차를 좁혔다.

Oossa · 2026-10-22 · https://oossa.com/ko/normtune-improves-cheap-fine-tuning-for-math-and-reasoning-tasks

논문 「NormTune」은 매개변수 효율적 미세 조정(PEFT)에 간단한 기능을 덧붙이는 방법을 제안한다. 각 층의 가중치가 얼마나 변하는지 살펴보고, 변화가 너무 적은 층의 비중을 높이는 방식이다. NormTune을 LoRA, Bone, MoRA 같은 기존 PEFT 방식에 적용하자 AIME, MATH 등 까다로운 추론 테스트에서 평균 정확도가 최대 24% 향상됐다. 더 큰 랭크(256)를 사용하면 NormTune을 적용한 방식은 전체 미세 조정과 비슷한 성능을 냈고, 때로는 몇 퍼센트 앞섰다.

## 팩트

- NormTune은 AIME 2024, MATH 500, GPQA, AIME 2025에서 랭크 8 LoRA의 평균 성능을 24.24% 높였다.
- 2026-10-22 공개(arXiv:2610.29134).

## 왜 중요한가

GPU 시간과 메모리를 훨씬 적게 쓰면서도 추론 작업에서 전체 모델 미세 조정에 가까운 정확도를 얻을 수 있어 연구자와 개발자에게 유용하다.

## 출처 및 참고 자료

1. [NormTune: Norm-Guided Parameter-Efficient Fine-Tuning for Reasoning-Intensive Tasks](https://arxiv.org/abs/2610.29134) – arXiv, 2026-10-22

최종 업데이트: 2026-10-22