추론 비용 없이 저비트 LLM 양자화 성능 높이는 기법

연구진이 사후 학습 양자화 후 가중치를 다듬는 분포 강건 양자화(DRQ)를 제안해 여러 기법의 성능을 높였다.

짧은 소식작성: OossaOossa 게시일: 2026년 10월 9일 오전 6:42 UTC1 분 읽기

Zhuo Sun이 이끄는 연구팀이 arXiv에 분포 강건 양자화(Distributionally Robust Quantization, DRQ)라는 기법을 공개했다. DRQ는 다양한 활성값 분포에서 최악의 재구성 손실을 최소화하도록 양자화된 가중치의 정수 코드를 조정한다. 가중치 전용 사후 학습 양자화 뒤에 적용되며, 양자화 격자와 추론 연산자는 그대로 유지한다. 실험 결과 DRQ는 AWQ, GPTQ, ParoQuant 등 6가지 기법으로 이미 양자화한 모델의 성능을 높였다. 조밀형 LLM과 전문가 혼합(MoE) LLM 모두에서 효과가 확인됐다.