# RoLaQ, 2비트 KV 캐시 정확도와 속도 높여

> 새로운 RoLaQ 기법은 멀티헤드 잠재 어텐션 모델의 저비트 키-값 캐시 정확도와 디코딩 처리량을 높인다.

Oossa · 2026-10-16 · https://oossa.com/ko/rolaq-improves-2-bit-kv-cache-accuracy-and-speed

Shiyu Ji가 이끄는 연구진이 멀티헤드 잠재 어텐션에 쓰이는 2비트 키-값 캐시를 위한 보정 기법 RoLaQ를 공개했다. 이 기법은 모델 가중치를 고정한 채 회전과 양자화 범위를 함께 조정한다. 3개 모델과 6개 벤치마크를 대상으로 한 테스트에서 RoLaQ는 2비트 방식 가운데 평균 정확도가 가장 높았다. DeepSeek‑V2‑Lite에서는 SGLang 구현을 통해 256K 토큰 컨텍스트에서 BF16 캐시 대비 용량은 3.96배, 디코딩 속도는 2.51배로 높아졌다.

## 팩트

- RoLaQ는 14 Oct 2026에 제출됐다(arXiv ID 2610.20686).
- DeepSeek‑V2‑Lite에서 KV 캐시 용량은 3.96배, 디코딩 처리량은 2.51배 향상됐다.

## 왜 중요한가

긴 컨텍스트 언어 모델을 개발하는 이들은 추가 하드웨어 없이 더 큰 프롬프트를 더 빠르게 처리할 수 있다.

## 출처 및 참고 자료

1. [RoLaQ: Joint Rotation and Range Calibration for 2-Bit KV Caches in Multi-Head Latent Attention](https://arxiv.org/abs/2610.20686) – arXiv cs.LG, 2026-10-16

최종 업데이트: 2026-10-16