# RoLaQ、2ビットKVキャッシュの精度と速度を向上

> 新手法RoLaQにより、マルチヘッド潜在注意モデルの低ビット鍵・値キャッシュで、精度とデコード処理量が向上する。

Oossa · 2026-10-16 · https://oossa.com/ja/rolaq-improves-2-bit-kv-cache-accuracy-and-speed

Shiyu Ji氏らの研究チームは、マルチヘッド潜在注意で使われる2ビットの鍵・値キャッシュ向けキャリブレーション手法「RoLaQ」を公開した。モデルの重みを固定したまま、回転と量子化範囲を同時に調整する。3つのモデルと6つのベンチマークでのテストでは、2ビット手法の中で平均精度が最も高かった。DeepSeek‑V2‑Liteでは、SGLangによる実装で256Kトークンのコンテキストを使い、BF16キャッシュの3.96倍の容量と2.51倍のデコード速度を実現した。

## 事実

- RoLaQは2026年10月14日に投稿された（arXiv ID 2610.20686）。
- DeepSeek‑V2‑LiteでKVキャッシュ容量3.96倍、デコード処理量2.51倍を達成した。

## なぜ重要か

長文コンテキストを扱う言語モデルの開発者は、追加のハードウェアなしで、より長いプロンプトをより速く処理できる。

## 出典と参考資料

1. [RoLaQ: Joint Rotation and Range Calibration for 2-Bit KV Caches in Multi-Head Latent Attention](https://arxiv.org/abs/2610.20686) – arXiv cs.LG, 2026-10-16

最終更新: 2026-10-16