RoLaQ、2ビットKVキャッシュの精度と速度を向上

Shiyu Ji氏らの研究チームは、マルチヘッド潜在注意で使われる2ビットの鍵・値キャッシュ向けキャリブレーション手法「RoLaQ」を公開した。モデルの重みを固定したまま、回転と量子化範囲を同時に調整する。3つのモデルと6つのベンチマークでのテストでは、2ビット手法の中で平均精度が最も高かった。DeepSeek‑V2‑Liteでは、SGLangによる実装で256Kトークンのコンテキストを使い、BF16キャッシュの3.96倍の容量と2.51倍のデコード速度を実現した。