# RoLaQ提升2-bit KV缓存的准确率与速度

> RoLaQ是一种新方法，可提高多头潜在注意力模型中低比特键值缓存的准确率和解码吞吐量。

Oossa · 2026-10-16 · https://oossa.com/zh/rolaq-improves-2-bit-kv-cache-accuracy-and-speed

由 Shiyu Ji 领衔的研究团队发布了 RoLaQ，这是一种用于多头潜在注意力的2-bit键值缓存校准技术。该方法在保持模型权重冻结的同时，联合调整旋转方式和量化范围。在三种模型和六项基准测试中，RoLaQ在2-bit方法中的平均准确率最高。在 DeepSeek‑V2‑Lite 上，基于 SGLang 的实现可使缓存容量达到 BF16 缓存的 3.96 倍，并在 256K token 上下文下将解码速度提升至 2.51 倍。

## 事实

- RoLaQ 于 2026年10月14日提交（arXiv 编号：2610.20686）。
- 在 DeepSeek‑V2‑Lite 上，它实现了 3.96× KV 缓存容量和 2.51× 解码吞吐量。

## 为什么重要

长上下文语言模型的开发者可以在不增加硬件的情况下，更快地处理更长的提示词。

## 来源与参考

1. [RoLaQ: Joint Rotation and Range Calibration for 2-Bit KV Caches in Multi-Head Latent Attention](https://arxiv.org/abs/2610.20686) – arXiv cs.LG, 2026-10-16

最后更新: 2026-10-16