由 Shiyu Ji 领衔的研究团队发布了 RoLaQ，这是一种用于多头潜在注意力的2-bit键值缓存校准技术。该方法在保持模型权重冻结的同时，联合调整旋转方式和量化范围。在三种模型和六项基准测试中，RoLaQ在2-bit方法中的平均准确率最高。在 DeepSeek‑V2‑Lite 上，基于 SGLang 的实现可使缓存容量达到 BF16 缓存的 3.96 倍，并在 256K token 上下文下将解码速度提升至 2.51 倍。
为什么重要
长上下文语言模型的开发者可以在不增加硬件的情况下，更快地处理更长的提示词。
