# AbridgeKV将推理模型缓存压缩至四分之一

> 研究人员称，在一项包含446道题的测试中，生成token缓存减少75%，准确率和输出长度仍得以保持。

Oossa · 2026-10-16 · https://oossa.com/zh/abridgekv-shrinks-reasoning-model-cache-to-one-quarter

AbridgeKV是一种压缩语言模型生成长推理链时所用内存缓存的方法。在2026年10月16日发布于arXiv的一篇论文中，作者介绍了如何训练模型：让模型用少量习得的暂停token概括已完成的文本块，然后丢弃这些文本块原有的缓存条目。

在446道竞赛题上，作者称，保留四分之一的生成缓存，准确率和输出长度与采用相同训练方式、保留完整缓存的模型相当。他们还报告称，在vLLM中，每个序列的缓存缩小至原来的约1/3.5；在满负载的H100上，完成题目的速度提高了3.2倍。论文提供的摘要没有给出具体得分，也没有说明是否经过独立验证。

## 事实

- 测试集包含来自AIME、HMMT、AMC、BRUMO、CMIMC和SMT的446道题，生成长度最高为32K tokens。
- 作者称，与完整KV缓存相比，每个序列的缓存减少3.5倍；在满负载的H100上，完成速度提高3.2倍。

## 为什么重要

对于提供长推理任务服务的团队，这一缓存缩减幅度若属实，可能让内存中容纳更多序列；但摘要并未证明该方法在竞赛题测试之外的表现。

## 来源与参考

1. [AbridgeKV: Compressing Long Reasoning into the KV Cache of Learned Pause Tokens](https://arxiv.org/abs/2610.20641) – arXiv, 2026-10-16

最后更新: 2026-10-16