AbridgeKV将推理模型缓存压缩至四分之一

AbridgeKV是一种压缩语言模型生成长推理链时所用内存缓存的方法。在2026年10月16日发布于arXiv的一篇论文中，作者介绍了如何训练模型：让模型用少量习得的暂停token概括已完成的文本块，然后丢弃这些文本块原有的缓存条目。

在446道竞赛题上，作者称，保留四分之一的生成缓存，准确率和输出长度与采用相同训练方式、保留完整缓存的模型相当。他们还报告称，在vLLM中，每个序列的缓存缩小至原来的约1/3.5；在满负载的H100上，完成题目的速度提高了3.2倍。论文提供的摘要没有给出具体得分，也没有说明是否经过独立验证。