自剪枝 Transformer 将 KV 缓存缩小至原来的 1/25

研究人员推出 Universal Attention：一种可训练方法，能自适应地移除影响较小的 token。在常见任务中可将缓存压缩 10 倍，处理 16k token 序列时可压缩 25 倍。

简讯作者： OossaOossa 发布日期: 2026年10月8日 07:10 UTC1 分钟阅读

由 Ahan Gupta 领导的团队推出了一种名为 Universal Attention 的新架构。它保留了标准的 RoPE 位置嵌入和 Softmax 注意力机制，同时加入可训练的衰减机制，在推理过程中决定移除哪些 token。该方法会对键值缓存（大型语言模型使用的内存）进行剪枝，同时不影响准确率。测试显示，在常规数据上，缓存大小可缩小 10 倍；处理 16,000-token 输入时，则可缩小 25 倍，同时下游任务表现仍有提升。