联合子空间稀疏注意力加速长上下文大模型解码

新方法 JSSA 在 128K token 上下文中最高可将解码速度提升 6.4 倍，同时保持接近全注意力的准确率。

简讯作者： OossaOossa 发布日期: 2026年10月15日 07:38 UTC1 分钟阅读

由 Jiwon Song 领衔的研究团队发布了一种名为联合子空间稀疏注意力（JSSA）的技术。该方法无需先汇集 token，就能逐个筛选，从而减少 KV 缓存流量。在 NVIDIA B200 GPU 上，处理 128 K token 上下文时，JSSA 的解码速度最高可达全 KV 注意力的 6.43 倍。即使模型参数规模高达 700 B，其准确率仍接近全 KV 注意力和模型原生的密集—稀疏注意力。