# 联合子空间稀疏注意力加速长上下文大模型解码

> 新方法 JSSA 在 128K token 上下文中最高可将解码速度提升 6.4 倍，同时保持接近全注意力的准确率。

Oossa · 2026-10-15 · https://oossa.com/zh/joint-subspace-sparse-attention-speeds-up-long-context-llm-decoding

由 Jiwon Song 领衔的研究团队发布了一种名为联合子空间稀疏注意力（JSSA）的技术。该方法无需先汇集 token，就能逐个筛选，从而减少 KV 缓存流量。在 NVIDIA B200 GPU 上，处理 128 K token 上下文时，JSSA 的解码速度最高可达全 KV 注意力的 6.43 倍。即使模型参数规模高达 700 B，其准确率仍接近全 KV 注意力和模型原生的密集—稀疏注意力。

## 事实

- 发布日期：2026 年 10 月 15 日，星期四
- 加速幅度：在 NVIDIA B200 GPU 上处理 128K token 上下文时最高达 6.43 倍

## 为什么重要

长上下文解码速度提升后，开发者可以打造成本更低、响应更快的 AI 助手，让它们阅读并回应篇幅极长的文档。

## 来源与参考

1. [Joint Subspace Sparse Attention for Efficient Long-Context Decoding](https://arxiv.org/abs/2610.19026) – arXiv, 2026-10-15

最后更新: 2026-10-15