# Joint Subspace Sparse Attention、長文脈LLMのデコードを高速化

> 新手法JSSAは、精度をフルアテンションに近く保ちながら、128Kトークンの文脈で最大6.4倍高速にデコードできる。

Oossa · 2026-10-15 · https://oossa.com/ja/joint-subspace-sparse-attention-speeds-up-long-context-llm-decoding

Jiwon Song氏らの研究チームが、Joint Subspace Sparse Attention（JSSA）と呼ばれる手法を発表した。トークンを事前にまとめず、個別に選択することで、KVキャッシュのデータ転送量を抑える。NVIDIA B200 GPUでの測定では、128Kトークンの文脈において、フルKVアテンションと比べて最大6.43倍のデコード速度を達成した。精度はフルKVアテンションや、モデル本来の密・疎アテンションに近い水準を維持し、最大700Bパラメーターのモデルでも同様だった。

## 事実

- 公開日：2026年10月15日（木）
- 高速化率：NVIDIA B200 GPUで、128Kトークンの文脈において最大6.43倍

## なぜ重要か

長文脈のデコードが高速化すれば、開発者は非常に大きな文書を読み取って応答できるAIアシスタントを、より低コストで機敏に構築できる。

## 出典と参考資料

1. [Joint Subspace Sparse Attention for Efficient Long-Context Decoding](https://arxiv.org/abs/2610.19026) – arXiv, 2026-10-15

最終更新: 2026-10-15