Jiwon Song氏らの研究チームが、Joint Subspace Sparse Attention（JSSA）と呼ばれる手法を発表した。トークンを事前にまとめず、個別に選択することで、KVキャッシュのデータ転送量を抑える。NVIDIA B200 GPUでの測定では、128Kトークンの文脈において、フルKVアテンションと比べて最大6.43倍のデコード速度を達成した。精度はフルKVアテンションや、モデル本来の密・疎アテンションに近い水準を維持し、最大700Bパラメーターのモデルでも同様だった。
なぜ重要か
長文脈のデコードが高速化すれば、開発者は非常に大きな文書を読み取って応答できるAIアシスタントを、より低コストで機敏に構築できる。
