# Joint Subspace Sparse Attention versnelt decoding met lange context

> De nieuwe JSSA-methode decodeert bij contexten van 128K tokens tot 6,4× sneller, met een nauwkeurigheid die dicht bij die van full attention blijft.

Oossa · 2026-10-15 · https://oossa.com/nl/joint-subspace-sparse-attention-speeds-up-long-context-llm-decoding

Onderzoekers onder leiding van Jiwon Song hebben een techniek uitgebracht met de naam Joint Subspace Sparse Attention (JSSA). Die selecteert tokens afzonderlijk, zonder ze eerst te verzamelen, waardoor het verkeer van de KV-cache beperkt blijft. Op een NVIDIA B200-GPU haalde JSSA bij contexten van 128 K tokens een decodingsnelheid tot 6,43× die van full-KV attention. De nauwkeurigheid bleef dicht bij die van full-KV en model-eigen dense-sparse attention, zelfs bij modellen met maar liefst 700 B parameters.

## De feiten

- Gepubliceerd: do 15 okt 2026
- Snelheidswinst: tot 6,43× bij een context van 128K tokens op een NVIDIA B200-GPU

## Waarom het ertoe doet

Snellere decoding van lange contexten helpt ontwikkelaars goedkopere, responsievere AI-assistenten te bouwen die zeer grote documenten kunnen lezen en beantwoorden.

## Bronnen en referenties

1. [Joint Subspace Sparse Attention for Efficient Long-Context Decoding](https://arxiv.org/abs/2610.19026) – arXiv, 2026-10-15

Laatst bijgewerkt: 2026-10-15