Onderzoekers onder leiding van Jiwon Song hebben een techniek uitgebracht met de naam Joint Subspace Sparse Attention (JSSA). Die selecteert tokens afzonderlijk, zonder ze eerst te verzamelen, waardoor het verkeer van de KV-cache beperkt blijft. Op een NVIDIA B200-GPU haalde JSSA bij contexten van 128 K tokens een decodingsnelheid tot 6,43× die van full-KV attention. De nauwkeurigheid bleef dicht bij die van full-KV en model-eigen dense-sparse attention, zelfs bij modellen met maar liefst 700 B parameters.
Waarom het ertoe doet
Snellere decoding van lange contexten helpt ontwikkelaars goedkopere, responsievere AI-assistenten te bouwen die zeer grote documenten kunnen lezen en beantwoorden.
