JSSA beschleunigt das Decoding von LLMs mit langem Kontext

Forschende unter der Leitung von Jiwon Song haben eine Technik namens Joint Subspace Sparse Attention (JSSA) vorgestellt. Sie wählt Tokens einzeln aus, ohne sie zuvor zusammenzuführen, und hält so den Datenverkehr für den KV-Cache gering. Auf einer NVIDIA B200 GPU erreichte JSSA bei Kontexten mit 128 K Tokens eine bis zu 6,43× höhere Decoding-Geschwindigkeit als Attention mit vollständigem KV-Cache. Die Genauigkeit lag weiterhin nahe am Niveau von Attention mit vollständigem KV-Cache und der modellspezifischen Dense-Sparse-Attention – selbst bei Modellen mit bis zu 700 B Parametern.