Une équipe de chercheurs dirigée par Jiwon Song a présenté une technique baptisée Joint Subspace Sparse Attention (JSSA). Elle sélectionne les tokens un à un, sans les regrouper au préalable, ce qui limite le trafic lié au cache KV. Sur un GPU NVIDIA B200, JSSA a atteint une vitesse de décodage jusqu’à 6,43× supérieure à celle de l’attention avec KV complet pour des contextes de 128 K tokens. La précision est restée proche de celle de l’attention avec KV complet et de l’attention dense-éparse native des modèles, y compris pour des modèles comptant jusqu’à 700 B paramètres.
Pourquoi c'est important
Un décodage plus rapide sur de longs contextes permet aux développeurs de créer des assistants d’IA moins coûteux et plus réactifs, capables de lire et de traiter de très grands documents.
