# JSSA accélère le décodage des LLM à long contexte

> La méthode JSSA peut accélérer le décodage jusqu’à 6,4× sur des contextes de 128K tokens, tout en maintenant une précision proche de celle de l’attention complète.

Oossa · 2026-10-15 · https://oossa.com/fr/joint-subspace-sparse-attention-speeds-up-long-context-llm-decoding

Une équipe de chercheurs dirigée par Jiwon Song a présenté une technique baptisée Joint Subspace Sparse Attention (JSSA). Elle sélectionne les tokens un à un, sans les regrouper au préalable, ce qui limite le trafic lié au cache KV. Sur un GPU NVIDIA B200, JSSA a atteint une vitesse de décodage jusqu’à 6,43× supérieure à celle de l’attention avec KV complet pour des contextes de 128 K tokens. La précision est restée proche de celle de l’attention avec KV complet et de l’attention dense-éparse native des modèles, y compris pour des modèles comptant jusqu’à 700 B paramètres.

## Les faits

- Publié : Thu Oct 15 2026
- Accélération : jusqu’à 6,43× sur un contexte de 128K tokens avec un GPU NVIDIA B200

## Pourquoi c'est important

Un décodage plus rapide sur de longs contextes permet aux développeurs de créer des assistants d’IA moins coûteux et plus réactifs, capables de lire et de traiter de très grands documents.

## Sources et références

1. [Joint Subspace Sparse Attention for Efficient Long-Context Decoding](https://arxiv.org/abs/2610.19026) – arXiv, 2026-10-15

Dernière mise à jour: 2026-10-15