Des chercheurs présentent une méthode pour accélérer la génération de texte à long contexte dans les grands modèles de langage hybrides, sans les réentraîner ni modifier leurs poids. Elle fait en sorte que chaque couche à attention complète se concentre sur les jetons récents, un préfixe épinglé et un ensemble limité de jetons pertinents sélectionnés dans le contexte plus large.
Lors de tests menés sur six modèles comptant de 4 milliards à 397 milliards de paramètres, les chercheurs indiquent avoir obtenu une précision comparable à celle de référence sur 21 jeux de données. Pour Qwen3.5-4B, le décodage de 256,000 jetons a été jusqu’à 2.22 fois plus rapide ; il s’agit des résultats rapportés dans l’article, et non d’une évaluation indépendante.
Pourquoi c'est important
Pour les équipes qui exploitent des modèles hybrides à long contexte, les gains de vitesse rapportés pourraient réduire le temps de décodage sans réentraînement. L’article ne permet toutefois pas de déterminer comment la méthode se comporterait dans leurs propres systèmes.
