AbridgeKV est une méthode qui compresse le cache mémoire utilisé par les modèles de langage lorsqu’ils génèrent de longues chaînes de raisonnement. Dans un article publié sur arXiv le 16 octobre 2026, ses auteurs expliquent qu’ils entraînent les modèles à résumer les blocs de texte terminés en quelques tokens de pause appris, avant de supprimer les entrées de cache d’origine de ces blocs.
Sur 446 problèmes de concours, les auteurs indiquent que conserver un quart du cache généré permet d’obtenir la même précision et la même longueur de réponse qu’avec un modèle entraîné de façon identique et utilisant le cache complet. Ils font également état d’un cache 3,5 fois plus petit par séquence dans vLLM et d’une résolution des problèmes 3,2 fois plus rapide sur un H100 saturé ; le résumé fourni ne précise pas les scores et ne mentionne aucune validation indépendante.
Pourquoi c'est important
Pour les équipes qui exécutent de longues tâches de raisonnement, la réduction du cache annoncée pourrait permettre de traiter davantage de séquences en mémoire. Le résumé ne permet toutefois pas de tirer des conclusions sur les performances au-delà des tests portant sur des problèmes de concours.
