# Tsinghua : AKV gère la mémoire des agents LLM via leur cache

> AKV permet aux agents d’écarter des éléments de contexte stockés et de réorganiser les autres sans réécrire l’historique de la conversation. Ses auteurs font état de coûts réduits et d’un service plus rapide lors de leurs tests.

Oossa · 2026-10-26 · https://oossa.com/fr/tsinghua-s-akv-manages-llm-agent-memory-through-its-cache

Des chercheurs de Tsinghua ont publié sur GitHub le code open source d’AKV, un système de gestion du cache pour les agents LLM. Au lieu de raccourcir ou de résumer la conversation d’un agent lorsqu’elle s’allonge, AKV lui permet d’écarter certaines informations stockées et de réorganiser celles qui restent. Le projet s’appuie sur SGLang, un logiciel d’exécution de modèles de langage, et comprend à la fois un composant qui choisit les opérations à appliquer au cache et un système de service qui les exécute.

Cette distinction est importante, car l’historique d’un agent peut contenir de nombreuses observations, des appels d’outils et leurs résultats. Garder tout cela dans le contexte actif du modèle nécessite du stockage et de la puissance de calcul. Mais modifier des messages antérieurs peut obliger le système à recalculer le contexte qui les suit, une opération appelée « re-prefilling ». Selon l’article consacré à AKV, cette opération peut être coûteuse, tandis que supprimer trop d’historique risque de nuire à la précision des tâches. AKV conserve plutôt l’historique intact et modifie les éléments du cache clé-valeur stocké auxquels le modèle prête attention.

## Comment fonctionne AKV ?

AKV propose deux opérations sur le cache aux agents. « Drop » exclut certaines informations de l’attention future, tandis que « reposition » compacte les positions des informations conservées. Dans l’exemple du projet, l’agent garde le résultat d’outil le plus récent, écarte le précédent une fois le nouveau reçu, puis réorganise le cache restant. Les messages d’origine restent dans la requête ; le serveur AKV applique les instructions relatives au cache. Selon l’article, cela évite de recalculer le contexte conservé.

Le système doit également tenir compte des modifications apportées à son cache. L’article souligne qu’une même séquence de jetons de conversation peut aboutir à des états de cache différents selon les opérations utilisées par l’agent. Un serveur ne peut donc pas réutiliser sans risque des informations mises en cache en se fondant uniquement sur la correspondance du préfixe de la conversation. AKV associe une politique côté agent à un serveur fondé sur SGLang, qui gère la réutilisation, la suppression et la restauration du cache. Le projet indique que le serveur utilise une interface sans état, compatible avec les API de service existantes, tout en gérant l’état du cache en interne.

## Que montrent les tests ?

Dans les expériences des auteurs, une politique de suppression progressive des réponses d’outils a augmenté de 1,7 point les scores moyens aux benchmarks et réduit de 27,7 % le coût moyen par rapport à une synthèse déclenchée par un seuil. L’article fait également état d’un débit de génération jusqu’à 1,2 fois supérieur et d’une latence des requêtes au 95e percentile réduite d’un facteur 1,5. Une méthode distincte visant à améliorer les politiques de cache a permis de réduire les coûts de manière récursive de 7,1 % par rapport aux politiques conçues par des experts. Il s’agit de résultats rapportés par les auteurs de l’article ; les documents fournis ne font état d’aucune réplication indépendante.

Les instructions sur GitHub décrivent l’installation d’AKV à l’aide de Rust, Cargo et Python 3.12. L’exemple de démarrage rapide sert GPT-OSS-120B via AKV et envoie des requêtes dans un format de complétion de chat compatible avec OpenAI. Le projet explique également comment intégrer sa politique à un environnement d’agent existant en traitant les requêtes avant de les envoyer au serveur. Les résultats rapportés portent sur quatre benchmarks d’agents, mais les documents fournis ne précisent pas lesquels et ne donnent pas assez de détails pour évaluer dans quelle mesure ces économies pourraient s’appliquer à d’autres modèles ou charges de travail.

## Les faits

- AKV est un projet open source d’ingénierie du cache fondé sur SGLang.
- L’article fait état d’une baisse moyenne des coûts de 27,7 % et d’une hausse de 1,7 point des scores aux benchmarks par rapport à une synthèse déclenchée par un seuil.
- Les meilleurs résultats rapportés pour AKV comprennent un débit de génération multiplié par 1,2 et une latence des requêtes au P95 réduite d’un facteur 1,5.
- Les instructions de démarrage rapide du projet utilisent GPT-OSS-120B et nécessitent Python 3.12.

## Pourquoi c'est important

Pour les équipes qui développent des agents faisant appel à des outils de façon répétée, AKV permet d’écarter d’anciens résultats d’outils sans réécrire l’historique de la conversation. Les auteurs rapportent une baisse des coûts lors de leurs tests, mais les économies obtenues par une équipe donnée dépendront de son modèle et de sa charge de travail.

## Sources et références

1. [Tsinghua AI Open-Sources AKV, a Cache Engineering Server for LLM Agents on SGLang](https://www.marktechpost.com/2026/10/26/tsinghua-akv-kv-cache-engineering-llm-agents/) – MarkTechPost, 2026-10-26
2. [arXiv](https://arxiv.org/abs/2610.28577) – arXiv
3. [AKV project (thu-nics)](https://github.com/thu-nics/AKV) – AKV project (thu-nics)

Dernière mise à jour: 2026-10-26