Oossa

AWS ajoute un cache KV partagé pour les modèles IA auto-hébergés

Amazon ElastiCache for Valkey peut partager le contexte des modèles entre serveurs GPU. AWS affirme que ce service peut réduire les coûts d’inférence jusqu’à 40 % et le délai avant le premier jeton jusqu’à 80 %.

Par Publié par Oossa: 2 min de lecture

sdl sanjaya · Unsplash

AWS a ajouté la mise en cache distribuée clé-valeur (KV) à Amazon ElastiCache for Valkey, ce qui permet aux modèles IA auto-hébergés de partager leur contexte mis en cache entre serveurs GPU. AWS affirme que le service peut réduire les coûts d’inférence jusqu’à 40 % et le délai avant le premier jeton — le temps d’attente avant qu’un modèle commence à répondre — jusqu’à 80 %. Il s’agit des réductions maximales annoncées par AWS, et non de résultats garantis pour toutes les charges de travail.

Le cache partagé stocke l’état réutilisable du modèle afin qu’un autre serveur puisse le récupérer au lieu de le recalculer. Cela peut être utile lorsqu’un chat ou un agent transmet le même long contexte au fil de plusieurs échanges, ou lorsque les requêtes passent d’un serveur à l’autre. AWS indique que l’état mis en cache peut être conservé pendant plusieurs jours et récupéré en quelques millisecondes.

Fonctionnement

Le cache fonctionne sur des nœuds cache.i8ge.48xlarge situés dans la même zone de disponibilité AWS que le parc de GPU, et utilise RDMA sur Elastic Fabric Adapter pour transférer les données. Il nécessite ElastiCache for Valkey 9.1 ou une version ultérieure. Les clients peuvent le connecter à leurs déploiements vLLM, SGLang ou TensorRT-LLM existants grâce au connecteur LMCache, en modifiant la configuration.

Selon AWS, le service fonctionne avec les modèles à poids ouverts, affinés et entraînés par les clients, pris en charge par le moteur d’inférence et LMCache. Sa documentation cite notamment les familles de modèles Qwen, Kimi, GPT-OSS, DeepSeek, Gemma et GLM. Le service est disponible dans 13 régions : trois en Amérique du Nord, trois en Europe et sept en Asie-Pacifique.

Quelles charges de travail peuvent en profiter ?

AWS indique que le cache convient particulièrement aux sessions longues ou à plusieurs échanges, aux contextes réutilisés et au trafic réparti entre de nombreux serveurs GPU. Parmi les exemples figurent les agents de programmation, les invites système partagées ainsi que la génération à long contexte ou augmentée par récupération. Il peut apporter peu d’avantages pour les invites courtes qui ne sont pas réutilisées, les tâches comme la traduction ou la modération, les charges de travail dominées par la génération de contenu et les modèles de diffusion.

Avant le déploiement, les équipes peuvent utiliser gratuitement l’outil open source KVTrace pour simuler les taux de succès du cache, les économies estimées et le seuil de rentabilité, à partir de trafic vLLM ou SGLang enregistré. AWS facture chaque nœud de cache à l’heure jusqu’à la suppression du cluster ; l’entreprise précise que le transfert de données entre les hôtes GPU et le cache dans une même zone de disponibilité est gratuit. Le prix réel du nœud dépend des tarifs AWS en vigueur.

Pourquoi c'est important

Pour les équipes qui exécutent des chats à plusieurs échanges ou des agents de programmation sur leurs propres serveurs GPU, le cache partagé pourrait réduire les calculs répétés et permettre au matériel existant de traiter davantage de requêtes. Les économies annoncées par AWS sont des maximums : les équipes doivent donc tester leur propre trafic et comparer les économies estimées au coût horaire des nœuds de cache.

Cet article vous a-t-il été utile ?
Partager

À lire ensuite

Oossa · Newsletter

La semaine de l'IA, expliquée

Chaque lundi : l'essentiel de l'actualité, en langage clair. Gratuit, sans spam.