AWS a ajouté le transfert bidirectionnel du cache KV à sa pile de service vLLM. Cette évolution permet à un nœud de décodage de renvoyer au nœud de préremplissage les blocs KV déjà calculés pour le tour suivant, évitant ainsi de refaire le même travail. Lors de tests sur une configuration à un nœud de préremplissage et un nœud de décodage (1P1D), avec des instances EC2 P5en équipées d’EFA, le délai avant le premier token a été réduit jusqu’à 1,6 fois pour Qwen3‑32B et jusqu’à 3,3 fois pour GLM‑5‑FP8. La fonctionnalité est compatible avec les clusters Trainium et GPU, et se configure au moyen de seuils de TTL et de recalcul.
Pourquoi c'est important
Les développeurs d’assistants conversationnels peuvent maintenir des temps de réponse courts même lorsque l’historique des conversations s’allonge, tout en réduisant les coûts liés aux accélérateurs.
