# AWS réduit le délai du premier token des agents IA à plusieurs tours

> Le partage bidirectionnel du cache KV sur les GPU EC2 P5en réduit jusqu’à 3,3 fois le délai du premier token dans les longues conversations.

Oossa · 2026-10-19 · https://oossa.com/fr/aws-cuts-first-token-latency-for-multi-turn-ai-agents-with-bi-directional-kv-tra

AWS a ajouté le transfert bidirectionnel du cache KV à sa pile de service vLLM. Cette évolution permet à un nœud de décodage de renvoyer au nœud de préremplissage les blocs KV déjà calculés pour le tour suivant, évitant ainsi de refaire le même travail. Lors de tests sur une configuration à un nœud de préremplissage et un nœud de décodage (1P1D), avec des instances EC2 P5en équipées d’EFA, le délai avant le premier token a été réduit jusqu’à 1,6 fois pour Qwen3‑32B et jusqu’à 3,3 fois pour GLM‑5‑FP8. La fonctionnalité est compatible avec les clusters Trainium et GPU, et se configure au moyen de seuils de TTL et de recalcul.

## Les faits

- Test effectué le 19 oct. 2026 – « Mon Oct 19 2026 18:03:23 GMT+0200 »
- Délai avant le premier token réduit jusqu’à 1,6 fois pour Qwen3‑32B et jusqu’à 3,3 fois pour GLM‑5‑FP8 sur des instances EC2 P5en

## Pourquoi c'est important

Les développeurs d’assistants conversationnels peuvent maintenir des temps de réponse courts même lorsque l’historique des conversations s’allonge, tout en réduisant les coûts liés aux accélérateurs.

## Sources et références

1. [Improve TTFT for multi-turn agentic workloads with bi-directional KV transfer in vLLM](https://aws.amazon.com/blogs/machine-learning/improve-ttft-for-multi-turn-agentic-workloads-with-bi-directional-kv-transfer-in-vllm/) – AWS, 2026-10-19

Dernière mise à jour: 2026-10-19