# vLLM réduit jusqu’à 3 fois le délai avant le premier token

> AWS montre que le nouveau mode push peut accélérer jusqu’à trois fois l’arrivée du premier token et réduire de 30 % le temps par token avec le modèle Qwen3‑32B.

Oossa · 2026-10-19 · https://oossa.com/fr/push-based-kv-transfer-cuts-first-token-latency-in-vllm

Le moteur vLLM propose désormais un transfert push du cache clé-valeur (KV). La configuration du transfert des données est ainsi prise en charge du côté du prefill, ce qui permet à l’instance de décodage de commencer à générer des tokens plus tôt. Lors d’un benchmark sur une configuration 1 prefill–1 decode (1P1D), avec des instances EC2 P5en équipées de l’AWS Elastic Fabric Adapter, le mode push a réduit jusqu’à 3 fois le délai avant le premier token et diminué d’environ 30 % le temps par token généré, par rapport au mode pull par défaut.

## Les faits

- Jusqu’à 3 fois moins de délai avant le premier token et 30 % de temps par token en moins avec le modèle Qwen3‑32B
- Test réalisé le 2026‑10‑19 sur des instances GPU EC2 P5en avec EFA

## Pourquoi c'est important

Les développeurs qui exploitent des services LLM à haut débit peuvent obtenir des réponses sensiblement plus rapides, surtout lorsqu’ils traitent simultanément de nombreux prompts longs.

## Sources et références

1. [Push-based KV transfer to improve TTFT and TPOT for disaggregated inference in vLLM](https://aws.amazon.com/blogs/machine-learning/push-based-kv-transfer-to-improve-ttft-and-tpot-for-disaggregated-inference-in-vllm/) – AWS, 2026-10-19

Dernière mise à jour: 2026-10-19