# Push-overdracht van KV-cache versnelt eerste token in vLLM

> AWS laat zien dat de nieuwe push-modus het eerste token tot drie keer sneller kan leveren en de tijd per token met 30% kan verlagen voor het model Qwen3‑32B.

Oossa · 2026-10-19 · https://oossa.com/nl/push-based-kv-transfer-cuts-first-token-latency-in-vllm

De vLLM-engine ondersteunt nu push-overdracht van de key-value-cache (KV-cache). Daardoor wordt de voorbereiding van de gegevensoverdracht verplaatst naar de prefill-kant, zodat de decode-instantie eerder tokens kan gaan genereren. In een benchmark met een 1-prefill-1-decode-opstelling (1P1D) op EC2 P5en-instanties met AWS Elastic Fabric Adapter verlaagde de push-modus de tijd tot het eerste token met maximaal een factor 3 en de tijd per gegenereerd token met ongeveer 30% ten opzichte van de standaard pull-modus.

## De feiten

- Tot 3× lagere TTFT en 30 % lagere TPOT voor het model Qwen3‑32B
- Getest op EC2 P5en-GPU-instanties met EFA op 2026‑10‑19

## Waarom het ertoe doet

Ontwikkelaars die LLM-diensten met een hoge doorvoer draaien, kunnen merkbaar snellere reacties bieden, vooral wanneer ze veel lange prompts tegelijk verwerken.

## Bronnen en referenties

1. [Push-based KV transfer to improve TTFT and TPOT for disaggregated inference in vLLM](https://aws.amazon.com/blogs/machine-learning/push-based-kv-transfer-to-improve-ttft-and-tpot-for-disaggregated-inference-in-vllm/) – AWS, 2026-10-19

Laatst bijgewerkt: 2026-10-19