# Pushbaserad KV-överföring ger snabbare första token i vLLM

> AWS visar att det nya pushläget kan få den första token att visas upp till tre gånger snabbare och minska tiden per token med 30 % för modellen Qwen3‑32B.

Oossa · 2026-10-19 · https://oossa.com/sv/push-based-kv-transfer-cuts-first-token-latency-in-vllm

vLLM-motorn har nu stöd för pushbaserad överföring av key-value-cache (KV-cache). Den flyttar förberedelserna för dataöverföringen till prefill-sidan, så att decode-instansen kan börja generera token tidigare. I ett benchmarktest med en 1-prefill-1-decode-konfiguration (1P1D) på EC2 P5en-instanser med AWS Elastic Fabric Adapter minskade pushläget tiden till första token med upp till 3× och sänkte tiden per utdata-token med cirka 30 % jämfört med standardläget, pull.

## Fakta

- Upp till 3× kortare TTFT och 30 % kortare TPOT med modellen Qwen3‑32B
- Testat på EC2 P5en GPU-instanser med EFA den 2026‑10‑19

## Varför det spelar roll

Utvecklare som kör LLM-tjänster med hög genomströmning kan få märkbart snabbare svar, särskilt när de hanterar många långa promptar samtidigt.

## Källor och referenser

1. [Push-based KV transfer to improve TTFT and TPOT for disaggregated inference in vLLM](https://aws.amazon.com/blogs/machine-learning/push-based-kv-transfer-to-improve-ttft-and-tpot-for-disaggregated-inference-in-vllm/) – AWS, 2026-10-19

Senast uppdaterad: 2026-10-19