# Push-basierte KV-Übertragung senkt die Latenz in vLLM

> AWS zeigt: Der neue Push-Modus lässt das erste Token bis zu dreimal schneller erscheinen und senkt beim Modell Qwen3‑32B die Zeit pro Token um 30 %.

Oossa · 2026-10-19 · https://oossa.com/de/push-based-kv-transfer-cuts-first-token-latency-in-vllm

Die vLLM-Engine unterstützt jetzt eine Push-basierte Übertragung des Key-Value-Caches (KV-Cache). Dabei wird die Vorbereitung der Datenübertragung auf die Prefill-Seite verlagert, sodass die Decode-Instanz früher mit der Token-Generierung beginnen kann. In einem Benchmark mit einer 1-Prefill-1-Decode-Konfiguration (1P1D) auf EC2-P5en-Instanzen mit AWS Elastic Fabric Adapter senkte der Push-Modus die Zeit bis zum ersten Token um bis zu das Dreifache und die Zeit pro ausgegebenem Token um etwa 30 % gegenüber dem standardmäßigen Pull-Modus.

## Die Fakten

- Bis zu dreimal niedrigere TTFT und 30 % niedrigere TPOT beim Modell Qwen3‑32B
- Getestet auf EC2-P5en-GPU-Instanzen mit EFA am 2026-10-19

## Warum es wichtig ist

Entwickler, die LLM-Dienste mit hohem Durchsatz betreiben, können deutlich schnellere Antworten erzielen – besonders, wenn sie viele lange Prompts gleichzeitig verarbeiten.

## Quellen und Referenzen

1. [Push-based KV transfer to improve TTFT and TPOT for disaggregated inference in vLLM](https://aws.amazon.com/blogs/machine-learning/push-based-kv-transfer-to-improve-ttft-and-tpot-for-disaggregated-inference-in-vllm/) – AWS, 2026-10-19

Zuletzt aktualisiert: 2026-10-19