# Il trasferimento KV push riduce la latenza del primo token in vLLM

> AWS mostra che la nuova modalità push può far comparire il primo token fino a tre volte più velocemente e ridurre del 30% il tempo per token con il modello Qwen3‑32B.

Oossa · 2026-10-19 · https://oossa.com/it/push-based-kv-transfer-cuts-first-token-latency-in-vllm

Il motore vLLM ora supporta il trasferimento push della cache key-value (KV). In questo modo, la configurazione del trasferimento dei dati viene gestita sul lato prefill, così l’istanza di decode può iniziare a generare token prima. In un benchmark con configurazione 1 prefill e 1 decode (1P1D), eseguito su istanze EC2 P5en con AWS Elastic Fabric Adapter, la modalità push ha ridotto fino a 3 volte il tempo al primo token e di circa il 30% il tempo per token generato rispetto alla modalità pull predefinita.

## I fatti

- Fino a 3 volte meno TTFT e il 30 % in meno di TPOT con il modello Qwen3‑32B
- Test eseguito su istanze GPU EC2 P5en con EFA il 2026‑10‑19

## Perché conta

Gli sviluppatori che gestiscono servizi LLM ad alto throughput possono ottenere risposte sensibilmente più rapide, soprattutto quando elaborano molti prompt lunghi contemporaneamente.

## Fonti e riferimenti

1. [Push-based KV transfer to improve TTFT and TPOT for disaggregated inference in vLLM](https://aws.amazon.com/blogs/machine-learning/push-based-kv-transfer-to-improve-ttft-and-tpot-for-disaggregated-inference-in-vllm/) – AWS, 2026-10-19

Ultimo aggiornamento: 2026-10-19