# La transferencia push de KV reduce la latencia inicial en vLLM

> AWS demuestra que el nuevo modo push puede hacer que el primer token aparezca hasta tres veces más rápido y reducir un 30% el tiempo por token en el modelo Qwen3‑32B.

Oossa · 2026-10-19 · https://oossa.com/es/push-based-kv-transfer-cuts-first-token-latency-in-vllm

El motor vLLM ahora ofrece una transferencia push de la caché de clave-valor (KV). Traslada la preparación de la transferencia de datos al lado de prefill, para que la instancia de decode pueda empezar a generar tokens antes. En una prueba comparativa con una configuración de 1 prefill y 1 decode (1P1D), usando instancias EC2 P5en con Elastic Fabric Adapter de AWS, el modo push redujo hasta 3× el tiempo hasta el primer token y cerca de un 30% el tiempo por token de salida, frente al modo pull predeterminado.

## Los hechos

- Hasta 3× menos TTFT y un 30 % menos TPOT con el modelo Qwen3‑32B
- Probado en instancias GPU EC2 P5en con EFA el 2026‑10‑19

## Por qué importa

Los desarrolladores que ejecutan servicios de LLM de alto rendimiento pueden ofrecer respuestas notablemente más rápidas, sobre todo al procesar muchos prompts largos a la vez.

## Fuentes y referencias

1. [Push-based KV transfer to improve TTFT and TPOT for disaggregated inference in vLLM](https://aws.amazon.com/blogs/machine-learning/push-based-kv-transfer-to-improve-ttft-and-tpot-for-disaggregated-inference-in-vllm/) – AWS, 2026-10-19

Última actualización: 2026-10-19