El motor vLLM ahora ofrece una transferencia push de la caché de clave-valor (KV). Traslada la preparación de la transferencia de datos al lado de prefill, para que la instancia de decode pueda empezar a generar tokens antes. En una prueba comparativa con una configuración de 1 prefill y 1 decode (1P1D), usando instancias EC2 P5en con Elastic Fabric Adapter de AWS, el modo push redujo hasta 3× el tiempo hasta el primer token y cerca de un 30% el tiempo por token de salida, frente al modo pull predeterminado.
Por qué importa
Los desarrolladores que ejecutan servicios de LLM de alto rendimiento pueden ofrecer respuestas notablemente más rápidas, sobre todo al procesar muchos prompts largos a la vez.
