AWS incorporó la transferencia bidireccional de caché KV a su infraestructura de inferencia vLLM. El cambio permite que un nodo de decodificación envíe al nodo de prellenado los bloques KV calculados previamente para el siguiente turno, evitando repetir el trabajo. En las pruebas con una configuración de un nodo de prellenado y uno de decodificación (1P1D), usando instancias EC2 P5en con EFA, el tiempo hasta el primer token se redujo hasta 1,6 veces con Qwen3‑32B y hasta 3,3 veces con GLM‑5‑FP8. La función es compatible con clústeres Trainium y GPU, y se puede configurar mediante umbrales de TTL y recálculo.
Por qué importa
Los desarrolladores de asistentes conversacionales pueden mantener bajos los tiempos de respuesta incluso cuando crece el historial de chat, y reducir así los costos de aceleración.
