# AWS reduce hasta 3,3 veces la latencia inicial de agentes de IA

> El intercambio bidireccional de caché KV en GPU EC2 P5en reduce hasta 3,3 veces el tiempo hasta el primer token en conversaciones largas.

Oossa · 2026-10-19 · https://oossa.com/es/aws-cuts-first-token-latency-for-multi-turn-ai-agents-with-bi-directional-kv-tra

AWS incorporó la transferencia bidireccional de caché KV a su infraestructura de inferencia vLLM. El cambio permite que un nodo de decodificación envíe al nodo de prellenado los bloques KV calculados previamente para el siguiente turno, evitando repetir el trabajo. En las pruebas con una configuración de un nodo de prellenado y uno de decodificación (1P1D), usando instancias EC2 P5en con EFA, el tiempo hasta el primer token se redujo hasta 1,6 veces con Qwen3‑32B y hasta 3,3 veces con GLM‑5‑FP8. La función es compatible con clústeres Trainium y GPU, y se puede configurar mediante umbrales de TTL y recálculo.

## Los hechos

- Prueba realizada el 19 de octubre de 2026 – "Mon Oct 19 2026 18:03:23 GMT+0200"
- El TTFT se redujo hasta 1,6 veces con Qwen3‑32B y hasta 3,3 veces con GLM‑5‑FP8 en instancias EC2 P5en

## Por qué importa

Los desarrolladores de asistentes conversacionales pueden mantener bajos los tiempos de respuesta incluso cuando crece el historial de chat, y reducir así los costos de aceleración.

## Fuentes y referencias

1. [Improve TTFT for multi-turn agentic workloads with bi-directional KV transfer in vLLM](https://aws.amazon.com/blogs/machine-learning/improve-ttft-for-multi-turn-agentic-workloads-with-bi-directional-kv-transfer-in-vllm/) – AWS, 2026-10-19

Última actualización: 2026-10-19