# AWS riduce la latenza iniziale degli agenti AI multi-turno

> La condivisione bidirezionale della cache key-value sulle GPU EC2 P5en riduce fino a 3,3× il TTFT nelle conversazioni lunghe.

Oossa · 2026-10-19 · https://oossa.com/it/aws-cuts-first-token-latency-for-multi-turn-ai-agents-with-bi-directional-kv-tra

AWS ha aggiunto il trasferimento bidirezionale della cache KV al proprio stack di serving vLLM. La modifica consente a un nodo di decodifica di inviare al nodo di prefill i blocchi KV già calcolati, così da evitare di ripetere il lavoro nel turno successivo. Nei test con una configurazione a un nodo di prefill e uno di decodifica (1P1D), basata su istanze EC2 P5en con EFA, il time-to-first-token è diminuito fino a 1,6× con Qwen3‑32B e fino a 3,3× con GLM‑5‑FP8. La funzionalità è compatibile con cluster Trainium e GPU e si può configurare tramite TTL e soglie di ricalcolo.

## I fatti

- Test effettuato il 19 ottobre 2026 – "Mon Oct 19 2026 18:03:23 GMT+0200"
- TTFT ridotto fino a 1,6× con Qwen3‑32B e fino a 3,3× con GLM‑5‑FP8 su istanze EC2 P5en

## Perché conta

Gli sviluppatori di assistenti conversazionali possono mantenere bassi i tempi di risposta anche quando la cronologia delle chat si allunga, risparmiando sui costi degli acceleratori.

## Fonti e riferimenti

1. [Improve TTFT for multi-turn agentic workloads with bi-directional KV transfer in vLLM](https://aws.amazon.com/blogs/machine-learning/improve-ttft-for-multi-turn-agentic-workloads-with-bi-directional-kv-transfer-in-vllm/) – AWS, 2026-10-19

Ultimo aggiornamento: 2026-10-19