AWS ha aggiunto il trasferimento bidirezionale della cache KV al proprio stack di serving vLLM. La modifica consente a un nodo di decodifica di inviare al nodo di prefill i blocchi KV già calcolati, così da evitare di ripetere il lavoro nel turno successivo. Nei test con una configurazione a un nodo di prefill e uno di decodifica (1P1D), basata su istanze EC2 P5en con EFA, il time-to-first-token è diminuito fino a 1,6× con Qwen3‑32B e fino a 3,3× con GLM‑5‑FP8. La funzionalità è compatibile con cluster Trainium e GPU e si può configurare tramite TTL e soglie di ricalcolo.
Perché conta
Gli sviluppatori di assistenti conversazionali possono mantenere bassi i tempi di risposta anche quando la cronologia delle chat si allunga, risparmiando sui costi degli acceleratori.
