AWS reduz a latência inicial de agentes de IA com transferência de KV nos dois sentidos

A AWS adicionou a transferência bidirecional do cache KV à sua stack de serving do vLLM. Com a mudança, um nó de decodificação pode enviar blocos KV já calculados de volta ao nó de prefill para a rodada seguinte, evitando repetir o trabalho. Em testes com uma configuração de um nó de prefill e um de decodificação (1P1D), usando instâncias EC2 P5en com EFA, o tempo até o primeiro token caiu em até 1,6× no Qwen3‑32B e em até 3,3× no GLM‑5‑FP8. O recurso funciona tanto em clusters Trainium quanto em clusters de GPUs e pode ser configurado por meio de limites de TTL e de recálculo.