# AWS reduz a latência inicial de agentes de IA com transferência de KV nos dois sentidos

> O compartilhamento bidirecional do cache de chave-valor em GPUs EC2 P5en reduz em até 3,3× o tempo até o primeiro token em conversas longas.

Oossa · 2026-10-19 · https://oossa.com/pt/aws-cuts-first-token-latency-for-multi-turn-ai-agents-with-bi-directional-kv-tra

A AWS adicionou a transferência bidirecional do cache KV à sua stack de serving do vLLM. Com a mudança, um nó de decodificação pode enviar blocos KV já calculados de volta ao nó de prefill para a rodada seguinte, evitando repetir o trabalho. Em testes com uma configuração de um nó de prefill e um de decodificação (1P1D), usando instâncias EC2 P5en com EFA, o tempo até o primeiro token caiu em até 1,6× no Qwen3‑32B e em até 3,3× no GLM‑5‑FP8. O recurso funciona tanto em clusters Trainium quanto em clusters de GPUs e pode ser configurado por meio de limites de TTL e de recálculo.

## Os fatos

- Testado em 19 de outubro de 2026 – "Mon Oct 19 2026 18:03:23 GMT+0200"
- Redução de até 1,6× no TTFT para Qwen3‑32B e de até 3,3× para GLM‑5‑FP8 em instâncias EC2 P5en

## Por que importa

Desenvolvedores de assistentes conversacionais podem manter tempos de resposta baixos mesmo com o histórico de conversa crescendo, reduzindo os custos com aceleradores.

## Fontes e referências

1. [Improve TTFT for multi-turn agentic workloads with bi-directional KV transfer in vLLM](https://aws.amazon.com/blogs/machine-learning/improve-ttft-for-multi-turn-agentic-workloads-with-bi-directional-kv-transfer-in-vllm/) – AWS, 2026-10-19

Última atualização: 2026-10-19