# Transferência push de KV reduz a latência do primeiro token no vLLM

> A AWS mostra que o novo modo push pode exibir o primeiro token até três vezes mais rápido e reduzir em 30% o tempo por token no modelo Qwen3‑32B.

Oossa · 2026-10-19 · https://oossa.com/pt/push-based-kv-transfer-cuts-first-token-latency-in-vllm

O mecanismo vLLM agora oferece transferência push do cache de chave-valor (KV). Com ela, a preparação da transferência de dados fica a cargo da etapa de prefill, permitindo que a instância de decode comece a gerar tokens mais cedo. Em um benchmark com configuração 1-prefill-1-decode (1P1D), usando instâncias EC2 P5en com AWS Elastic Fabric Adapter, o modo push reduziu em até 3× o tempo até o primeiro token e diminuiu em cerca de 30% o tempo por token gerado em comparação com o modo pull padrão.

## Os fatos

- Até 3× menos TTFT e 30 % menos TPOT no modelo Qwen3‑32B
- Testado em instâncias GPU EC2 P5en com EFA em 2026‑10‑19

## Por que importa

Desenvolvedores que operam serviços de LLM de alto volume podem oferecer respostas consideravelmente mais rápidas, sobretudo ao processar muitos prompts longos de uma só vez.

## Fontes e referências

1. [Push-based KV transfer to improve TTFT and TPOT for disaggregated inference in vLLM](https://aws.amazon.com/blogs/machine-learning/push-based-kv-transfer-to-improve-ttft-and-tpot-for-disaggregated-inference-in-vllm/) – AWS, 2026-10-19

Última atualização: 2026-10-19