O mecanismo vLLM agora oferece transferência push do cache de chave-valor (KV). Com ela, a preparação da transferência de dados fica a cargo da etapa de prefill, permitindo que a instância de decode comece a gerar tokens mais cedo. Em um benchmark com configuração 1-prefill-1-decode (1P1D), usando instâncias EC2 P5en com AWS Elastic Fabric Adapter, o modo push reduziu em até 3× o tempo até o primeiro token e diminuiu em cerca de 30% o tempo por token gerado em comparação com o modo pull padrão.
Por que importa
Desenvolvedores que operam serviços de LLM de alto volume podem oferecer respostas consideravelmente mais rápidas, sobretudo ao processar muitos prompts longos de uma só vez.
