# vLLM 推送式 KV 传输降低首 token 延迟

> AWS 表示，在 Qwen3‑32B 模型上，新推送模式可将首 token 的生成时间最多缩短至原来的三分之一，并将每个 token 的耗时降低 30%。

Oossa · 2026-10-19 · https://oossa.com/zh/push-based-kv-transfer-cuts-first-token-latency-in-vllm

vLLM 引擎现已支持推送式键值（KV）缓存传输。该模式将数据传输的准备工作移至预填充端，让解码实例更早开始生成 token。在使用 AWS Elastic Fabric Adapter 的 EC2 P5en 实例上进行的 1 个预填充实例搭配 1 个解码实例（1P1D）基准测试中，与默认的拉取模式相比，推送模式将首 token 延迟最多降低至原来的三分之一，并将每个输出 token 的耗时降低约 30%。

## 事实

- 在 Qwen3‑32B 模型上，TTFT 最多降低至原来的三分之一，TPOT 降低 30%
- 于 2026‑10‑19 在配备 EFA 的 EC2 P5en GPU 实例上测试

## 为什么重要

运行高吞吐量 LLM 服务的开发者可以显著加快响应速度，尤其是在同时处理大量长提示词时。

## 来源与参考

1. [Push-based KV transfer to improve TTFT and TPOT for disaggregated inference in vLLM](https://aws.amazon.com/blogs/machine-learning/push-based-kv-transfer-to-improve-ttft-and-tpot-for-disaggregated-inference-in-vllm/) – AWS, 2026-10-19

最后更新: 2026-10-19