vLLM 推送式 KV 传输降低首 token 延迟

AWS 表示，在 Qwen3‑32B 模型上，新推送模式可将首 token 的生成时间最多缩短至原来的三分之一，并将每个 token 的耗时降低 30%。

简讯作者： OossaOossa 发布日期: 2026年10月19日 16:40 UTC1 分钟阅读

vLLM 引擎现已支持推送式键值（KV）缓存传输。该模式将数据传输的准备工作移至预填充端，让解码实例更早开始生成 token。在使用 AWS Elastic Fabric Adapter 的 EC2 P5en 实例上进行的 1 个预填充实例搭配 1 个解码实例（1P1D）基准测试中，与默认的拉取模式相比，推送模式将首 token 延迟最多降低至原来的三分之一，并将每个输出 token 的耗时降低约 30%。