# AWS通过双向KV传输降低多轮AI智能体的首 token 延迟

> 在EC2 P5en GPU上共享双向键值缓存，可将长对话的首 token 延迟（TTFT）最高降低3.3倍。

Oossa · 2026-10-19 · https://oossa.com/zh/aws-cuts-first-token-latency-for-multi-turn-ai-agents-with-bi-directional-kv-tra

AWS在其vLLM推理服务堆栈中加入了双向KV缓存传输功能。借助这项改动，解码节点可将之前计算出的KV块传回预填充节点，供下一轮对话使用，从而避免重复计算。在使用配备EFA的EC2 P5en实例进行单预填充、单解码（1P1D）测试时，Qwen3‑32B的首 token 延迟最高降低1.6倍，GLM‑5‑FP8最高降低3.3倍。该功能支持Trainium和GPU集群，并可通过TTL和重计算阈值进行配置。

## 事实

- 测试时间：2026年10月19日——“Mon Oct 19 2026 18:03:23 GMT+0200”
- 在EC2 P5en实例上，Qwen3‑32B的TTFT最高降低1.6倍，GLM‑5‑FP8最高降低3.3倍

## 为什么重要

对话助手开发者可以在聊天记录不断增长时仍保持较快的响应速度，同时节省加速器成本。

## 来源与参考

1. [Improve TTFT for multi-turn agentic workloads with bi-directional KV transfer in vLLM](https://aws.amazon.com/blogs/machine-learning/improve-ttft-for-multi-turn-agentic-workloads-with-bi-directional-kv-transfer-in-vllm/) – AWS, 2026-10-19

最后更新: 2026-10-19