AWS在其vLLM推理服务堆栈中加入了双向KV缓存传输功能。借助这项改动，解码节点可将之前计算出的KV块传回预填充节点，供下一轮对话使用，从而避免重复计算。在使用配备EFA的EC2 P5en实例进行单预填充、单解码（1P1D）测试时，Qwen3‑32B的首 token 延迟最高降低1.6倍，GLM‑5‑FP8最高降低3.3倍。该功能支持Trainium和GPU集群，并可通过TTL和重计算阈值进行配置。
为什么重要
对话助手开发者可以在聊天记录不断增长时仍保持较快的响应速度，同时节省加速器成本。
AWS通过双向KV传输降低多轮AI智能体的首 token 延迟
在EC2 P5en GPU上共享双向键值缓存，可将长对话的首 token 延迟（TTFT）最高降低3.3倍。
简讯作者： OossaOossa 发布日期: 1 分钟阅读
继续阅读
Oossa · 新闻简报
一周 AI，讲明白
每周一，用通俗的语言讲清值得知道的新闻。免费，无垃圾邮件。