Oossa

AWS为自托管AI模型推出共享KV缓存

Amazon ElastiCache for Valkey可在GPU服务器之间共享模型上下文。AWS称,这项服务最多可将推理成本降低40%,将首个Token的等待时间缩短80%。

作者: Oossa 发布日期: 2 分钟阅读

sdl sanjaya · Unsplash

AWS为Amazon ElastiCache for Valkey新增了分布式键值(KV)缓存功能,让自托管AI模型能够在GPU服务器之间共享缓存的上下文。AWS称,这项服务最多可将推理成本降低40%,将首个Token的生成等待时间——即模型开始回复前的等待时间——缩短80%。这些是AWS公布的最高降幅,并不保证适用于每种工作负载。

共享缓存会保存可重复使用的模型状态,以便其他服务器直接调用,而不必重新计算。如果聊天或智能体在多轮对话中反复发送相同的长上下文,或者请求在不同服务器之间切换,这项功能就能派上用场。AWS称,缓存状态可保留数天,并能在毫秒内取回。

工作原理

缓存运行在cache.i8ge.48xlarge节点上,节点与GPU集群位于同一个AWS可用区,并通过Elastic Fabric Adapter上的RDMA传输数据。该功能要求使用ElastiCache for Valkey 9.1或更高版本。客户只需更改配置,即可通过LMCache连接器将其接入现有的vLLM、SGLang或TensorRT-LLM部署。

AWS称,该服务适用于推理引擎和LMCache支持的开源权重模型、微调模型及自训练模型。其文档列出的模型系列包括Qwen、Kimi、GPT-OSS、DeepSeek、Gemma和GLM。该服务已在13个区域推出:北美3个、欧洲3个、亚太地区7个。

哪些工作负载可能受益?

AWS称,这项缓存功能最适合长时间运行或多轮会话、重复使用上下文,以及流量分布在多台GPU服务器上的场景。例如编程智能体、共享系统提示,以及长上下文或检索增强生成。对于不重复使用的短提示、翻译或内容审核等任务、主要耗费在生成输出上的工作负载,以及扩散模型,它可能帮助不大。

部署前,团队可以免费使用开源KVTrace工具,根据记录的vLLM或SGLang流量模拟缓存命中率、预估节省金额和盈亏平衡价格。AWS按小时对每个缓存节点收费,直到集群被删除;AWS称,同一可用区内GPU主机与缓存之间的数据传输免费。节点的实际价格以AWS当前定价为准。

为什么重要

对于在自有GPU服务器上运行多轮聊天或编程智能体的团队,共享缓存有望减少重复计算,让现有硬件处理更多请求。AWS公布的节省幅度是最高值,因此团队需要用自己的流量进行测试,并将预估节省金额与缓存节点的小时费用进行比较。

这篇文章有帮助吗?
分享

继续阅读

Oossa · 新闻简报

一周 AI,讲明白

每周一,用通俗的语言讲清值得知道的新闻。免费,无垃圾邮件。