# AWS为自托管AI模型推出共享KV缓存

> Amazon ElastiCache for Valkey可在GPU服务器之间共享模型上下文。AWS称，这项服务最多可将推理成本降低40%，将首个Token的等待时间缩短80%。

Oossa · 2026-11-19 · https://oossa.com/zh/aws-adds-shared-kv-caching-for-self-hosted-ai-models

AWS为Amazon ElastiCache for Valkey新增了分布式键值（KV）缓存功能，让自托管AI模型能够在GPU服务器之间共享缓存的上下文。AWS称，这项服务最多可将推理成本降低40%，将首个Token的生成等待时间——即模型开始回复前的等待时间——缩短80%。这些是AWS公布的最高降幅，并不保证适用于每种工作负载。

共享缓存会保存可重复使用的模型状态，以便其他服务器直接调用，而不必重新计算。如果聊天或智能体在多轮对话中反复发送相同的长上下文，或者请求在不同服务器之间切换，这项功能就能派上用场。AWS称，缓存状态可保留数天，并能在毫秒内取回。

## 工作原理

缓存运行在cache.i8ge.48xlarge节点上，节点与GPU集群位于同一个AWS可用区，并通过Elastic Fabric Adapter上的RDMA传输数据。该功能要求使用ElastiCache for Valkey 9.1或更高版本。客户只需更改配置，即可通过LMCache连接器将其接入现有的vLLM、SGLang或TensorRT-LLM部署。

AWS称，该服务适用于推理引擎和LMCache支持的开源权重模型、微调模型及自训练模型。其文档列出的模型系列包括Qwen、Kimi、GPT-OSS、DeepSeek、Gemma和GLM。该服务已在13个区域推出：北美3个、欧洲3个、亚太地区7个。

## 哪些工作负载可能受益？

AWS称，这项缓存功能最适合长时间运行或多轮会话、重复使用上下文，以及流量分布在多台GPU服务器上的场景。例如编程智能体、共享系统提示，以及长上下文或检索增强生成。对于不重复使用的短提示、翻译或内容审核等任务、主要耗费在生成输出上的工作负载，以及扩散模型，它可能帮助不大。

部署前，团队可以免费使用开源KVTrace工具，根据记录的vLLM或SGLang流量模拟缓存命中率、预估节省金额和盈亏平衡价格。AWS按小时对每个缓存节点收费，直到集群被删除；AWS称，同一可用区内GPU主机与缓存之间的数据传输免费。节点的实际价格以AWS当前定价为准。

## 事实

- 分布式KV缓存要求使用ElastiCache for Valkey 9.1或更高版本，以及cache.i8ge.48xlarge节点。
- AWS称该服务已在北美、欧洲和亚太地区的13个区域推出。
- LMCache连接器支持接入vLLM、SGLang和TensorRT-LLM。
- AWS称，部署前可使用KVTrace预估缓存命中率、节省金额和盈亏平衡价格。

## 为什么重要

对于在自有GPU服务器上运行多轮聊天或编程智能体的团队，共享缓存有望减少重复计算，让现有硬件处理更多请求。AWS公布的节省幅度是最高值，因此团队需要用自己的流量进行测试，并将预估节省金额与缓存节点的小时费用进行比较。

## 来源与参考

1. [Amazon ElastiCache now supports distributed KV caching for self-hosted LLM inference](https://aws.amazon.com/about-aws/whats-new/2026/11/announcing-distributed-kv-caching-for-self-hosted-llms-with-amazon-elasticache/) – AWS, 2026-11-18
2. [Amazon Web Services (AWS)](https://docs.aws.amazon.com/AmazonElastiCache/latest/dg/distributed-kv-caching.html?utm_source=openai) – Amazon Web Services (AWS)

最后更新: 2026-11-19
