Valkey宣布9.2版正式推出,同时发布一款面向AI推理的开源分布式键值缓存。它能让推理引擎在一组GPU之间复用已计算的提示词和对话数据;使用自托管开放权重模型的团队,可通过LMCache将其接入vLLM或SGLang。
Valkey称,这款缓存最多可将推理成本降低40%,将首个令牌生成时间缩短80%。此次更新还加入了无需派生进程的快照功能,以避免备份导致的内存峰值;复制压缩则据公司称可将流量减少约50%至65%。
为什么重要
在自有GPU集群上运行开放权重模型的团队,可以通过LMCache尝试复用推理过程中已完成的计算。不过,所称的节省幅度是公司的说法,并不保证适用于所有工作负载。