Oossa

Valkey 9.2新增AI推理共享缓存

这款开源数据存储系统新增分布式键值缓存,并通过多项改进减少备份占用的内存、复制流量和大型有序集合的开销。

简讯作者: Oossa 发布日期: 1 分钟阅读

Valkey宣布9.2版正式推出,同时发布一款面向AI推理的开源分布式键值缓存。它能让推理引擎在一组GPU之间复用已计算的提示词和对话数据;使用自托管开放权重模型的团队,可通过LMCache将其接入vLLM或SGLang。

Valkey称,这款缓存最多可将推理成本降低40%,将首个令牌生成时间缩短80%。此次更新还加入了无需派生进程的快照功能,以避免备份导致的内存峰值;复制压缩则据公司称可将流量减少约50%至65%。

为什么重要

在自有GPU集群上运行开放权重模型的团队,可以通过LMCache尝试复用推理过程中已完成的计算。不过,所称的节省幅度是公司的说法,并不保证适用于所有工作负载。

这篇文章有帮助吗?
分享

继续阅读

Oossa · 新闻简报

一周 AI,讲明白

每周一,用通俗的语言讲清值得知道的新闻。免费,无垃圾邮件。