A Valkey anunciou a disponibilidade geral da versão 9.2, junto com um cache distribuído de chave-valor de código aberto para inferência de IA. Ele permite que mecanismos de inferência reutilizem dados já calculados de prompts e conversas em toda uma frota de GPUs. Equipes que usam modelos de pesos abertos autogerenciados podem conectá-lo por meio do LMCache com o vLLM ou o SGLang.
Segundo a Valkey, o cache pode reduzir os custos de inferência em até 40% e o tempo até o primeiro token em até 80%. A versão também traz snapshots sem fork, para evitar picos de uso de memória relacionados a backups, e compressão de replicação, que, de acordo com a empresa, reduz o tráfego em cerca de 50% a 65%.
Por que importa
Equipes que executam modelos de pesos abertos em suas próprias frotas de GPUs podem testar a reutilização do trabalho de inferência por meio do LMCache, embora as economias anunciadas sejam estimativas da empresa, não uma garantia para todas as cargas de trabalho.