Oossa

Valkey 9.2 lança cache compartilhado para inferência de IA

O armazenamento de dados de código aberto ganha cache distribuído de chave-valor e mudanças para reduzir o uso de memória em backups, o tráfego de replicação e a sobrecarga de grandes conjuntos ordenados.

NotaPor Publicado pelo Oossa: 1 min de leitura

A Valkey anunciou a disponibilidade geral da versão 9.2, junto com um cache distribuído de chave-valor de código aberto para inferência de IA. Ele permite que mecanismos de inferência reutilizem dados já calculados de prompts e conversas em toda uma frota de GPUs. Equipes que usam modelos de pesos abertos autogerenciados podem conectá-lo por meio do LMCache com o vLLM ou o SGLang.

Segundo a Valkey, o cache pode reduzir os custos de inferência em até 40% e o tempo até o primeiro token em até 80%. A versão também traz snapshots sem fork, para evitar picos de uso de memória relacionados a backups, e compressão de replicação, que, de acordo com a empresa, reduz o tráfego em cerca de 50% a 65%.

Por que importa

Equipes que executam modelos de pesos abertos em suas próprias frotas de GPUs podem testar a reutilização do trabalho de inferência por meio do LMCache, embora as economias anunciadas sejam estimativas da empresa, não uma garantia para todas as cargas de trabalho.

Este artigo foi útil?
Compartilhar

Leia a seguir

Oossa · Newsletter

A semana em IA, explicada

Toda segunda-feira: as notícias que valem a pena, em linguagem simples. Grátis, sem spam.