Oossa

Valkey 9.2 introduce una cache condivisa per l’inferenza AI

Il datastore open source aggiunge una cache distribuita key-value e funzioni pensate per ridurre la memoria richiesta dai backup, il traffico di replica e l’overhead dei grandi set ordinati.

BreveDi Pubblicato da Oossa: 1 min di lettura

Valkey ha annunciato la disponibilità generale della versione 9.2, insieme a una cache distribuita open source key-value per l’inferenza AI. Permette ai motori di inferenza di riutilizzare i dati già elaborati di prompt e conversazioni su un’intera flotta di GPU; i team che usano modelli open-weight autogestiti possono collegarla tramite LMCache a vLLM o SGLang.

Secondo Valkey, la cache può ridurre i costi di inferenza fino al 40% e il time-to-first-token fino all’80%. La nuova versione introduce anche snapshot senza fork, per evitare picchi di memoria durante i backup, e la compressione della replica, che secondo l’azienda riduce il traffico di circa il 50%-65%.

Perché conta

I team che eseguono modelli open-weight sulle proprie flotte di GPU possono provare a riutilizzare il lavoro di inferenza tramite LMCache, ma i risparmi indicati sono stime dell’azienda e non sono garantiti per ogni carico di lavoro.

Questo articolo ti è stato utile?
Condividi

Leggi anche

Oossa · Newsletter

La settimana dell'IA, spiegata

Ogni lunedì: le notizie che contano, in parole semplici. Gratis, niente spam.