Valkey ha annunciato la disponibilità generale della versione 9.2, insieme a una cache distribuita open source key-value per l’inferenza AI. Permette ai motori di inferenza di riutilizzare i dati già elaborati di prompt e conversazioni su un’intera flotta di GPU; i team che usano modelli open-weight autogestiti possono collegarla tramite LMCache a vLLM o SGLang.
Secondo Valkey, la cache può ridurre i costi di inferenza fino al 40% e il time-to-first-token fino all’80%. La nuova versione introduce anche snapshot senza fork, per evitare picchi di memoria durante i backup, e la compressione della replica, che secondo l’azienda riduce il traffico di circa il 50%-65%.
Perché conta
I team che eseguono modelli open-weight sulle proprie flotte di GPU possono provare a riutilizzare il lavoro di inferenza tramite LMCache, ma i risparmi indicati sono stime dell’azienda e non sono garantiti per ogni carico di lavoro.