Valkey heeft versie 9.2 algemeen beschikbaar gemaakt en introduceert daarnaast een opensource, gedistribueerde key-valuecache voor AI-inferentie. Inference-engines kunnen daarmee berekende prompts en gespreksgegevens hergebruiken op een hele GPU-vloot. Teams die zelf open-weightmodellen beheren, kunnen de cache via LMCache koppelen aan vLLM of SGLang.
Volgens Valkey kan de cache de inferentiekosten met maximaal 40% verlagen en de tijd tot het eerste token met maximaal 80%. De release bevat ook forkless snapshots om geheugenpieken door back-ups te voorkomen en compressie van replicatieverkeer. Volgens het bedrijf vermindert die de hoeveelheid verkeer met ongeveer 50% tot 65%.
Waarom het ertoe doet
Teams die open-weightmodellen op hun eigen GPU-vloten draaien, kunnen via LMCache eerder verricht inferentiewerk hergebruiken. De genoemde besparingen zijn claims van het bedrijf en geen garantie voor elke workload.