Oossa

Valkey 9.2 voegt gedeelde cache voor AI-inferentie toe

De open-sourcedatastore introduceert een gedistribueerde KV-cache en verbeteringen die het geheugengebruik bij back-ups, replicatieverkeer en de overhead van grote gesorteerde sets moeten terugdringen.

Kort berichtDoor Gepubliceerd door Oossa: 1 min lezen

Valkey heeft versie 9.2 algemeen beschikbaar gemaakt en introduceert daarnaast een opensource, gedistribueerde key-valuecache voor AI-inferentie. Inference-engines kunnen daarmee berekende prompts en gespreksgegevens hergebruiken op een hele GPU-vloot. Teams die zelf open-weightmodellen beheren, kunnen de cache via LMCache koppelen aan vLLM of SGLang.

Volgens Valkey kan de cache de inferentiekosten met maximaal 40% verlagen en de tijd tot het eerste token met maximaal 80%. De release bevat ook forkless snapshots om geheugenpieken door back-ups te voorkomen en compressie van replicatieverkeer. Volgens het bedrijf vermindert die de hoeveelheid verkeer met ongeveer 50% tot 65%.

Waarom het ertoe doet

Teams die open-weightmodellen op hun eigen GPU-vloten draaien, kunnen via LMCache eerder verricht inferentiewerk hergebruiken. De genoemde besparingen zijn claims van het bedrijf en geen garantie voor elke workload.

Was dit artikel nuttig?
Delen

Lees ook

Oossa · Nieuwsbrief

De AI-week, uitgelegd

Elke maandag: het nieuws dat ertoe doet, in gewone taal. Gratis, geen spam.