Oossa

Valkey 9.2 bringt gemeinsames Caching für KI-Inferenz

Der Open-Source-Datenspeicher ergänzt einen verteilten Key-Value-Cache und Funktionen, die den Speicherbedarf bei Backups, den Replikationsverkehr und den Overhead großer sortierter Mengen senken sollen.

KurzmeldungVon Von Oossa veröffentlicht: 1 Min. Lesezeit

Valkey hat Version 9.2 allgemein verfügbar gemacht und zugleich einen verteilten Open-Source-Key-Value-Cache für KI-Inferenz vorgestellt. Damit können Inferenz-Engines berechnete Prompt- und Konversationsdaten in einem GPU-Verbund wiederverwenden. Teams, die selbstverwaltete Open-Weight-Modelle nutzen, können den Cache über LMCache mit vLLM oder SGLang anbinden.

Laut Valkey kann der Cache die Inferenzkosten um bis zu 40% und die Zeit bis zum ersten Token um bis zu 80% senken. Die neue Version bietet außerdem Snapshots ohne Forks, um speicherbedingte Spitzen bei Backups zu vermeiden, sowie eine Replikationskomprimierung, die den Netzwerkverkehr nach Unternehmensangaben um etwa 50% bis 65% reduziert.

Warum es wichtig ist

Teams, die Open-Weight-Modelle auf eigenen GPU-Flotten betreiben, können über LMCache versuchen, bereits geleistete Inferenzarbeit wiederzuverwenden. Die beworbenen Einsparungen sind jedoch Angaben des Unternehmens und keine Garantie für jede Arbeitslast.

War dieser Artikel hilfreich?
Teilen

Als Nächstes lesen

Oossa · Newsletter

Die KI-Woche, erklärt

Jeden Montag: die Nachrichten, die man kennen sollte – verständlich. Kostenlos, kein Spam.