Valkey hat Version 9.2 allgemein verfügbar gemacht und zugleich einen verteilten Open-Source-Key-Value-Cache für KI-Inferenz vorgestellt. Damit können Inferenz-Engines berechnete Prompt- und Konversationsdaten in einem GPU-Verbund wiederverwenden. Teams, die selbstverwaltete Open-Weight-Modelle nutzen, können den Cache über LMCache mit vLLM oder SGLang anbinden.
Laut Valkey kann der Cache die Inferenzkosten um bis zu 40% und die Zeit bis zum ersten Token um bis zu 80% senken. Die neue Version bietet außerdem Snapshots ohne Forks, um speicherbedingte Spitzen bei Backups zu vermeiden, sowie eine Replikationskomprimierung, die den Netzwerkverkehr nach Unternehmensangaben um etwa 50% bis 65% reduziert.
Warum es wichtig ist
Teams, die Open-Weight-Modelle auf eigenen GPU-Flotten betreiben, können über LMCache versuchen, bereits geleistete Inferenzarbeit wiederzuverwenden. Die beworbenen Einsparungen sind jedoch Angaben des Unternehmens und keine Garantie für jede Arbeitslast.