Valkey meddelade att version 9.2 nu är allmänt tillgänglig, tillsammans med en distribuerad nyckel-värde-cache med öppen källkod för AI-inferens. Den gör det möjligt för inferensmotorer att återanvända beräknade prompt- och samtalsdata i en GPU-flotta. Team som använder egenhanterade modeller med öppna vikter kan ansluta den via LMCache till vLLM eller SGLang.
Valkey uppger att cachen kan sänka inferenskostnaderna med upp till 40% och tiden till första token med upp till 80%. Versionen innehåller också ögonblicksbilder utan forking för att undvika minnestoppar i samband med säkerhetskopiering, samt komprimering av replikeringstrafik som enligt företaget minskar trafiken med cirka 50% till 65%.
Varför det spelar roll
Team som kör modeller med öppna vikter på egna GPU-flottor kan testa att återanvända inferensarbete via LMCache. De utlovade besparingarna är dock företagets egna uppgifter och ingen garanti för alla arbetsbelastningar.