Oossa

Valkey 9.2 inför delad cache för AI-inferens

Den öppna datalagringstjänsten får distribuerad KV-cache och ändringar som ska minska minnesåtgången vid säkerhetskopiering, replikeringstrafiken och kostnaderna för stora sorterade mängder.

NotisAv Publicerad av Oossa: 1 min läsning

Valkey meddelade att version 9.2 nu är allmänt tillgänglig, tillsammans med en distribuerad nyckel-värde-cache med öppen källkod för AI-inferens. Den gör det möjligt för inferensmotorer att återanvända beräknade prompt- och samtalsdata i en GPU-flotta. Team som använder egenhanterade modeller med öppna vikter kan ansluta den via LMCache till vLLM eller SGLang.

Valkey uppger att cachen kan sänka inferenskostnaderna med upp till 40% och tiden till första token med upp till 80%. Versionen innehåller också ögonblicksbilder utan forking för att undvika minnestoppar i samband med säkerhetskopiering, samt komprimering av replikeringstrafik som enligt företaget minskar trafiken med cirka 50% till 65%.

Varför det spelar roll

Team som kör modeller med öppna vikter på egna GPU-flottor kan testa att återanvända inferensarbete via LMCache. De utlovade besparingarna är dock företagets egna uppgifter och ingen garanti för alla arbetsbelastningar.

Var den här artikeln användbar?
Dela

Läs vidare

Oossa · Nyhetsbrev

Veckans AI, förklarad

Varje måndag: nyheterna som är värda att känna till, på enkel svenska. Gratis, ingen spam.