Oossa

AWS inför delad KV-cache för egenhostade AI-modeller

Amazon ElastiCache for Valkey kan dela modellkontext mellan GPU-servrar. Enligt AWS kan det sänka inferenskostnaderna med upp till 40% och väntetiden till första token med upp till 80%.

Av Publicerad av Oossa: 2 min läsning

sdl sanjaya · Unsplash

AWS har lagt till distribuerad nyckel-värde-cache (KV-cache) i Amazon ElastiCache for Valkey. Därmed kan egenhostade AI-modeller dela cachad kontext mellan GPU-servrar. AWS uppger att tjänsten kan minska inferenskostnaderna med upp till 40% och tiden till första token – alltså väntan innan modellen börjar svara – med upp till 80%. Det är de största minskningar AWS har rapporterat, inte garanterade resultat för alla arbetsbelastningar.

Den delade cachen lagrar återanvändbart modelltillstånd, så att en annan server kan hämta det i stället för att beräkna det på nytt. Det kan vara till hjälp när en chatt eller agent skickar samma långa kontext i flera turer, eller när förfrågningar flyttas mellan servrar. AWS uppger att cachat tillstånd kan sparas i flera dagar och hämtas på millisekunder.

Så fungerar det

Cachen körs på noder av typen cache.i8ge.48xlarge i samma AWS Availability Zone som GPU-klustret och använder RDMA via Elastic Fabric Adapter för dataöverföring. Den kräver ElastiCache for Valkey 9.1 eller senare. Kunder kan ansluta den till befintliga driftsättningar av vLLM, SGLang eller TensorRT-LLM med LMCache-anslutningen genom att ändra konfigurationen.

Enligt AWS fungerar lösningen med modeller med öppna vikter, finjusterade modeller och modeller som kunderna själva har tränat, förutsatt att inferensmotorn och LMCache stöder dem. I dokumentationen nämner AWS modellfamiljerna Qwen, Kimi, GPT-OSS, DeepSeek, Gemma och GLM. Tjänsten finns i 13 regioner: tre i Nordamerika, tre i Europa och sju i Asien och Stillahavsområdet.

Vilka arbetsbelastningar kan ha nytta av det?

AWS uppger att cachen passar bäst för långa sessioner eller sessioner med flera turer, återkommande kontext och trafik som fördelas över många GPU-servrar. Exempel är kodningsagenter, delade systempromptar samt generering med lång kontext eller hämtning som stöd. Den kan ge liten nytta för korta promptar som inte återanvänds, uppgifter som översättning eller moderering, arbetsbelastningar där generering av utdata dominerar samt diffusionsmodeller.

Innan driftsättning kan team utan kostnad använda verktyget KVTrace med öppen källkod för att simulera cacheträffar, uppskattade besparingar och ett beräknat nollpunktspris utifrån inspelad trafik från vLLM eller SGLang. AWS tar betalt per timme för varje cachennod tills klustret raderas. Dataöverföring mellan GPU-värdar och cachen i samma Availability Zone är enligt AWS kostnadsfri. Det faktiska nodpriset beror på AWS aktuella prissättning.

Varför det spelar roll

För team som kör chattjänster med flera turer eller kodningsagenter på egna GPU-servrar kan delad cache minska upprepade beräkningar och hjälpa den befintliga hårdvaran att hantera fler förfrågningar. AWS besparingssiffror är maximala uppskattningar, så team behöver testa sin egen trafik och jämföra de beräknade besparingarna med timkostnaden för cachennoderna.

Var den här artikeln användbar?
Dela

Läs vidare

Oossa · Nyhetsbrev

Veckans AI, förklarad

Varje måndag: nyheterna som är värda att känna till, på enkel svenska. Gratis, ingen spam.