# AWS introduceert gedeelde KV-cache voor zelfgehoste AI-modellen

> Amazon ElastiCache for Valkey kan modelcontext delen tussen GPU-servers. Volgens AWS kan dit de inferentiekosten met maximaal 40% verlagen en de wachttijd tot het eerste token met maximaal 80%.

Oossa · 2026-11-19 · https://oossa.com/nl/aws-adds-shared-kv-caching-for-self-hosted-ai-models

AWS heeft gedistribueerde key-value-caching (KV-caching) toegevoegd aan Amazon ElastiCache for Valkey. Daardoor kunnen zelfgehoste AI-modellen gecachte context delen tussen GPU-servers. Volgens AWS kan de dienst de inferentiekosten met maximaal 40% verlagen en de tijd tot het eerste token — de wachttijd voordat een model begint te antwoorden — met maximaal 80%. Dit zijn de maximaal gemelde besparingen van AWS, geen gegarandeerde resultaten voor elke werklast.

De gedeelde cache bewaart herbruikbare modelstatus, zodat een andere server die kan overnemen in plaats van alles opnieuw te berekenen. Dat kan helpen wanneer een chat of agent bij meerdere beurten dezelfde lange context meestuurt, of wanneer verzoeken tussen servers worden verplaatst. AWS zegt dat de gecachte status dagenlang bewaard kan blijven en binnen milliseconden kan worden opgehaald.

## Hoe werkt het?

De cache draait op cache.i8ge.48xlarge-nodes in dezelfde AWS Availability Zone als de GPU-infrastructuur en gebruikt RDMA via Elastic Fabric Adapter om gegevens over te dragen. ElastiCache for Valkey 9.1 of hoger is vereist. Klanten kunnen de cache via de LMCache-connector koppelen aan bestaande implementaties van vLLM, SGLang of TensorRT-LLM. Daarvoor is een configuratiewijziging nodig.

Volgens AWS werkt de cache met open-weight-modellen, fine-tuned modellen en zelfgetrainde modellen die door de inference-engine en LMCache worden ondersteund. In de documentatie noemt AWS modelreeksen als Qwen, Kimi, GPT-OSS, DeepSeek, Gemma en GLM. De dienst is beschikbaar in 13 regio’s: drie in Noord-Amerika, drie in Europa en zeven in Azië-Pacific.

## Welke werklasten kunnen hiervan profiteren?

Volgens AWS is de cache vooral geschikt voor langdurige sessies of gesprekken met meerdere beurten, herhaald gebruik van context en verkeer dat over veel GPU-servers wordt verdeeld. Voorbeelden zijn codeeragents, gedeelde systeemprompts en generatie met lange context of met retrieval augmentation. De cache levert mogelijk weinig op bij korte prompts die niet opnieuw worden gebruikt, taken als vertalen of modereren, werklasten waarbij vooral output wordt gegenereerd en diffusie­modellen.

Voordat ze de cache implementeren, kunnen teams de opensourcetool KVTrace gratis gebruiken om cache-hitpercentages, geschatte besparingen en een break-evenprijs te simuleren op basis van vastgelegd vLLM- of SGLang-verkeer. AWS rekent per uur voor elke cachenode totdat het cluster wordt verwijderd. Gegevensoverdracht tussen GPU-hosts en de cache binnen dezelfde Availability Zone is volgens AWS gratis. De daadwerkelijke prijs per node hangt af van de actuele tarieven van AWS.

## De feiten

- Voor gedistribueerde KV-caching zijn ElastiCache for Valkey 9.1 of hoger en cache.i8ge.48xlarge-nodes vereist.
- AWS vermeldt beschikbaarheid in 13 regio’s in Noord-Amerika, Europa en Azië-Pacific.
- De LMCache-connector ondersteunt integratie met vLLM, SGLang en TensorRT-LLM.
- Volgens AWS kan KVTrace vóór implementatie cache-hitpercentages, besparingen en de break-evenprijs inschatten.

## Waarom het ertoe doet

Voor teams die meerbeurtige chats of codeeragents draaien op hun eigen GPU-servers, kan gedeelde caching herhaalde berekeningen verminderen en ervoor zorgen dat bestaande hardware meer verzoeken aankan. De besparingscijfers van AWS zijn maxima. Teams moeten daarom hun eigen verkeer testen en de geschatte besparingen vergelijken met de uurtarieven voor cachenodes.

## Bronnen en referenties

1. [Amazon ElastiCache now supports distributed KV caching for self-hosted LLM inference](https://aws.amazon.com/about-aws/whats-new/2026/11/announcing-distributed-kv-caching-for-self-hosted-llms-with-amazon-elasticache/) – AWS, 2026-11-18
2. [Amazon Web Services (AWS)](https://docs.aws.amazon.com/AmazonElastiCache/latest/dg/distributed-kv-caching.html?utm_source=openai) – Amazon Web Services (AWS)

Laatst bijgewerkt: 2026-11-19
