AWS heeft gedistribueerde key-value-caching (KV-caching) toegevoegd aan Amazon ElastiCache for Valkey. Daardoor kunnen zelfgehoste AI-modellen gecachte context delen tussen GPU-servers. Volgens AWS kan de dienst de inferentiekosten met maximaal 40% verlagen en de tijd tot het eerste token — de wachttijd voordat een model begint te antwoorden — met maximaal 80%. Dit zijn de maximaal gemelde besparingen van AWS, geen gegarandeerde resultaten voor elke werklast.
De gedeelde cache bewaart herbruikbare modelstatus, zodat een andere server die kan overnemen in plaats van alles opnieuw te berekenen. Dat kan helpen wanneer een chat of agent bij meerdere beurten dezelfde lange context meestuurt, of wanneer verzoeken tussen servers worden verplaatst. AWS zegt dat de gecachte status dagenlang bewaard kan blijven en binnen milliseconden kan worden opgehaald.
Hoe werkt het?
De cache draait op cache.i8ge.48xlarge-nodes in dezelfde AWS Availability Zone als de GPU-infrastructuur en gebruikt RDMA via Elastic Fabric Adapter om gegevens over te dragen. ElastiCache for Valkey 9.1 of hoger is vereist. Klanten kunnen de cache via de LMCache-connector koppelen aan bestaande implementaties van vLLM, SGLang of TensorRT-LLM. Daarvoor is een configuratiewijziging nodig.
Volgens AWS werkt de cache met open-weight-modellen, fine-tuned modellen en zelfgetrainde modellen die door de inference-engine en LMCache worden ondersteund. In de documentatie noemt AWS modelreeksen als Qwen, Kimi, GPT-OSS, DeepSeek, Gemma en GLM. De dienst is beschikbaar in 13 regio’s: drie in Noord-Amerika, drie in Europa en zeven in Azië-Pacific.
Welke werklasten kunnen hiervan profiteren?
Volgens AWS is de cache vooral geschikt voor langdurige sessies of gesprekken met meerdere beurten, herhaald gebruik van context en verkeer dat over veel GPU-servers wordt verdeeld. Voorbeelden zijn codeeragents, gedeelde systeemprompts en generatie met lange context of met retrieval augmentation. De cache levert mogelijk weinig op bij korte prompts die niet opnieuw worden gebruikt, taken als vertalen of modereren, werklasten waarbij vooral output wordt gegenereerd en diffusiemodellen.
Voordat ze de cache implementeren, kunnen teams de opensourcetool KVTrace gratis gebruiken om cache-hitpercentages, geschatte besparingen en een break-evenprijs te simuleren op basis van vastgelegd vLLM- of SGLang-verkeer. AWS rekent per uur voor elke cachenode totdat het cluster wordt verwijderd. Gegevensoverdracht tussen GPU-hosts en de cache binnen dezelfde Availability Zone is volgens AWS gratis. De daadwerkelijke prijs per node hangt af van de actuele tarieven van AWS.
Waarom het ertoe doet
Voor teams die meerbeurtige chats of codeeragents draaien op hun eigen GPU-servers, kan gedeelde caching herhaalde berekeningen verminderen en ervoor zorgen dat bestaande hardware meer verzoeken aankan. De besparingscijfers van AWS zijn maxima. Teams moeten daarom hun eigen verkeer testen en de geschatte besparingen vergelijken met de uurtarieven voor cachenodes.