# AWS führt gemeinsames KV-Caching für selbst betriebene KI-Modelle ein

> Amazon ElastiCache for Valkey kann den Modellkontext über GPU-Server hinweg gemeinsam nutzen. AWS zufolge lassen sich die Inferenzkosten um bis zu 40 % und die Wartezeit bis zum ersten Token um bis zu 80 % senken.

Oossa · 2026-11-19 · https://oossa.com/de/aws-adds-shared-kv-caching-for-self-hosted-ai-models

AWS hat Amazon ElastiCache for Valkey um verteiltes Key-Value-Caching (KV-Caching) erweitert. Damit können selbst betriebene KI-Modelle zwischengespeicherten Kontext über mehrere GPU-Server hinweg gemeinsam nutzen. AWS zufolge kann der Dienst die Inferenzkosten um bis zu 40 % und die Zeit bis zum ersten Token – also die Wartezeit, bevor ein Modell zu antworten beginnt – um bis zu 80 % senken. Dabei handelt es sich um die höchsten von AWS angegebenen Einsparungen, nicht um garantierte Ergebnisse für jede Arbeitslast.

Der gemeinsame Cache speichert wiederverwendbare Modellzustände, sodass ein anderer Server darauf zugreifen kann, statt sie erneut zu berechnen. Das kann hilfreich sein, wenn ein Chat oder Agent denselben langen Kontext über mehrere Gesprächsrunden hinweg sendet oder Anfragen zwischen Servern wechseln. AWS zufolge können die gespeicherten Zustände tagelang erhalten bleiben und innerhalb von Millisekunden abgerufen werden.

## So funktioniert es

Der Cache läuft auf cache.i8ge.48xlarge-Knoten in derselben AWS Availability Zone wie die GPU-Flotte. Für die Datenübertragung kommt RDMA über Elastic Fabric Adapter zum Einsatz. Voraussetzung ist ElastiCache for Valkey 9.1 oder höher. Über den LMCache-Connector können Kunden den Cache mit bestehenden vLLM-, SGLang- oder TensorRT-LLM-Deployments verbinden; dafür ist eine Konfigurationsänderung nötig.

AWS zufolge funktioniert der Dienst mit Open-Weight-, feinabgestimmten und selbst trainierten Modellen, die von der Inferenz-Engine und LMCache unterstützt werden. In der Dokumentation nennt AWS unter anderem die Modellfamilien Qwen, Kimi, GPT-OSS, DeepSeek, Gemma und GLM. Der Dienst ist in 13 Regionen verfügbar: drei in Nordamerika, drei in Europa und sieben im asiatisch-pazifischen Raum.

## Welche Arbeitslasten profitieren möglicherweise?

AWS zufolge eignet sich der Cache besonders für lang laufende Sitzungen oder Gespräche mit mehreren Runden, wiederholt verwendeten Kontext und Anfragen, die auf viele GPU-Server verteilt werden. Beispiele sind Coding-Agenten, gemeinsam genutzte System-Prompts sowie Aufgaben mit langem Kontext oder Retrieval-Augmented Generation. Bei kurzen Prompts, die nicht wiederverwendet werden, bei Aufgaben wie Übersetzung oder Moderation, bei vorwiegend auf die Ausgabeerzeugung ausgerichteten Arbeitslasten und bei Diffusionsmodellen bringt er möglicherweise wenig.

Vor der Bereitstellung können Teams mit dem Open-Source-Tool KVTrace kostenlos Cache-Trefferraten, geschätzte Einsparungen und einen Break-even-Preis simulieren. Dafür werden aufgezeichnete vLLM- oder SGLang-Daten verwendet. AWS berechnet die Nutzung jedes Cache-Knotens stundenweise, bis der Cluster gelöscht wird. Die Datenübertragung zwischen GPU-Hosts und Cache in derselben Availability Zone ist AWS zufolge kostenlos. Der tatsächliche Preis eines Knotens hängt von den aktuellen AWS-Preisen ab.

## Die Fakten

- Verteiltes KV-Caching setzt ElastiCache for Valkey 9.1 oder höher sowie cache.i8ge.48xlarge-Knoten voraus.
- AWS gibt an, dass der Dienst in 13 Regionen in Nordamerika, Europa und im asiatisch-pazifischen Raum verfügbar ist.
- Der LMCache-Connector ermöglicht die Integration mit vLLM, SGLang und TensorRT-LLM.
- AWS zufolge kann KVTrace vor der Bereitstellung Cache-Trefferraten, Einsparungen und den Break-even-Preis schätzen.

## Warum es wichtig ist

Für Teams, die Chats mit mehreren Gesprächsrunden oder Coding-Agenten auf eigenen GPU-Servern betreiben, könnte gemeinsames Caching wiederholte Berechnungen verringern und dafür sorgen, dass die vorhandene Hardware mehr Anfragen bewältigt. Die Einsparungen, die AWS nennt, sind Höchstwerte. Teams sollten daher ihren eigenen Datenverkehr testen und die geschätzten Einsparungen mit den stündlichen Kosten der Cache-Knoten vergleichen.

## Quellen und Referenzen

1. [Amazon ElastiCache now supports distributed KV caching for self-hosted LLM inference](https://aws.amazon.com/about-aws/whats-new/2026/11/announcing-distributed-kv-caching-for-self-hosted-llms-with-amazon-elasticache/) – AWS, 2026-11-18
2. [Amazon Web Services (AWS)](https://docs.aws.amazon.com/AmazonElastiCache/latest/dg/distributed-kv-caching.html?utm_source=openai) – Amazon Web Services (AWS)

Zuletzt aktualisiert: 2026-11-19
