AWS hat seinen vLLM-Serving-Stack um einen bidirektionalen KV-Cache-Transfer erweitert. Dadurch kann ein Decode-Knoten bereits berechnete KV-Blöcke für den nächsten Gesprächsschritt an den Prefill-Knoten zurücksenden und so doppelte Berechnungen vermeiden. In Tests mit einer Konfiguration aus einem Prefill- und einem Decode-Knoten (1P1D) auf EC2-P5en-Instanzen mit EFA sank die Zeit bis zum ersten Token um bis zu 1,6× bei Qwen3‑32B und um bis zu 3,3× bei GLM‑5‑FP8. Die Funktion ist sowohl auf Trainium- als auch auf GPU-Clustern verfügbar und lässt sich über TTL- und Neuberechnungsschwellenwerte konfigurieren.
Warum es wichtig ist
Entwickler von Konversationsassistenten können die Antwortzeiten auch bei wachsenden Chatverläufen niedrig halten und so Accelerator-Kosten sparen.
