# AWS verkürzt die Antwortzeit von KI-Agenten mit bidirektionalem KV-Transfer

> Das Teilen des Key-Value-Caches auf EC2-P5en-GPUs senkt die TTFT bei langen Gesprächen um bis zu 3,3×.

Oossa · 2026-10-19 · https://oossa.com/de/aws-cuts-first-token-latency-for-multi-turn-ai-agents-with-bi-directional-kv-tra

AWS hat seinen vLLM-Serving-Stack um einen bidirektionalen KV-Cache-Transfer erweitert. Dadurch kann ein Decode-Knoten bereits berechnete KV-Blöcke für den nächsten Gesprächsschritt an den Prefill-Knoten zurücksenden und so doppelte Berechnungen vermeiden. In Tests mit einer Konfiguration aus einem Prefill- und einem Decode-Knoten (1P1D) auf EC2-P5en-Instanzen mit EFA sank die Zeit bis zum ersten Token um bis zu 1,6× bei Qwen3‑32B und um bis zu 3,3× bei GLM‑5‑FP8. Die Funktion ist sowohl auf Trainium- als auch auf GPU-Clustern verfügbar und lässt sich über TTL- und Neuberechnungsschwellenwerte konfigurieren.

## Die Fakten

- Getestet am 19. Okt. 2026 – "Mon Oct 19 2026 18:03:23 GMT+0200"
- TTFT auf EC2-P5en-Instanzen um bis zu 1,6× bei Qwen3‑32B und bis zu 3,3× bei GLM‑5‑FP8 reduziert

## Warum es wichtig ist

Entwickler von Konversationsassistenten können die Antwortzeiten auch bei wachsenden Chatverläufen niedrig halten und so Accelerator-Kosten sparen.

## Quellen und Referenzen

1. [Improve TTFT for multi-turn agentic workloads with bi-directional KV transfer in vLLM](https://aws.amazon.com/blogs/machine-learning/improve-ttft-for-multi-turn-agentic-workloads-with-bi-directional-kv-transfer-in-vllm/) – AWS, 2026-10-19

Zuletzt aktualisiert: 2026-10-19