# AWS verlaagt wachttijd bij AI-agenten met KV-cacheoverdracht

> Door de key-value-cache in beide richtingen te delen, daalt de TTFT op EC2 P5en-GPU’s bij lange gesprekken met maximaal 3,3×.

Oossa · 2026-10-19 · https://oossa.com/nl/aws-cuts-first-token-latency-for-multi-turn-ai-agents-with-bi-directional-kv-tra

AWS heeft bidirectionele overdracht van de KV-cache toegevoegd aan zijn vLLM-servingstack. Daardoor kan een decodenode eerder berekende KV-blokken terugsturen naar de prefillnode voor de volgende beurt, zodat werk niet opnieuw hoeft te worden gedaan. In tests met een opstelling met één prefill- en één decodenode (1P1D) op EC2 P5en-instances met EFA daalde de tijd tot het eerste token met maximaal 1,6× voor Qwen3‑32B en maximaal 3,3× voor GLM‑5‑FP8. De functie werkt op zowel Trainium- als GPU-clusters en is instelbaar via TTL- en herberekeningsdrempels.

## De feiten

- Getest op 19 okt 2026 – "Mon Oct 19 2026 18:03:23 GMT+0200"
- TTFT daalde op EC2 P5en-instances met maximaal 1,6× voor Qwen3‑32B en maximaal 3,3× voor GLM‑5‑FP8

## Waarom het ertoe doet

Ontwikkelaars van conversationele assistenten kunnen de responstijd laag houden, ook wanneer de chatgeschiedenis groeit, en zo besparen op accelerator kosten.

## Bronnen en referenties

1. [Improve TTFT for multi-turn agentic workloads with bi-directional KV transfer in vLLM](https://aws.amazon.com/blogs/machine-learning/improve-ttft-for-multi-turn-agentic-workloads-with-bi-directional-kv-transfer-in-vllm/) – AWS, 2026-10-19

Laatst bijgewerkt: 2026-10-19