# AWS minskar väntetiden för AI-agenter med dubbelriktad KV-överföring

> Delning av nyckel-värde-cache i båda riktningarna på EC2 P5en-GPU:er sänker tiden till första token med upp till 3,3 gånger i långa samtal.

Oossa · 2026-10-19 · https://oossa.com/sv/aws-cuts-first-token-latency-for-multi-turn-ai-agents-with-bi-directional-kv-tra

AWS har lagt till dubbelriktad överföring av KV-cache i sin vLLM-serveringsstack. Ändringen gör att en avkodningsnod kan skicka tidigare beräknade KV-block tillbaka till förbehandlingsnoden inför nästa tur, så att arbetet inte behöver göras om. I tester med en konfiguration med en förbehandlingsnod och en avkodningsnod (1P1D), på EC2 P5en-instanser med EFA, minskade tiden till första token med upp till 1,6 gånger för Qwen3‑32B och upp till 3,3 gånger för GLM‑5‑FP8. Funktionen fungerar både i Trainium- och GPU-kluster och kan konfigureras med TTL- och omberäkningströsklar.

## Fakta

- Testat den 19 oktober 2026 – "Mon Oct 19 2026 18:03:23 GMT+0200"
- Tiden till första token minskade med upp till 1,6 gånger för Qwen3‑32B och upp till 3,3 gånger för GLM‑5‑FP8 på EC2 P5en-instanser

## Varför det spelar roll

Utvecklare av samtalsassistenter kan hålla svarstiderna nere även när chatthistoriken växer och samtidigt spara acceleratorresurser.

## Källor och referenser

1. [Improve TTFT for multi-turn agentic workloads with bi-directional KV transfer in vLLM](https://aws.amazon.com/blogs/machine-learning/improve-ttft-for-multi-turn-agentic-workloads-with-bi-directional-kv-transfer-in-vllm/) – AWS, 2026-10-19

Senast uppdaterad: 2026-10-19