AWS heeft bidirectionele overdracht van de KV-cache toegevoegd aan zijn vLLM-servingstack. Daardoor kan een decodenode eerder berekende KV-blokken terugsturen naar de prefillnode voor de volgende beurt, zodat werk niet opnieuw hoeft te worden gedaan. In tests met een opstelling met één prefill- en één decodenode (1P1D) op EC2 P5en-instances met EFA daalde de tijd tot het eerste token met maximaal 1,6× voor Qwen3‑32B en maximaal 3,3× voor GLM‑5‑FP8. De functie werkt op zowel Trainium- als GPU-clusters en is instelbaar via TTL- en herberekeningsdrempels.
Waarom het ertoe doet
Ontwikkelaars van conversationele assistenten kunnen de responstijd laag houden, ook wanneer de chatgeschiedenis groeit, en zo besparen op accelerator kosten.
