AWS har lagt till dubbelriktad överföring av KV-cache i sin vLLM-serveringsstack. Ändringen gör att en avkodningsnod kan skicka tidigare beräknade KV-block tillbaka till förbehandlingsnoden inför nästa tur, så att arbetet inte behöver göras om. I tester med en konfiguration med en förbehandlingsnod och en avkodningsnod (1P1D), på EC2 P5en-instanser med EFA, minskade tiden till första token med upp till 1,6 gånger för Qwen3‑32B och upp till 3,3 gånger för GLM‑5‑FP8. Funktionen fungerar både i Trainium- och GPU-kluster och kan konfigureras med TTL- och omberäkningströsklar.
Varför det spelar roll
Utvecklare av samtalsassistenter kan hålla svarstiderna nere även när chatthistoriken växer och samtidigt spara acceleratorresurser.
