AWS добавила двунаправленную передачу KV-кэша в свой стек обслуживания моделей vLLM. Теперь узел декодирования может передавать ранее вычисленные блоки KV обратно узлу предварительной обработки, чтобы использовать их в следующем ходе диалога и не выполнять вычисления повторно. В тестах на конфигурации с одним узлом предварительной обработки и одним узлом декодирования (1P1D) на инстансах EC2 P5en с EFA время до первого токена сократилось до 1,6 раза для Qwen3‑32B и до 3,3 раза для GLM‑5‑FP8. Функция работает как в кластерах Trainium, так и в GPU-кластерах; её параметры настраиваются с помощью TTL и пороговых значений для повторных вычислений.
Почему это важно
Разработчики разговорных ассистентов смогут поддерживать быстрое время отклика даже при увеличении истории чата и экономить на ускорителях.
