# AWS ускорила первый токен в диалогах с ИИ-агентами

> Двунаправленный обмен KV-кэшем на GPU EC2 P5en сокращает время до первого токена (TTFT) до 3,3 раза в длинных диалогах.

Oossa · 2026-10-19 · https://oossa.com/ru/aws-cuts-first-token-latency-for-multi-turn-ai-agents-with-bi-directional-kv-tra

AWS добавила двунаправленную передачу KV-кэша в свой стек обслуживания моделей vLLM. Теперь узел декодирования может передавать ранее вычисленные блоки KV обратно узлу предварительной обработки, чтобы использовать их в следующем ходе диалога и не выполнять вычисления повторно. В тестах на конфигурации с одним узлом предварительной обработки и одним узлом декодирования (1P1D) на инстансах EC2 P5en с EFA время до первого токена сократилось до 1,6 раза для Qwen3‑32B и до 3,3 раза для GLM‑5‑FP8. Функция работает как в кластерах Trainium, так и в GPU-кластерах; её параметры настраиваются с помощью TTL и пороговых значений для повторных вычислений.

## Факты

- Тестирование проведено 19 октября 2026 года — "Mon Oct 19 2026 18:03:23 GMT+0200"
- На инстансах EC2 P5en TTFT сократилось до 1,6 раза для Qwen3‑32B и до 3,3 раза для GLM‑5‑FP8

## Почему это важно

Разработчики разговорных ассистентов смогут поддерживать быстрое время отклика даже при увеличении истории чата и экономить на ускорителях.

## Источники и ссылки

1. [Improve TTFT for multi-turn agentic workloads with bi-directional KV transfer in vLLM](https://aws.amazon.com/blogs/machine-learning/improve-ttft-for-multi-turn-agentic-workloads-with-bi-directional-kv-transfer-in-vllm/) – AWS, 2026-10-19

Обновлено: 2026-10-19