# Передача KV по push ускоряет первый токен в vLLM

> AWS показала, что новый режим push может ускорить появление первого токена до 3 раз, а также сократить время генерации каждого токена на 30% для модели Qwen3‑32B.

Oossa · 2026-10-19 · https://oossa.com/ru/push-based-kv-transfer-cuts-first-token-latency-in-vllm

В движке vLLM появилась передача KV-кэша в режиме push. Настройка передачи данных теперь выполняется на этапе prefill, поэтому экземпляр decode может раньше приступить к генерации токенов. В тесте со схемой 1 prefill — 1 decode (1P1D) на экземплярах EC2 P5en с AWS Elastic Fabric Adapter режим push сократил время до первого токена максимум в 3 раза и примерно на 30% уменьшил время генерации одного выходного токена по сравнению с режимом pull, включённым по умолчанию.

## Факты

- Для модели Qwen3‑32B TTFT сократилось максимум в 3 раза, а TPOT — на 30%
- Тестирование проведено на GPU-экземплярах EC2 P5en с EFA 2026‑10‑19

## Почему это важно

Разработчики высокопроизводительных сервисов на базе LLM могут заметно ускорить ответы, особенно при одновременной обработке множества длинных запросов.

## Источники и ссылки

1. [Push-based KV transfer to improve TTFT and TPOT for disaggregated inference in vLLM](https://aws.amazon.com/blogs/machine-learning/push-based-kv-transfer-to-improve-ttft-and-tpot-for-disaggregated-inference-in-vllm/) – AWS, 2026-10-19

Обновлено: 2026-10-19