В движке vLLM появилась передача KV-кэша в режиме push. Настройка передачи данных теперь выполняется на этапе prefill, поэтому экземпляр decode может раньше приступить к генерации токенов. В тесте со схемой 1 prefill — 1 decode (1P1D) на экземплярах EC2 P5en с AWS Elastic Fabric Adapter режим push сократил время до первого токена максимум в 3 раза и примерно на 30% уменьшил время генерации одного выходного токена по сравнению с режимом pull, включённым по умолчанию.
Почему это важно
Разработчики высокопроизводительных сервисов на базе LLM могут заметно ускорить ответы, особенно при одновременной обработке множества длинных запросов.
