# vLLM में push मोड से पहला टोकन 3 गुना तेज़

> AWS के मुताबिक, Qwen3‑32B मॉडल में नए push मोड से पहला टोकन तीन गुना तक जल्दी मिल सकता है और हर टोकन का समय 30% घट सकता है।

Oossa · 2026-10-19 · https://oossa.com/hi/push-based-kv-transfer-cuts-first-token-latency-in-vllm

vLLM इंजन अब push‑आधारित key‑value (KV) cache transfer की सुविधा देता है। इससे डेटा ट्रांसफ़र की तैयारी का काम prefill इंस्टेंस पर होता है, जिससे decode इंस्टेंस पहले ही टोकन बनाना शुरू कर सकता है। AWS Elastic Fabric Adapter वाले EC2 P5en इंस्टेंस पर 1‑prefill‑1‑decode (1P1D) सेटअप में किए गए बेंचमार्क में, डिफ़ॉल्ट pull मोड की तुलना में push मोड ने time‑to‑first‑token को 3 गुना तक घटाया और time‑per‑output‑token में करीब 30% की कमी की।

## तथ्य

- Qwen3‑32B मॉडल पर TTFT में 3 गुना तक और TPOT में 30% तक कमी
- 2026‑10‑19 को EFA वाले EC2 P5en GPU इंस्टेंस पर परीक्षण किया गया

## यह क्यों मायने रखता है

ज़्यादा थ्रूपुट वाली LLM सेवाएँ चलाने वाले डेवलपर को जवाब काफ़ी तेज़ मिल सकते हैं, खासकर जब एक साथ कई लंबे प्रॉम्प्ट संभालने हों।

## स्रोत और संदर्भ

1. [Push-based KV transfer to improve TTFT and TPOT for disaggregated inference in vLLM](https://aws.amazon.com/blogs/machine-learning/push-based-kv-transfer-to-improve-ttft-and-tpot-for-disaggregated-inference-in-vllm/) – AWS, 2026-10-19

अंतिम अपडेट: 2026-10-19