vLLM इंजन अब push‑आधारित key‑value (KV) cache transfer की सुविधा देता है। इससे डेटा ट्रांसफ़र की तैयारी का काम prefill इंस्टेंस पर होता है, जिससे decode इंस्टेंस पहले ही टोकन बनाना शुरू कर सकता है। AWS Elastic Fabric Adapter वाले EC2 P5en इंस्टेंस पर 1‑prefill‑1‑decode (1P1D) सेटअप में किए गए बेंचमार्क में, डिफ़ॉल्ट pull मोड की तुलना में push मोड ने time‑to‑first‑token को 3 गुना तक घटाया और time‑per‑output‑token में करीब 30% की कमी की।
यह क्यों मायने रखता है
ज़्यादा थ्रूपुट वाली LLM सेवाएँ चलाने वाले डेवलपर को जवाब काफ़ी तेज़ मिल सकते हैं, खासकर जब एक साथ कई लंबे प्रॉम्प्ट संभालने हों।
