# انتقال پوش‌محور KV در vLLM تأخیر تولید توکن اول را کاهش می‌دهد

> AWS می‌گوید حالت جدید پوش می‌تواند نمایش توکن اول را تا ۳ برابر سریع‌تر کند و زمان تولید هر توکن را برای مدل Qwen3‑32B تا ۳۰٪ کاهش دهد.

Oossa · 2026-10-19 · https://oossa.com/fa/push-based-kv-transfer-cuts-first-token-latency-in-vllm

موتور vLLM اکنون از انتقال پوش‌محور حافظه نهان کلید‌ـ‌مقدار (KV) پشتیبانی می‌کند. این روش آماده‌سازی انتقال داده را به مرحله پیش‌پردازش (prefill) منتقل می‌کند تا نمونه رمزگشا (decode) زودتر بتواند تولید توکن را آغاز کند. در آزمونی با پیکربندی 1-prefill-1-decode (1P1D) روی نمونه‌های EC2 P5en مجهز به AWS Elastic Fabric Adapter، حالت پوش در مقایسه با حالت کششی (pull) پیش‌فرض، زمان رسیدن به نخستین توکن را تا ۳ برابر کاهش داد و زمان تولید هر توکن خروجی را حدود ۳۰٪ پایین آورد.

## حقایق

- کاهش تا ۳ برابری TTFT و ۳۰٪‌ای TPOT برای مدل Qwen3‑32B
- آزمایش روی نمونه‌های GPU مدل EC2 P5en با EFA در 2026‑10‑19

## چرا مهم است

توسعه‌دهندگانی که سرویس‌های LLM پرترافیک اجرا می‌کنند، می‌توانند پاسخ‌هایی به‌مراتب سریع‌تر ارائه دهند؛ به‌ویژه هنگام پردازش هم‌زمان تعداد زیادی پرامپت طولانی.

## منابع و ارجاع‌ها

1. [Push-based KV transfer to improve TTFT and TPOT for disaggregated inference in vLLM](https://aws.amazon.com/blogs/machine-learning/push-based-kv-transfer-to-improve-ttft-and-tpot-for-disaggregated-inference-in-vllm/) – AWS, 2026-10-19

آخرین به‌روزرسانی: 2026-10-19