موتور vLLM اکنون از انتقال پوش‌محور حافظه نهان کلید‌ـ‌مقدار (KV) پشتیبانی می‌کند. این روش آماده‌سازی انتقال داده را به مرحله پیش‌پردازش (prefill) منتقل می‌کند تا نمونه رمزگشا (decode) زودتر بتواند تولید توکن را آغاز کند. در آزمونی با پیکربندی 1-prefill-1-decode (1P1D) روی نمونه‌های EC2 P5en مجهز به AWS Elastic Fabric Adapter، حالت پوش در مقایسه با حالت کششی (pull) پیش‌فرض، زمان رسیدن به نخستین توکن را تا ۳ برابر کاهش داد و زمان تولید هر توکن خروجی را حدود ۳۰٪ پایین آورد.
چرا مهم است
توسعه‌دهندگانی که سرویس‌های LLM پرترافیک اجرا می‌کنند، می‌توانند پاسخ‌هایی به‌مراتب سریع‌تر ارائه دهند؛ به‌ویژه هنگام پردازش هم‌زمان تعداد زیادی پرامپت طولانی.
