AWS قابلیت انتقال دوسویه حافظه پنهان KV را به پشته سرویس‌دهی vLLM خود افزوده است. این تغییر به گره رمزگشایی امکان می‌دهد بلوک‌های KV محاسبه‌شده را برای نوبت بعدی به گره پیش‌پردازش ارسال کند و از انجام دوباره محاسبات جلوگیری کند. در آزمایش‌های پیکربندی تک‌پیش‌پردازش‌ـ‌تک‌رمزگشایی (1P1D) با نمونه‌های EC2 P5en مجهز به EFA، زمان تولید نخستین توکن برای Qwen3‑32B تا ۱٫۶ برابر و برای GLM‑5‑FP8 تا ۳٫۳ برابر کاهش یافت. این قابلیت هم در خوشه‌های Trainium و هم در خوشه‌های GPU کار می‌کند و می‌توان آن را با آستانه‌های TTL و محاسبه مجدد پیکربندی کرد.
چرا مهم است
توسعه‌دهندگان دستیارهای مکالمه‌ای می‌توانند حتی با بزرگ‌تر شدن تاریخچه گفت‌وگو، زمان پاسخ‌گویی را پایین نگه دارند و در هزینه شتاب‌دهنده‌ها صرفه‌جویی کنند.
