# AWS تأخیر تولید نخستین توکن را در عامل‌های هوش مصنوعی چندنوبتی کاهش داد

> اشتراک‌گذاری دوسویه حافظه پنهان کلیدـمقدار روی پردازنده‌های گرافیکی EC2 P5en، زمان تولید نخستین توکن را در گفت‌وگوهای طولانی تا ۳٫۳ برابر کاهش می‌دهد.

Oossa · 2026-10-19 · https://oossa.com/fa/aws-cuts-first-token-latency-for-multi-turn-ai-agents-with-bi-directional-kv-tra

AWS قابلیت انتقال دوسویه حافظه پنهان KV را به پشته سرویس‌دهی vLLM خود افزوده است. این تغییر به گره رمزگشایی امکان می‌دهد بلوک‌های KV محاسبه‌شده را برای نوبت بعدی به گره پیش‌پردازش ارسال کند و از انجام دوباره محاسبات جلوگیری کند. در آزمایش‌های پیکربندی تک‌پیش‌پردازش‌ـ‌تک‌رمزگشایی (1P1D) با نمونه‌های EC2 P5en مجهز به EFA، زمان تولید نخستین توکن برای Qwen3‑32B تا ۱٫۶ برابر و برای GLM‑5‑FP8 تا ۳٫۳ برابر کاهش یافت. این قابلیت هم در خوشه‌های Trainium و هم در خوشه‌های GPU کار می‌کند و می‌توان آن را با آستانه‌های TTL و محاسبه مجدد پیکربندی کرد.

## حقایق

- آزمایش‌شده در ۱۹ اکتبر ۲۰۲۶ – «Mon Oct 19 2026 18:03:23 GMT+0200»
- زمان تولید نخستین توکن برای Qwen3‑32B تا ۱٫۶ برابر و برای GLM‑5‑FP8 تا ۳٫۳ برابر در نمونه‌های EC2 P5en کاهش یافت

## چرا مهم است

توسعه‌دهندگان دستیارهای مکالمه‌ای می‌توانند حتی با بزرگ‌تر شدن تاریخچه گفت‌وگو، زمان پاسخ‌گویی را پایین نگه دارند و در هزینه شتاب‌دهنده‌ها صرفه‌جویی کنند.

## منابع و ارجاع‌ها

1. [Improve TTFT for multi-turn agentic workloads with bi-directional KV transfer in vLLM](https://aws.amazon.com/blogs/machine-learning/improve-ttft-for-multi-turn-agentic-workloads-with-bi-directional-kv-transfer-in-vllm/) – AWS, 2026-10-19

آخرین به‌روزرسانی: 2026-10-19