أضافت AWS نقل ذاكرة التخزين المؤقت لـKV ثنائي الاتجاه إلى حزمة تقديم النماذج vLLM. ويتيح هذا التغيير لعقدة فك الترميز إعادة كتل KV التي سبق احتسابها إلى عقدة التمهيد، لاستخدامها في الجولة التالية وتجنّب تكرار العمل. وفي اختبارات إعداد بعقدة تمهيد واحدة وعقدة فك ترميز واحدة (1P1D)، باستخدام مثيلات EC2 P5en المزودة بـEFA، انخفض زمن الوصول إلى الرمز الأول بما يصل إلى 1.6× في Qwen3‑32B، و3.3× في GLM‑5‑FP8. وتعمل الميزة على مجموعات Trainium وGPU، ويمكن ضبطها عبر TTL وعتبات إعادة الاحتساب.
لماذا يهم
يمكن لمطوري المساعدات الحوارية الحفاظ على سرعة الاستجابة حتى مع ازدياد سجلات المحادثات، ما يساعد على خفض تكلفة استخدام المسرّعات.
