يوفّر محرك vLLM الآن نقلًا لذاكرة التخزين المؤقت للمفاتيح والقيم (KV) بأسلوب الدفع. وينقل هذا الأسلوب إعداد عملية نقل البيانات إلى مرحلة الملء المسبق، ما يتيح لمثيل فك الترميز البدء في توليد الرموز بسرعة أكبر. وفي اختبار معياري على إعداد يضم مثيلًا واحدًا للملء المسبق وآخر لفك الترميز (1P1D)، باستخدام مثيلات EC2 P5en ومحوّل AWS Elastic Fabric Adapter، خفّض وضع الدفع زمن ظهور أول رمز حتى 3 أضعاف، وقلّل الزمن لكل رمز مُخرَج بنحو 30% مقارنةً بوضع السحب الافتراضي.
لماذا يهم
قد يستفيد المطوّرون الذين يشغّلون خدمات نماذج لغوية كبيرة عالية الإنتاجية من استجابات أسرع بوضوح، لا سيما عند التعامل مع عدد كبير من المطالبات الطويلة دفعة واحدة.
