Oossa

llama.cpp يعالج دعم CPU لمدخلات مصفوفات BF16

يضيف الإصدار b11292 دعم CPU لمدخل مصفوفة BF16 مستخدم في الالتفاف العمقي، ويشدّد شروط دعم Vulkan.

خبر موجزOossaنشرته Oossa: 1 دقائق قراءة

يعالج الإصدار b11292 من llama.cpp قصورًا في واجهة CPU الخلفية كان يؤثر في الالتفاف العمقي أحادي البعد عندما تستخدم نواته تنسيق BF16، وهو تنسيق أعداد من 16 بت. وتوسّع واجهة CPU الخلفية الآن هذا المدخل إلى عدد عشري بدقة 32 بت لإجراء الحساب، بما يتوافق مع العمليات الحسابية التي تنفذها نواة Metal لضرب المصفوفة في متجه.

ويغيّر الإصدار أيضًا شروط التحقق في Vulkan: إذ يقبل BF16 مدخلًا ثانيًا للمصفوفة فقط إذا كان المدخل الأول BF16 أيضًا. أما التركيبات الأخرى فتُصنّف على أنها غير مدعومة، ليُبقيها المجدول على CPU. وتشير ملاحظات الإصدار إلى إضافة اختبارات، لكنها لا تحدد موعد وصول التغييرات إلى تطبيق مُعبّأ أو المستخدمين الذين سيحصلون عليها.

لماذا يهم

يمكن الآن لواجهة CPU الخلفية التعامل مع تركيبة كان يتعذر عليها قبولها سابقًا، وذلك للمطورين الذين يشغّلون الالتفاف العمقي بتنسيق BF16؛ لكن الملاحظات لا تحدد موعد تضمين الإصلاح في التطبيقات اللاحقة.

هل كان هذا المقال مفيدًا؟
مشاركة

اقرأ أيضًا

Oossa · النشرة البريدية

أسبوع الذكاء الاصطناعي، مشروحًا

كل يوم اثنين: الأخبار التي تستحق المعرفة، بلغة بسيطة. مجانًا وبلا رسائل مزعجة.