Oossa

llama.cpp يعالج خللًا في البحث عن المقاييس عبر Vulkan NVFP4

يوسّع الإصدار b12073 جدول بحث مشتركًا لمنع القراءات خارج حدوده عند استخدام قيم معيّنة لبايتات المقياس. ويستهلك كل خط معالجة متأثر 512 بايت إضافية من الذاكرة المشتركة.

خبر موجزبقلم نشرته Oossa: 1 دقائق قراءة

يعالج الإصدار b12073 من llama.cpp خللًا في Vulkan في طريقة البحث عن قيم المقياس UE4M3 ضمن بيانات NVFP4. إذ كانت بعض بايتات المقياس تؤدي إلى قراءة تتجاوز جدول البحث في الذاكرة المشتركة، لأن الجدول يضم 128 مدخلًا، بينما يمكن للبايت الخام تمثيل 256 قيمة.

يوسّع الإصلاح الجدول ومخصصات الذاكرة المرتبطة به ليشملا 256 مدخلًا. ويستهلك كل خط معالجة NVFP4 مقدارًا إضافيًا قدره 512 بايت من الذاكرة المشتركة. وتشير ملاحظات الإصدار إلى أن النماذج التي جرى تكميمها باستخدام llama.cpp غير متأثرة، لأن شفرة التحويل فيه لا تضبط البت الذي يؤدي إلى البحث خارج حدود الجدول.

لماذا يهم

يحمي الإصلاح من البحث خارج حدود الجدول عند تشغيل أحمال عمل NVFP4 عبر Vulkan، بينما لا تتأثر النماذج التي جرى تكميمها باستخدام llama.cpp بالخلل، وفقًا لملاحظات الإصدار.

هل كان هذا المقال مفيدًا؟
مشاركة

اقرأ أيضًا

Oossa · النشرة البريدية

أسبوع الذكاء الاصطناعي، مشروحًا

كل يوم اثنين: الأخبار التي تستحق المعرفة، بلغة بسيطة. مجانًا وبلا رسائل مزعجة.