أصدر مشروع llama.cpp الإصدار b12122، مضيفًا تحسينًا لـ CUDA يدمج عمليات ضرب مصفوفات gate/up بتنسيق NVFP4 مع عملية GLU ضمن MMQ، مسار ضرب المصفوفات في المشروع. وNVFP4 تنسيق أرقام مضغوط يُستخدم في بعض عمليات الذكاء الاصطناعي؛ وقد يقلل دمج الخطوات الحاجة إلى تنفيذ عمليات منفصلة، لكن ملاحظات الإصدار لا تتضمن قياسات للأداء.
يتضمن الإصدار أيضًا نسخًا قابلة للتنزيل لأنظمة macOS وiOS وUbuntu على x64 وArm64 وs390x.
لماذا يهم
قد يستفيد من يشغّلون أعباء عمل NVFP4 المدعومة على CUDA من مسار العمليات المدمجة، لكن ملاحظات الإصدار لا تحدد مقدار التحسن في السرعة أو الذاكرة.
