Oossa

llama.cpp يضيف دعم BF16 وعمليات جديدة

تضم مكتبة llama.cpp مفتوحة المصدر الآن عمليات BF16 وGLU، ما يحسّن الأداء على المعالجات المركزية وCUDA.

خبر موجزOossaنشرته Oossa: 1 دقائق قراءة

أصدر فريق ggml‑org الإصدار b11293 من llama.cpp. ويضيف عمليات أحادية وGLU وثنائية وعمليات قياس من نوع BF16 (تنسيق أرقام بنصف الدقة) لكل من المعالجات المركزية وCUDA. كما يحدّث التغيير نوى CUDA لإصلاح مشكلة في بناء BF16. يتوفر التحديث على منصات كثيرة، من macOS وWindows إلى Linux وAndroid.

لماذا يهم

يمكن للمطورين الآن تشغيل نماذج llama.cpp بسرعة أكبر على الأجهزة التي تدعم BF16، مثل وحدات معالجة الرسومات الأحدث.

هل كان هذا المقال مفيدًا؟
مشاركة

اقرأ أيضًا

Oossa · النشرة البريدية

أسبوع الذكاء الاصطناعي، مشروحًا

كل يوم اثنين: الأخبار التي تستحق المعرفة، بلغة بسيطة. مجانًا وبلا رسائل مزعجة.