Oossa

llama.cpp يضيف تحجيمًا لكل رمز وخبير في نماذج MoE

أصبحت مكتبة llama.cpp مفتوحة المصدر تحجّم إسقاطات MoE السفلية لكل رمز، مع تحسين دعم التوازي الموترّي.

خبر موجزبقلم نشرته Oossa: 1 دقائق قراءة

أصدر مشروع ggml‑org/llama.cpp إصدارًا جديدًا في 2026-10-21. ويستبدل الإصدار عامل التحجيم العام الواحد لإسقاطات مزيج الخبراء (MoE) السفلية بعامل يُطبَّق لكل رمز وخبير، باستخدام عملية اختزال قصوى POOL_1D. كما يضيف دعمًا للتوازي الموترّي عبر التعامل مع POOL_1D في منطق تقسيم الحالة. ويتضمن التحديث أيضًا تنقيحًا للشيفرة وإعادة هيكلة لبنية إرجاع التحجيم.

لماذا يهم

يمكن للمطورين الذين يشغّلون نماذج MoE الآن الحصول على تحجيم أدق لكل رمز، ما قد يحسّن الأداء في إعدادات تضم وحدات GPU متعددة.

هل كان هذا المقال مفيدًا؟
مشاركة

اقرأ أيضًا

Oossa · النشرة البريدية

أسبوع الذكاء الاصطناعي، مشروحًا

كل يوم اثنين: الأخبار التي تستحق المعرفة، بلغة بسيطة. مجانًا وبلا رسائل مزعجة.