Oossa

llama.cpp يغيّر تقسيم الانتباه الوميضي على Hexagon

يجمع الإصدار b11868 خياري تقسيم الانتباه الوميضي على Hexagon، ويضيف تقسيم العمل إلى فرق عندما لا تستفيد رؤوس KV من كل الأنوية المتاحة.

خبر موجزبقلم نشرته Oossa: 1 دقائق قراءة

يغيّر الإصدار b11868 من ggml-org/llama.cpp آلية تعامل Hexagon مع الانتباه الوميضي متعدد الأنوية من نوع HMX. ويستبدل الإعدادين المنفصلين `FA_HEAD_SPLIT` و`FA_SPLIT` بخيار واحد هو `GGML_HEXAGON_FA_SPLIT`.

عند ضبط الخيار على 1، يمكن توزيع العمل على رؤوس KV، وكذلك على فرق إذا كان عدد رؤوس KV أقل من عدد الأنوية، بما يتيح للأنوية التي كانت ستبقى خاملة المشاركة. ويورد الإصدار مثال Gemma 4 برأسي KV على أربعة أنوية.

لماذا يهم

يُفترض أن يتيح هذا التغيير لمستخدمي llama.cpp على أجهزة Hexagon إشراك الأنوية عندما يكون لدى النموذج عدد من رؤوس KV أقل من عدد الأنوية؛ ولا تحدد ملاحظات الإصدار مقدار أي تحسن في السرعة.

هل كان هذا المقال مفيدًا؟
مشاركة

اقرأ أيضًا

Oossa · النشرة البريدية

أسبوع الذكاء الاصطناعي، مشروحًا

كل يوم اثنين: الأخبار التي تستحق المعرفة، بلغة بسيطة. مجانًا وبلا رسائل مزعجة.