Oossa

llama.cpp يسرّع معالجة المطالبات على بطاقات Intel Arc

يضيف الإصدار b11979 تعديلات على فكّ التكميم في SYCL، حسّنت سرعة معالجة المطالبات في اختبارات على Intel Arc Pro B70، فيما لم تتغير سرعة التوليد.

خبر موجزبقلم نشرته Oossa: 1 دقائق قراءة

يغيّر إصدار ggml-org/llama.cpp b11979 طريقة تحويل نوى SYCL لبعض صيغ النماذج المكمّمة على بطاقات Intel. وعلى Arc Pro B70، رصد المشروع معالجة أسرع للمطالبات — أي معالجة نصوص المطالبات — عند استخدام ترتيب مُعاد للموترات، مع تفاوت المكاسب بحسب الصيغة والنموذج.

بلغ أكبر تحسن مُعلن في هذا المسار 28.7% لنموذج Q6_K يضم 27 مليار معامل. أما نماذج مزيج الخبراء بصيغة MXFP4، فتحسنت معالجة المطالبات فيها بنسبة تراوحت بين 57% و61% في الاختبار المعلن، بما في ذلك عند استخدام ترتيب جديد؛ ولم تتغير سرعة التوليد. وهذه قياسات أبلغ عنها المشروع، فيما ظلت نتائج الحيرة كما هي أو ضمن ضوضاء الاختبارات المتكررة.

لماذا يهم

قد يلاحظ من يشغّلون هذه الصيغ من النماذج على Intel Arc Pro B70 تقليصًا لوقت معالجة المطالبات، لكن المكاسب تعتمد على النموذج وترتيب البيانات، ولا تشمل تسريع التوليد.

هل كان هذا المقال مفيدًا؟
مشاركة

اقرأ أيضًا

Oossa · النشرة البريدية

أسبوع الذكاء الاصطناعي، مشروحًا

كل يوم اثنين: الأخبار التي تستحق المعرفة، بلغة بسيطة. مجانًا وبلا رسائل مزعجة.