Oossa

llama.cpp يعيد ترتيب أوزان SYCL لتسريع استدلال IQ3

أضافت مكتبة llama.cpp مفتوحة المصدر إعادة ترتيب أوزان IQ3_S وIQ3_XXS عند تحميلها، ما يزيد سرعة توليد الرموز على وحدات Intel Arc GPU.

خبر موجزبقلم نشرته Oossa: 1 دقائق قراءة

أصدر مشروع llama.cpp الإصدار b11636 في 2026-10-15. ويضيف هذا الإصدار تخطيطًا دائمًا للأوزان في تنسيقي التكميم IQ3_S وIQ3_XXS عند التشغيل باستخدام SYCL. تُعاد تهيئة ترتيب الأوزان مرة واحدة عند تحميل النموذج، ما يتيح لوحدة GPU معالجة كتل متجاورة بدلًا من تجميع البتات، ويسرّع فك الترميز والتهيئة المسبقة. وعلى وحدة Intel Arc Pro B70 GPU، ارتفع معدل توليد الرموز لنموذج Qwen3.8‑27B من 12.92 إلى 23.54 رمزًا في الثانية مع المطالبات القصيرة، بزيادة قدرها 82٪.

لماذا يهم

يمكن للمطورين الذين يشغّلون llama.cpp على وحدات GPU المتوافقة مع SYCL الحصول على استجابات أسرع بشكل ملحوظ، من دون تغيير شيفرة النموذج.

هل كان هذا المقال مفيدًا؟
مشاركة

اقرأ أيضًا

Oossa · النشرة البريدية

أسبوع الذكاء الاصطناعي، مشروحًا

كل يوم اثنين: الأخبار التي تستحق المعرفة، بلغة بسيطة. مجانًا وبلا رسائل مزعجة.