أعلن فريق ggml‑org إصدار llama.cpp b11685. ويضيف الإصدار تحسينًا لـSYCL يُعرف باسم «عمليات التخزين العريض» لفك تكميم الأوزان q4_K وq5_K. كما يتضمن ملفات تنفيذية جاهزة لأنظمة macOS على Apple Silicon وmacOS على أجهزة Intel وiOS، إلى جانب عدة إصدارات من Ubuntu تدعم CPU وVulkan وCUDA 12.8. ويهدف هذا التغيير إلى تسريع الاستدلال بالنماذج المكمّمة على وحدات معالجة الرسوميات المتوافقة مع SYCL.
لماذا يهم
يمكن للمطورين تشغيل النماذج اللغوية الكبيرة المكمّمة بسرعة أكبر على وحدات معالجة الرسوميات المتوافقة مع SYCL، ما يوسّع خيارات الأجهزة منخفضة التكلفة لتطبيقات الذكاء الاصطناعي.
