يضيف إصدار b11971 من ggml-org’s llama.cpp عملية OpenCL لمصفوفات q4_K مُقسّمة إلى كتل لوحدات معالجة الرسومات Adreno. كما يوجّه التغيير طبقة إخراج نموذج اللغة q4_K لاستخدام هذه العملية عندما يكون حجم الدُفعة أكبر من واحد.
يتضمن الإصدار نسخًا قابلة للتنزيل لأنظمة macOS وiOS وعدة منصات Linux. ولا تتضمن ملاحظات الإصدار قياسات للأداء، لذا لا يتضح أثر تغيير Adreno في السرعة أو استهلاك الموارد.
لماذا يهم
يمكن للمطورين الذين يشغّلون llama.cpp على أجهزة Adreno تجربة مسار OpenCL الجديد، لكن ملاحظات الإصدار لا توضح ما إذا كان سيجعل الاستدلال أسرع.
