أصدر فريق ggml-org الإصدار llama.cpp b12031، مضيفًا دعمًا أوليًا عبر OpenCL لصيغتي IQ3، وهما تنسيقان مضغوطان لأوزان النماذج. ويضيف التحديث عمليات لصيغتي IQ3_S وIQ3_XXS، تشمل عمليات المصفوفات والمتجهات، إلى جانب مسارات مخصصة لوحدات معالجة الرسوميات Adreno من Qualcomm.
وتشير ملاحظات الإصدار أيضًا إلى تحسينات لفك الترميز ودعم الدُفعات الأصغر على Adreno. لكنها لا تتضمن مقارنات للسرعة، لذا لا توضح مقدار التحسن العملي في الأداء.
لماذا يهم
يمكن للمطورين الذين يشغّلون llama.cpp على وحدات معالجة الرسوميات Adreno تجربة مسارات OpenCL هذه مع نماذج IQ3، لكن ملاحظات الإصدار لا تثبت أنها أسرع أو تحدد الأجهزة الأكثر استفادة منها.
