تیم ggml-org نسخهٔ llama.cpp b12031 را با پشتیبانی اولیه از IQ3 در OpenCL منتشر کرده است؛ IQ3 شامل دو قالب فشرده برای وزنهای مدل است. این بهروزرسانی عملیات مربوط به IQ3_S و IQ3_XXS، از جمله عملیات ماتریسی و برداری، و همچنین مسیرهای اختصاصی Adreno برای پردازندههای گرافیکی Qualcomm را اضافه میکند.
یادداشتهای انتشار همچنین به بهینهسازیهای رمزگشایی و پشتیبانی از دستههای کوچکتر در Adreno اشاره میکنند. مقایسهای از سرعت ارائه نشده است؛ بنابراین میزان تغییر عملکرد در عمل مشخص نیست.
چرا مهم است
توسعهدهندگانی که llama.cpp را روی پردازندههای گرافیکی Adreno اجرا میکنند، میتوانند این مسیرهای OpenCL را با مدلهای IQ3 امتحان کنند؛ اما یادداشتهای انتشار مشخص نمیکنند که این مسیرها سریعتر هستند یا کدام دستگاهها بیشترین بهره را میبرند.