نسخه b11971 از llama.cpp متعلق به ggml-org، یک عملیات ماتریسی OpenCL q4_K کاشیبندیشده برای پردازندههای گرافیکی Adreno اضافه میکند. همچنین در این تغییر، لایه خروجی مدل زبانی q4_K برای اندازه دستههای بزرگتر از یک از همین عملیات استفاده میکند.
این نسخه بیلدهای قابلدانلودی برای macOS، iOS و چند پلتفرم لینوکس دارد. یادداشتهای انتشار اندازهگیریهای عملکردی ارائه نمیکنند؛ بنابراین تأثیر تغییر مربوط به Adreno بر سرعت یا مصرف منابع مشخص نیست.
چرا مهم است
توسعهدهندگانی که llama.cpp را روی سختافزار Adreno اجرا میکنند، میتوانند مسیر جدید OpenCL را امتحان کنند؛ اما یادداشتهای انتشار مشخص نمیکنند که آیا این مسیر استنتاج را سریعتر میکند یا نه.