تیم ggml-org نسخه llama.cpp b11345 را منتشر کرده که از دو نوع کوانتیزهسازی q2_k و q3_k روی Hexagon پشتیبانی میکند. کوانتیزهسازی روشی برای ذخیره دادههای مدل با بیتهای کمتر است؛ اما یادداشتهای انتشار نمیگویند کدام دستگاهها یا مدلها از این قابلیت سود میبرند و تغییری در عملکرد را هم شرح نمیدهند.
این نسخه برای macOS، iOS و چند پیکربندی لینوکس، از جمله نسخههای مبتنی بر CPU و Vulkan، قابلدانلود است.
چرا مهم است
افرادی که llama.cpp را روی سختافزارهای سازگار با Hexagon اجرا میکنند، ممکن است بتوانند از مدلهای دارای کوانتیزهسازی q2_k یا q3_k استفاده کنند؛ اما یادداشتهای انتشار سازگاری با دستگاهها یا تأثیر بر عملکرد را مشخص نمیکنند.