Oossa

افزودن دو نوع کوانتیزه‌سازی Hexagon به llama.cpp b11345

نسخه llama.cpp b11345 از کوانتیزه‌سازی q2_k و q3_k برای Hexagon پشتیبانی می‌کند و برای چند پلتفرم هم نسخه‌های قابل‌دانلود دارد.

خبر کوتاهنویسنده: منتشرشده توسط Oossa: 1 دقیقه مطالعه

تیم ggml-org نسخه llama.cpp b11345 را منتشر کرده که از دو نوع کوانتیزه‌سازی q2_k و q3_k روی Hexagon پشتیبانی می‌کند. کوانتیزه‌سازی روشی برای ذخیره داده‌های مدل با بیت‌های کمتر است؛ اما یادداشت‌های انتشار نمی‌گویند کدام دستگاه‌ها یا مدل‌ها از این قابلیت سود می‌برند و تغییری در عملکرد را هم شرح نمی‌دهند.

این نسخه برای macOS، iOS و چند پیکربندی لینوکس، از جمله نسخه‌های مبتنی بر CPU و Vulkan، قابل‌دانلود است.

چرا مهم است

افرادی که llama.cpp را روی سخت‌افزارهای سازگار با Hexagon اجرا می‌کنند، ممکن است بتوانند از مدل‌های دارای کوانتیزه‌سازی q2_k یا q3_k استفاده کنند؛ اما یادداشت‌های انتشار سازگاری با دستگاه‌ها یا تأثیر بر عملکرد را مشخص نمی‌کنند.

آیا این مقاله مفید بود؟
اشتراک‌گذاری

بیشتر بخوانید

Oossa · خبرنامه

هفتهٔ هوش مصنوعی، به زبان ساده

هر دوشنبه: خبرهایی که ارزش دانستن دارند، به زبان ساده. رایگان و بدون هرزنامه.