Oossa

پشتیبانی llama.cpp b12031 از قالب‌های IQ3 در OpenCL

نسخهٔ جدید llama.cpp عملیات OpenCL را برای IQ3_S و IQ3_XXS اضافه می‌کند؛ از جمله کرنل‌هایی برای پردازنده‌های گرافیکی Adreno. در توضیحات نسخه، آماری از عملکرد ارائه نشده است.

خبر کوتاهنویسنده: منتشرشده توسط Oossa: 1 دقیقه مطالعه

تیم ggml-org نسخهٔ llama.cpp b12031 را با پشتیبانی اولیه از IQ3 در OpenCL منتشر کرده است؛ IQ3 شامل دو قالب فشرده برای وزن‌های مدل است. این به‌روزرسانی عملیات مربوط به IQ3_S و IQ3_XXS، از جمله عملیات ماتریسی و برداری، و همچنین مسیرهای اختصاصی Adreno برای پردازنده‌های گرافیکی Qualcomm را اضافه می‌کند.

یادداشت‌های انتشار همچنین به بهینه‌سازی‌های رمزگشایی و پشتیبانی از دسته‌های کوچک‌تر در Adreno اشاره می‌کنند. مقایسه‌ای از سرعت ارائه نشده است؛ بنابراین میزان تغییر عملکرد در عمل مشخص نیست.

چرا مهم است

توسعه‌دهندگانی که llama.cpp را روی پردازنده‌های گرافیکی Adreno اجرا می‌کنند، می‌توانند این مسیرهای OpenCL را با مدل‌های IQ3 امتحان کنند؛ اما یادداشت‌های انتشار مشخص نمی‌کنند که این مسیرها سریع‌تر هستند یا کدام دستگاه‌ها بیشترین بهره را می‌برند.

آیا این مقاله مفید بود؟
اشتراک‌گذاری

بیشتر بخوانید

Oossa · خبرنامه

هفتهٔ هوش مصنوعی، به زبان ساده

هر دوشنبه: خبرهایی که ارزش دانستن دارند، به زبان ساده. رایگان و بدون هرزنامه.