Oossa

llama.cpp پشتیبانی OpenCL DP4A را برای مدل‌های کوانتیزه افزود

کتابخانه متن‌باز استنتاج LLaMA اکنون از GEMM با DP4A و cooperative‑k برای قالب‌های q4_0، q4_k و q6_k پشتیبانی می‌کند.

خبر کوتاهنویسنده: منتشرشده توسط Oossa: 1 دقیقه مطالعه

پروژه ggml‑org/llama.cpp نسخه b11741 را در 2026‑10‑19 منتشر کرد. این نسخه کرنل‌های جدید OpenCL را اضافه می‌کند که با استفاده از دستورالعمل‌های DP4A، ضرب ماتریسی را برای سه قالب کوانتیزه q4_0، q4_k و q6_k سریع‌تر می‌کنند. این به‌روزرسانی همچنین مشکل هم‌ترازی را برطرف می‌کند و فایل‌های باینری ازپیش‌ساخته‌شده‌ای برای macOS (Apple Silicon و Intel) و چند نسخه Ubuntu، از جمله ساخت‌های Vulkan، ارائه می‌دهد.

چرا مهم است

توسعه‌دهندگان می‌توانند مدل‌های LLaMA را روی GPUهای سازگار با OpenCL سریع‌تر اجرا کنند و اجرای محلی مدل‌ها را عملی‌تر سازند.

آیا این مقاله مفید بود؟
اشتراک‌گذاری

بیشتر بخوانید

Oossa · خبرنامه

هفتهٔ هوش مصنوعی، به زبان ساده

هر دوشنبه: خبرهایی که ارزش دانستن دارند، به زبان ساده. رایگان و بدون هرزنامه.