Oossa

افزودن قالب‌های کوانتیزه‌سازی WebGPU به llama.cpp در نسخه b11406

کتابخانه متن‌باز llama.cpp اکنون از چند قالب کم‌دقت جدید در WebGPU پشتیبانی می‌کند و فایل‌های اجرایی آن برای macOS، Linux و iOS منتشر شده‌اند.

خبر کوتاهنویسنده: منتشرشده توسط Oossa: 1 دقیقه مطالعه

تیم ggml‑org نسخه b11406 از llama.cpp را منتشر کرد. این نسخه پشتیبانی WebGPU از مسیرهای کوانتیزه‌سازی MMVQ با قالب‌های Q1_0، Q5_0، Q5_1، Q3_K، Q5_K، Q6_K و MXFP4 را اضافه می‌کند. همچنین فایل‌های اجرایی ازپیش‌ساخته‌شده برای macOS (Apple Silicon و Intel)، iOS و چند نسخه Ubuntu (CPU، Vulkan و CUDA) ارائه شده‌اند.

چرا مهم است

توسعه‌دهندگان اکنون می‌توانند مدل‌های زبانی بزرگ کم‌حافظه‌تری را در مرورگرها یا روی GPUهای مجهز به WebGPU اجرا کنند و دامنه استفاده از llama.cpp را گسترش دهند.

آیا این مقاله مفید بود؟
اشتراک‌گذاری

بیشتر بخوانید

Oossa · خبرنامه

هفتهٔ هوش مصنوعی، به زبان ساده

هر دوشنبه: خبرهایی که ارزش دانستن دارند، به زبان ساده. رایگان و بدون هرزنامه.