Oossa

پشتیبانی WebGPU از Q2_0 به llama.cpp b11809 اضافه شد

نسخه جدید llama.cpp رفع‌کوانتیزه‌سازی سطری Q2_0 و ضرب ماتریسی را به بک‌اند WebGPU اضافه می‌کند. یادداشت‌های انتشار اطلاعاتی درباره عملکرد ارائه نمی‌دهند.

خبر کوتاهنویسنده: منتشرشده توسط Oossa: 1 دقیقه مطالعه

تیم ggml-org نسخه llama.cpp b11809 را منتشر کرده و پشتیبانی از Q2_0 را به بک‌اند WebGPU آن افزوده است. طبق یادداشت‌های انتشار، این تغییر هم رفع‌کوانتیزه‌سازی سطری و هم ضرب ماتریسی را دربرمی‌گیرد. در این یادداشت‌ها اطلاعاتی درباره سرعت، سازگاری با سخت‌افزار یا میزان مصرف حافظه ارائه نشده است؛ بنابراین اثر عملی این تغییر بر عملکرد مشخص نیست.

چرا مهم است

توسعه‌دهندگانی که از llama.cpp با WebGPU استفاده می‌کنند، می‌توانند مدل‌های Q2_0 را امتحان کنند؛ اما یادداشت‌های انتشار نمی‌گویند این مدل‌ها روی دستگاه‌های مشخص چطور اجرا خواهند شد.

آیا این مقاله مفید بود؟
اشتراک‌گذاری

بیشتر بخوانید

Oossa · خبرنامه

هفتهٔ هوش مصنوعی، به زبان ساده

هر دوشنبه: خبرهایی که ارزش دانستن دارند، به زبان ساده. رایگان و بدون هرزنامه.