Oossa

پشتیبانی از SIMD در WebAssembly به llama.cpp b12530 اضافه شد

این نسخه کرنل‌های WebAssembly در llama.cpp را به‌روزرسانی می‌کند و از قالب‌های q3_K و q6_K پشتیبانی می‌کند. همچنین نسخه‌های قابل‌دانلودی برای چند پلتفرم ارائه می‌دهد.

خبر کوتاهنویسنده: منتشرشده توسط Oossa: 1 دقیقه مطالعه

ggml-org نسخه llama.cpp b12530 را با به‌روزرسانی WebAssembly منتشر کرد: کرنل‌های SIMD سهل‌گیرانه اصلاح شده‌اند و پشتیبانی از قالب‌های مدل q3_K و q6_K اضافه شده است. صفحه انتشار همچنین لینک دانلود نسخه‌هایی برای macOS، iOS و چند سیستم لینوکسی را دارد.

این نسخه، ازجمله، شامل نسخه‌های CPU برای Ubuntu x64، arm64 و s390x است. یادداشت‌های انتشار مشخص نمی‌کنند تغییرات WebAssembly چه اثری بر سرعت دارند.

چرا مهم است

توسعه‌دهندگانی که llama.cpp را برای WebAssembly می‌سازند، می‌توانند از پشتیبانی اضافه‌شده از q3_K و q6_K استفاده کنند؛ هرچند یادداشت‌های انتشار میزان تغییر عملکرد را مشخص نمی‌کنند.

آیا این مقاله مفید بود؟
اشتراک‌گذاری

بیشتر بخوانید

Oossa · خبرنامه

هفتهٔ هوش مصنوعی، به زبان ساده

هر دوشنبه: خبرهایی که ارزش دانستن دارند، به زبان ساده. رایگان و بدون هرزنامه.