Oossa

انتشار llama.cpp b11713 با پشتیبانی سریع‌تر CUDA از محاسبات کم‌بیتی

نسخهٔ b11713 کتابخانهٔ متن‌باز llama.cpp در 17 اکتبر 2026 منتشر شد؛ این نسخه اجرای عملیات ماتریس‌ـ‌بردار کم‌بیتی روی پردازنده‌های گرافیکی CUDA را سریع‌تر می‌کند و فایل‌های باینری تازه‌ای ارائه می‌دهد.

خبر کوتاهنویسنده: منتشرشده توسط Oossa: 1 دقیقه مطالعه

تیم ggml‑org نسخهٔ b11713 کتابخانهٔ llama.cpp را در 17 اکتبر 2026 منتشر کرد. این به‌روزرسانی با استفاده از الگوریتم سریع‌تر MMVQ، عملکرد CUDA را برای نوع‌های کم‌بیتی بهبود می‌دهد. همچنین اصلاح کوچکی برای پردازنده‌های گرافیکی HIP (AMD) در کوانتیزه‌سازی‌های Q3_K و Q6_K ارائه می‌کند. فایل‌های باینری ازپیش‌ساخته‌شده برای macOS، iOS و چند نسخهٔ Ubuntu (با CPU، Vulkan و CUDA) اکنون برای دانلود در دسترس‌اند.

چرا مهم است

توسعه‌دهندگان می‌توانند مدل‌های زبانی بزرگ کوانتیزه‌شده را روی پردازنده‌های گرافیکی NVIDIA سریع‌تر اجرا کنند و هزینهٔ استنتاج را در برنامه‌های هوش مصنوعی محلی کاهش دهند.

آیا این مقاله مفید بود؟
اشتراک‌گذاری

بیشتر بخوانید

Oossa · خبرنامه

هفتهٔ هوش مصنوعی، به زبان ساده

هر دوشنبه: خبرهایی که ارزش دانستن دارند، به زبان ساده. رایگان و بدون هرزنامه.