Oossa

افزودن کرنل‌های Q8_0 و i8mm به llama.cpp برای اپل و لینوکس

کتابخانه متن‌باز استنتاج LLaMA اکنون کرنل‌های کوانتیزه‌شده سریع‌تری برای ARM SVE و i8mm دارد و باینری‌های تازه‌ای برای macOS، iOS و Ubuntu ارائه می‌کند.

خبر کوتاهنویسنده: منتشرشده توسط Oossa: 1 دقیقه مطالعه

پروژه llama.cpp نسخه b11811 را در 22 اکتبر 2026 منتشر کرد. این به‌روزرسانی کرنل‌های Q8_0 SVE dot‑product GEMV و SVE i8mm GEMM را اضافه می‌کند که استنتاج مدل‌های کوانتیزه‌شده را روی پردازنده‌های ARM سریع‌تر می‌کنند. باینری‌های ازپیش‌ساخته برای Apple Silicon و Intel در macOS، iOS و چند نسخه Ubuntu (با CPU، Vulkan و CUDA 12.8) اکنون برای دانلود در دسترس‌اند.

چرا مهم است

توسعه‌دهندگان می‌توانند مدل‌های LLaMA را روی سخت‌افزارهای جدیدتر ARM و GPUهای لینوکس، بدون نوشتن کد سفارشی، سریع‌تر اجرا کنند.

آیا این مقاله مفید بود؟
اشتراک‌گذاری

بیشتر بخوانید

Oossa · خبرنامه

هفتهٔ هوش مصنوعی، به زبان ساده

هر دوشنبه: خبرهایی که ارزش دانستن دارند، به زبان ساده. رایگان و بدون هرزنامه.