Oossa

افزودن کرنل‌های OpenCL برای پردازش‌های کم‌دسته در llama.cpp

کتابخانه متن‌باز استنتاج Llama حالا چند نسخه بهینه‌شده OpenCL از GEMM را برای اجراهای کم‌دسته دربر می‌گیرد و پشتیبانی از پردازنده‌های گرافیکی Snapdragon را گسترش می‌دهد.

خبر کوتاهنویسنده: منتشرشده توسط Oossa: 1 دقیقه مطالعه

پروژه ggml‑org/llama.cpp در 2026‑10‑21 به‌روزرسانی‌ای با شناسه b11763 منتشر کرد. این به‌روزرسانی چند کرنل OpenCL اضافه می‌کند که ضرب ماتریسی را در دسته‌های کوچک سریع‌تر می‌کنند؛ از جمله q4_k dp4a GEMM و گونه‌ای محدودتر از mul_mm_f16_f32. این تغییرات همچنین یک باگ خواندن خارج از محدوده را برطرف می‌کنند و یک محافظ غیرضروری برای بازگشت به پردازنده مرکزی را حذف می‌کنند. این کتابخانه پیش‌تر روی پلتفرم‌های مختلفی، از macOS با Apple Silicon گرفته تا Windows با CUDA و Linux با Vulkan، اجرا می‌شد و حالا پشتیبانی بهتری از پردازنده‌های Snapdragon، پردازنده‌های گرافیکی Adreno و NPUهای Hexagon دارد.

چرا مهم است

توسعه‌دهندگان می‌توانند مدل‌های Llama را روی دستگاه‌های اندرویدی مجهز به تراشه‌های Snapdragon سریع‌تر اجرا کنند و استفاده عملی از هوش مصنوعی روی دستگاه را آسان‌تر کنند.

آیا این مقاله مفید بود؟
اشتراک‌گذاری

بیشتر بخوانید

Oossa · خبرنامه

هفتهٔ هوش مصنوعی، به زبان ساده

هر دوشنبه: خبرهایی که ارزش دانستن دارند، به زبان ساده. رایگان و بدون هرزنامه.