Oossa

افزودن پشتیبانی BF16 به RMS_NORM در llama.cpp برای CPU و CUDA

کتابخانه متن‌باز استنتاج Llama اکنون در عملیات RMS_NORM از دقت BF16 پشتیبانی می‌کند و فایل‌های اجرایی آن برای macOS، iOS و Linux در دسترس‌اند.

خبر کوتاهنویسنده: منتشرشده توسط Oossa: 1 دقیقه مطالعه

تیم ggml‑org نسخه b12366 از llama.cpp را در 2026‑11‑13 منتشر کرد. این به‌روزرسانی پشتیبانی از BF16 (قالب ممیز شناور ۱۶‌بیتی) را به لایه RMS_NORM برای هر دو بک‌اند CPU و CUDA اضافه می‌کند. اکنون یک تابع کمکی، کرنل‌های RMS_NORM با قالب‌های F32/BF16 را اجرا می‌کند. فایل‌های اجرایی ازپیش‌ساخته برای Apple Silicon و Intel در macOS، همچنین iOS و چند نسخه از Ubuntu برای دانلود در دسترس‌اند.

چرا مهم است

توسعه‌دهندگان می‌توانند مدل‌های Llama را روی سخت‌افزاری که با BF16 سازگاری بیشتری دارد سریع‌تر اجرا کنند و در عین کاهش مصرف حافظه، دقت را تا حد زیادی حفظ کنند.

آیا این مقاله مفید بود؟
اشتراک‌گذاری

بیشتر بخوانید

Oossa · خبرنامه

هفتهٔ هوش مصنوعی، به زبان ساده

هر دوشنبه: خبرهایی که ارزش دانستن دارند، به زبان ساده. رایگان و بدون هرزنامه.