Oossa

llama.cpp از BF16 و عملیات تازه پشتیبانی می‌کند

کتابخانه متن‌باز llama.cpp اکنون عملیات نوع داده BF16 و GLU را دربر دارد و عملکرد آن را روی CPU و CUDA بهبود می‌دهد.

خبر کوتاهOossaمنتشرشده توسط Oossa: 1 دقیقه مطالعه

تیم ggml‑org نسخه b11293 llama.cpp را منتشر کرد. این نسخه عملیات یکانی، GLU، دودویی و مقیاس‌گذاری BF16 (قالب عددی با دقت نیمه) را برای CPU و CUDA اضافه می‌کند. همچنین هسته‌های CUDA به‌روزرسانی شده‌اند تا مشکل ساخت BF16 برطرف شود. این به‌روزرسانی برای پلتفرم‌های مختلف، از macOS و Windows گرفته تا Linux و Android، در دسترس است.

چرا مهم است

توسعه‌دهندگان اکنون می‌توانند مدل‌های llama.cpp را روی سخت‌افزارهای پشتیبان BF16، مانند GPUهای جدیدتر، سریع‌تر اجرا کنند.

آیا این مقاله مفید بود؟
اشتراک‌گذاری

بیشتر بخوانید

Oossa · خبرنامه

هفتهٔ هوش مصنوعی، به زبان ساده

هر دوشنبه: خبرهایی که ارزش دانستن دارند، به زبان ساده. رایگان و بدون هرزنامه.