Oossa

به‌روزرسانی llama.cpp سرعت تبدیل FP16 به FP32 را در پردازنده‌های اینتل برمی‌گرداند

نسخه b11635، منتشرشده در ۱۵ اکتبر ۲۰۲۶، جدول جست‌وجوی FP16→FP32 را در x86 نگه می‌دارد و کندی کرنل‌های کوانتیزه‌شده را برطرف می‌کند.

خبر کوتاهنویسنده: منتشرشده توسط Oossa: 1 دقیقه مطالعه

کتابخانه متن‌باز llama.cpp نسخه b11635 را در ۲۰۲۶-۱۰-۱۵ منتشر کرد. در این نسخه، کد پردازنده تغییر کرده تا جدول جست‌وجوی FP16 به FP32 در پردازنده‌های x86 پشتیبانی‌کننده از مجموعه دستورالعمل F16C حفظ شود. تغییر قبلی هر دو تبدیل اسکالر را به F16C سپرده بود و باعث شده بود سرعت کرنل‌های ضرب ماتریسی Q8_0/Q4_0 بین ۴۵ تا ۶۵ درصد کاهش یابد. اصلاح جدید تعریف مشکل‌ساز را غیرفعال می‌کند و جدول اصلی را برای تبدیل‌های FP16→FP32 برمی‌گرداند.

چرا مهم است

توسعه‌دهندگانی که llama.cpp را روی پردازنده‌های اینتل اجرا می‌کنند، پس از به‌روزرسانی از استنتاج مدل به‌مراتب سریع‌تری بهره‌مند می‌شوند.

آیا این مقاله مفید بود؟
اشتراک‌گذاری

بیشتر بخوانید

Oossa · خبرنامه

هفتهٔ هوش مصنوعی، به زبان ساده

هر دوشنبه: خبرهایی که ارزش دانستن دارند، به زبان ساده. رایگان و بدون هرزنامه.