Oossa

افزایش سرعت استنتاج IQ3 در llama.cpp با بازچینی وزن‌ها

کتابخانه متن‌باز llama.cpp هنگام بارگذاری، وزن‌های IQ3_S و IQ3_XXS را بازچینی می‌کند و سرعت تولید توکن را در پردازنده‌های گرافیکی Intel Arc افزایش می‌دهد.

خبر کوتاهنویسنده: منتشرشده توسط Oossa: 1 دقیقه مطالعه

پروژه llama.cpp نسخه b11636 را در 2026-10-15 منتشر کرد. این نسخه هنگام اجرا با SYCL، چیدمان ماندگاری برای وزن‌های کوانتیزه‌شده IQ3_S و IQ3_XXS اضافه می‌کند. وزن‌ها فقط یک‌بار، هنگام بارگذاری مدل، بازچینی می‌شوند تا پردازنده گرافیکی به‌جای گردآوری بیت‌ها، بلوک‌های متراکم را پردازش کند؛ در نتیجه، رمزگشایی و پیش‌پردازش سریع‌تر می‌شوند. در پردازنده گرافیکی Intel Arc Pro B70، سرعت تولید توکن در مدل Qwen3.8‑27B برای اعلان‌های کوتاه از 12.92 به 23.54 توکن در ثانیه رسید؛ افزایشی ۸۲ درصدی.

چرا مهم است

توسعه‌دهندگانی که llama.cpp را روی پردازنده‌های گرافیکی سازگار با SYCL اجرا می‌کنند، می‌توانند بدون تغییر کد مدل، پاسخ‌های سریع‌تری بگیرند.

آیا این مقاله مفید بود؟
اشتراک‌گذاری

بیشتر بخوانید

Oossa · خبرنامه

هفتهٔ هوش مصنوعی، به زبان ساده

هر دوشنبه: خبرهایی که ارزش دانستن دارند، به زبان ساده. رایگان و بدون هرزنامه.