پروژه llama.cpp نسخه b11636 را در 2026-10-15 منتشر کرد. این نسخه هنگام اجرا با SYCL، چیدمان ماندگاری برای وزنهای کوانتیزهشده IQ3_S و IQ3_XXS اضافه میکند. وزنها فقط یکبار، هنگام بارگذاری مدل، بازچینی میشوند تا پردازنده گرافیکی بهجای گردآوری بیتها، بلوکهای متراکم را پردازش کند؛ در نتیجه، رمزگشایی و پیشپردازش سریعتر میشوند. در پردازنده گرافیکی Intel Arc Pro B70، سرعت تولید توکن در مدل Qwen3.8‑27B برای اعلانهای کوتاه از 12.92 به 23.54 توکن در ثانیه رسید؛ افزایشی ۸۲ درصدی.
چرا مهم است
توسعهدهندگانی که llama.cpp را روی پردازندههای گرافیکی سازگار با SYCL اجرا میکنند، میتوانند بدون تغییر کد مدل، پاسخهای سریعتری بگیرند.