نسخه llama.cpp b11980 یک کرنل SYCL flash-attention برای رمزگشایی با کش‌های کلید-مقدار کوانتیده q4_0 و q8_0 اضافه می‌کند. این کرنل دسته‌هایی شامل ۱ تا ۳۱ توکن پرس‌وجو را پردازش می‌کند و نیاز به کوانتش‌زدایی اسکالر یا تبدیل کل کش به f16 در هر فراخوانی را از بین می‌برد.
طبق یادداشت‌های انتشار، مدل Llama 3.1 8B Q4_K_M روی Intel Arc B580 با کش q4_0 در زمینه 16K به سرعت 54.2 توکن در ثانیه رسید؛ درحالی‌که این عدد پیش‌تر 31.3 بود. این نتیجه فقط به همین پیکربندی مشخص مربوط است؛ پردازش پرامپت همچنان با کرنل‌های فعلی انجام می‌شود و می‌توان کرنل جدید را با GGML_SYCL_FA_DPAS=0 غیرفعال کرد.
چرا مهم است
برای کسانی که روی Intel Arc B580 با کش‌های کوانتیده رمزگشایی می‌کنند، این تغییر می‌تواند در پیکربندی آزمایش‌شده به تولید سریع‌تر توکن‌ها منجر شود؛ اما در این نسخه شواهدی ارائه نشده که پردازش پرامپت یا سخت‌افزارهای دیگر نیز به همین شکل سریع‌تر شوند.
