# افزایش سرعت attention در llama.cpp برای کش‌های کوانتیده

> نسخه b11980 کرنل گرافیکی Intel را برای رمزگشایی با دسته‌های کوچک و کش‌های KV از نوع q4_0 و q8_0 اضافه می‌کند؛ پردازش پرامپت همچنان با کرنل‌های فعلی انجام می‌شود.

Oossa · 2026-10-29 · https://oossa.com/fa/llama-cpp-adds-faster-sycl-attention-for-quantized-caches

نسخه llama.cpp b11980 یک کرنل SYCL flash-attention برای رمزگشایی با کش‌های کلید-مقدار کوانتیده q4_0 و q8_0 اضافه می‌کند. این کرنل دسته‌هایی شامل ۱ تا ۳۱ توکن پرس‌وجو را پردازش می‌کند و نیاز به کوانتش‌زدایی اسکالر یا تبدیل کل کش به f16 در هر فراخوانی را از بین می‌برد.

طبق یادداشت‌های انتشار، مدل Llama 3.1 8B Q4_K_M روی Intel Arc B580 با کش q4_0 در زمینه 16K به سرعت 54.2 توکن در ثانیه رسید؛ درحالی‌که این عدد پیش‌تر 31.3 بود. این نتیجه فقط به همین پیکربندی مشخص مربوط است؛ پردازش پرامپت همچنان با کرنل‌های فعلی انجام می‌شود و می‌توان کرنل جدید را با GGML_SYCL_FA_DPAS=0 غیرفعال کرد.

## حقایق

- نسخه: llama.cpp b11980.
- نتیجه اعلام‌شده روی B580: افزایش سرعت از 31.3 به 54.2 توکن در ثانیه در زمینه 16K، با استفاده از Llama 3.1 8B Q4_K_M و کش KV از نوع q4_0.

## چرا مهم است

برای کسانی که روی Intel Arc B580 با کش‌های کوانتیده رمزگشایی می‌کنند، این تغییر می‌تواند در پیکربندی آزمایش‌شده به تولید سریع‌تر توکن‌ها منجر شود؛ اما در این نسخه شواهدی ارائه نشده که پردازش پرامپت یا سخت‌افزارهای دیگر نیز به همین شکل سریع‌تر شوند.

## منابع و ارجاع‌ها

1. [ggml-org/llama.cpp b11980](https://github.com/ggml-org/llama.cpp/releases/tag/b11980) – llama.cpp, 2026-10-29

آخرین به‌روزرسانی: 2026-10-29