# افزایش سرعت استنتاج IQ3 در llama.cpp با بازچینی وزن‌ها

> کتابخانه متن‌باز llama.cpp هنگام بارگذاری، وزن‌های IQ3_S و IQ3_XXS را بازچینی می‌کند و سرعت تولید توکن را در پردازنده‌های گرافیکی Intel Arc افزایش می‌دهد.

Oossa · 2026-10-15 · https://oossa.com/fa/llama-cpp-adds-sycl-weight-reorder-for-faster-iq3-inference

پروژه llama.cpp نسخه b11636 را در 2026-10-15 منتشر کرد. این نسخه هنگام اجرا با SYCL، چیدمان ماندگاری برای وزن‌های کوانتیزه‌شده IQ3_S و IQ3_XXS اضافه می‌کند. وزن‌ها فقط یک‌بار، هنگام بارگذاری مدل، بازچینی می‌شوند تا پردازنده گرافیکی به‌جای گردآوری بیت‌ها، بلوک‌های متراکم را پردازش کند؛ در نتیجه، رمزگشایی و پیش‌پردازش سریع‌تر می‌شوند. در پردازنده گرافیکی Intel Arc Pro B70، سرعت تولید توکن در مدل Qwen3.8‑27B برای اعلان‌های کوتاه از 12.92 به 23.54 توکن در ثانیه رسید؛ افزایشی ۸۲ درصدی.

## حقایق

- تاریخ انتشار: 2026-10-15 («Thu Oct 15 2026 06:50:37 GMT+0200»)
- سرعت توکن در Intel Arc Pro B70 برای IQ3_S از 12.92 به 23.54 توکن در ثانیه رسید (+82٪)

## چرا مهم است

توسعه‌دهندگانی که llama.cpp را روی پردازنده‌های گرافیکی سازگار با SYCL اجرا می‌کنند، می‌توانند بدون تغییر کد مدل، پاسخ‌های سریع‌تری بگیرند.

## منابع و ارجاع‌ها

1. [ggml-org/llama.cpp b11636](https://github.com/ggml-org/llama.cpp/releases/tag/b11636) – llama.cpp, 2026-10-15

آخرین به‌روزرسانی: 2026-10-15