# افزودن کرنل CUDA با دقت int8 به llama.cpp

> محیط اجرای متن‌باز مدل‌های زبانی بزرگ، حالا روی پردازنده‌های گرافیکی NVIDIA از نسل Ampere به بعد از کرنل جدید int8 پشتیبانی می‌کند؛ قابلیتی که رمزگشایی گمانه‌زنانه را سریع‌تر می‌کند.

Oossa · 2026-11-13 · https://oossa.com/fa/llama-cpp-adds-int8-cuda-kernel-for-few-row-matrix-ops

پروژه ggml‑org/llama.cpp نسخه b12342 را با کرنل جدید CUDA int8 MMA برای عملیات ضرب ماتریسی و کوانتیزه‌سازی (MMQ) با چند ردیف منتشر کرد. این کرنل با قالب‌های کوانتیزه‌سازی Q8_0، Q3_K، Q4_K، Q5_K، Q6_K، IQ3_S، IQ4_NL و IQ4_XS روی پردازنده‌های گرافیکی NVIDIA از نسل Ampere به بعد کار می‌کند. هدف از این تغییر، سریع‌تر کردن مرحله‌های راستی‌آزمایی در رمزگشایی گمانه‌زنانه است. این به‌روزرسانی همچنین چند اصلاح برای آزمون‌ها و بررسی‌های حفاظتی دارد.

## حقایق

- کرنل جدید int8 MMA از هشت قالب کوانتیزه‌سازی روی پردازنده‌های گرافیکی NVIDIA از نسل Ampere به بعد پشتیبانی می‌کند.
- تاریخ انتشار: 2026-11-13

## چرا مهم است

توسعه‌دهندگان می‌توانند استنتاج مدل‌های زبانی بزرگ را روی پردازنده‌های گرافیکی سازگار سریع‌تر اجرا کنند و تأخیر در کاربردهای تعاملی هوش مصنوعی را کاهش دهند.

## منابع و ارجاع‌ها

1. [ggml-org/llama.cpp b12342](https://github.com/ggml-org/llama.cpp/releases/tag/b12342) – llama.cpp, 2026-11-13

آخرین به‌روزرسانی: 2026-11-13