تیم ggml‑org نسخه b11789 از llama.cpp را منتشر کرد. این به‌روزرسانی گونه‌های dp4a GEMM (ضرب ماتریسی) برای OpenCL را با بارگذاری برداریِ فعال‌سازها اضافه می‌کند و نام کرنل‌های مرتبط و متغیرهای محیطی را تغییر می‌دهد. اکنون باینری‌های ازپیش‌ساخته‌شده برای Apple Silicon، macOS اینتل، iOS و چند نسخه Ubuntu (CPU، Vulkan و CUDA) در دسترس هستند. هدف این تغییرها بهبود عملکرد روی GPUهایی است که از دستور dp4a پشتیبانی می‌کنند.
چرا مهم است
توسعه‌دهندگان می‌توانند llama.cpp را روی GPUهای سازگار سریع‌تر اجرا کنند و زمان استنتاج را در برنامه‌های محلی مبتنی بر LLM کاهش دهند.
