Oossa

llama.cpp, kuantize modeller için OpenCL DP4A desteği ekledi

Açık kaynaklı LLaMA çıkarım kütüphanesi artık q4_0, q4_k ve q6_k biçimleri için cooperative‑k DP4A GEMM desteği sunuyor.

Kısa haberYazan: Oossa yayın tarihi: 1 dk okuma

ggml‑org/llama.cpp projesi, b11741 sürümünü 2026‑10‑19 tarihinde yayımladı. Güncelleme, üç kuantize biçimde (q4_0, q4_k, q6_k) matris çarpımlarını hızlandırmak için DP4A komutlarını kullanan yeni OpenCL çekirdekleri ekliyor. Ayrıca bir hizalama sorununu gideriyor ve macOS (Apple Silicon ve Intel) ile Vulkan derlemeleri de dahil olmak üzere çeşitli Ubuntu sürümleri için önceden derlenmiş ikili dosyalar sunuyor.

Neden önemli

Geliştiriciler LLaMA modellerini OpenCL uyumlu GPU’larda daha hızlı çalıştırabilir; bu da yerel çıkarımı daha kullanışlı hale getirir.

Bu makale faydalı oldu mu?
Paylaş

Sıradaki okuma

Oossa · Bülten

Yapay zekâda hafta, anlaşılır dille

Her pazartesi: bilmeye değer haberler, sade bir dille. Ücretsiz, spam yok.