Oossa

llama.cpp küçük batch işlemleri için OpenCL çekirdekleri ekledi

Açık kaynaklı Llama çıkarım kütüphanesine, düşük batch boyutlarında çalışmak için optimize edilmiş birkaç OpenCL GEMM seçeneği eklendi. Böylece Snapdragon GPU’larına yönelik destek de genişledi.

Kısa haberYazan: Oossa yayın tarihi: 1 dk okuma

ggml‑org/llama.cpp projesi 2026‑10‑21 tarihinde b11763 güncellemesini yayımladı. Güncelleme, q4_k dp4a GEMM ve dar kapsamlı bir mul_mm_f16_f32 varyantı da dahil olmak üzere küçük batch boyutlarındaki matris çarpımlarını hızlandıran birkaç OpenCL çekirdeği ekliyor. Değişiklikler ayrıca sınır dışı okuma hatasını gideriyor ve gereksiz bir CPU yedekleme kontrolünü kaldırıyor. Kütüphane macOS Apple Silicon’dan Windows CUDA’ya ve Linux Vulkan’a kadar pek çok platformda zaten çalışıyor; artık Snapdragon CPU’ları, Adreno GPU’ları ve Hexagon NPU’ları için de daha iyi destek sunuyor.

Neden önemli

Geliştiriciler, Llama modellerini Snapdragon işlemcili Android cihazlarda daha hızlı çalıştırabilir; böylece yapay zekâyı cihaz üzerinde kullanmak daha pratik hale gelir.

Bu makale faydalı oldu mu?
Paylaş

Sıradaki okuma

Oossa · Bülten

Yapay zekâda hafta, anlaşılır dille

Her pazartesi: bilmeye değer haberler, sade bir dille. Ücretsiz, spam yok.