Oossa

llama.cpp, Vulkan’da yinelenen satırlar için optimizasyon ekledi

Açık kaynaklı LLaMA çıkarım kütüphanesi, GPU satırları tekrarlandığında gereksiz işlemleri atlayarak Vulkan cihazlarda hızı artırıyor.

Kısa haberYazan: Oossa yayın tarihi: 1 dk okuma

llama.cpp projesi, b11554 sürümünü 2026‑10‑11 tarihinde yayımladı. Güncelleme, matris çarpımlarında yinelenen satır kimliklerini algılayan ve bunları döngü içinde işlemek yerine ön işlem aşamasında ele alan Vulkan’a özel düzeltmeler içeriyor. Ayrıca “hoist row ids” optimizasyonu iyileştirildi; böylece optimizasyon her zaman çalışıyor ve birden fazla kompakt döşeme üretebiliyor. Bu değişiklikler, GPU’nun daha az iş grubu başlatmasını ve mümkün olduğunda işlemi erken sonlandırmasını sağlıyor.

Neden önemli

llama.cpp kullanan GPU kullanıcıları, kütüphanenin aynı hesaplamaları tekrarlamaktan kaçınması sayesinde daha hızlı çıkarım elde edebilir.

Bu makale faydalı oldu mu?
Paylaş

Sıradaki okuma

Oossa · Bülten

Yapay zekâda hafta, anlaşılır dille

Her pazartesi: bilmeye değer haberler, sade bir dille. Ücretsiz, spam yok.