Oossa

llama.cpp b11494, CUDA warp optimizasyonları ekliyor

Açık kaynaklı Llama.cpp kütüphanesi artık CUDA warp başına dört GDN durum sütunu kullanarak GPU performansını artırıyor.

Kısa haberYazan: Oossa yayın tarihi: 1 dk okuma

ggml-org ekibi llama.cpp’nin b11494 sürümünü yayımladı. Güncelleme, CUDA arka ucunda warp başına atanan GDN durum sütunu sayısını ikiden dörde çıkarıyor. Bu ayar artık varsayılan. macOS (Apple Silicon ve Intel), iOS ve çeşitli Ubuntu sürümleri için ikili dosyalar indirilebilir.

Neden önemli

llama.cpp’yi NVIDIA GPU’larda kullanan geliştiriciler, kodlarında değişiklik yapmadan daha hızlı çıkarım elde edebilir.

Bu makale faydalı oldu mu?
Paylaş

Sıradaki okuma

Oossa · Bülten

Yapay zekâda hafta, anlaşılır dille

Her pazartesi: bilmeye değer haberler, sade bir dille. Ücretsiz, spam yok.