Oossa

llama.cpp’ye BF16 desteği ve yeni işlemler eklendi

Açık kaynaklı llama.cpp kütüphanesi artık BF16 veri türü işlemlerini ve GLU’yu destekliyor; bu yenilik CPU ve CUDA performansını artırıyor.

Kısa haberOossaOossa yayın tarihi: 1 dk okuma

ggml‑org ekibi, llama.cpp’nin b11293 sürümünü yayımladı. Sürüm, hem CPU hem de CUDA için BF16 (yarı duyarlıklı sayı biçimi) tekli, GLU, ikili ve ölçekleme işlemleri ekliyor. Ayrıca BF16 derleme sorununu gidermek için CUDA çekirdekleri güncelleniyor. Güncelleme macOS ve Windows’tan Linux ve Android’e kadar birçok platformda kullanılabiliyor.

Neden önemli

Geliştiriciler artık llama.cpp modellerini, yeni GPU’lar gibi BF16 desteği sunan donanımlarda daha hızlı çalıştırabiliyor.

Bu makale faydalı oldu mu?
Paylaş

Sıradaki okuma

Oossa · Bülten

Yapay zekâda hafta, anlaşılır dille

Her pazartesi: bilmeye değer haberler, sade bir dille. Ücretsiz, spam yok.