Oossa

llama.cpp, MoE uzmanları için GPU önbelleği ekledi

Açık kaynaklı llama.cpp kütüphanesi, Uzman Karışımı (MoE) verilerini artık ana bellekte tutulan bir GPU önbelleğinde saklıyor.

Kısa haberYazan: Oossa yayın tarihi: Son güncelleme: 1 dk okuma

ggml‑org ekibi, llama.cpp’nin b11480 sürümünü 2026‑10‑08 tarihinde yayımladı. Güncelleme, ana bellekte çalışan ve büyük modellerin GPU’larda daha hızlı çalışmasına yardımcı olan bir MoE uzmanları GPU önbelleği ekliyor. Değişiklikte Claude’un katkısı olduğu belirtiliyor ve yeni llama_moe_cache_ptr API’si kullanılıyor. macOS, iOS ve çeşitli Ubuntu yapılandırmaları için önceden derlenmiş ikili dosyalar indirilebiliyor.

Neden önemli

Geliştiriciler artık MoE modellerini tüketici GPU’larında daha verimli çalıştırabilir; böylece yapay zekâ projeleri için gereken donanım maliyeti düşer.

Bu makale faydalı oldu mu?
Paylaş

Sıradaki okuma

Oossa · Bülten

Yapay zekâda hafta, anlaşılır dille

Her pazartesi: bilmeye değer haberler, sade bir dille. Ücretsiz, spam yok.