Oossa

llama.cpp istem önbelleğini daha akıllı yönetiyor

Yeni sürüm, sunucunun RAM’de yalnızca yeniden kullanılabilecek yuvaları tutmasını sağlayarak belirli görev türlerinde bellek israfını azaltıyor.

Kısa haberYazan: Oossa yayın tarihi: 1 dk okuma

llama.cpp projesi, b11642 sürümünü 2026-10-15’te yayımladı. Sürüm, sunucunun istem önbelleği yuvalarını saklama biçimini değiştiriyor. Daha sonra geri yüklenebilecek yuvalar tutuluyor; böylece yeniden sıralama, gömme, karar verme ve infill görevlerinde kullanılmayan yuvalar önbelleği doldurmuyor. Karar verme görevleri, --cache-ram bayrağı kullanılmadığı sürece artık önbelleği tamamen devre dışı bırakıyor. Bu değişiklik RAM kullanımını azaltıyor ve gereksiz önbellek hareketliliğini önlüyor.

Neden önemli

llama.cpp’yi donanım kaynakları kısıtlı sistemlerde çalıştıran geliştiriciler, daha düşük bellek kullanımı ve önbellekle ilgili daha az yavaşlama görecek.

Bu makale faydalı oldu mu?
Paylaş

Sıradaki okuma

Oossa · Bülten

Yapay zekâda hafta, anlaşılır dille

Her pazartesi: bilmeye değer haberler, sade bir dille. Ücretsiz, spam yok.