ggml-org ekibi, dil modellerini çalıştırmaya yönelik açık kaynaklı yazılımı llama.cpp’nin b11710 sürümünü yayımladı. Sürüm notlarında yer alan değişiklik, grafik kartı hesaplama platformu CUDA için gruplandırılmış uzmanlarda top-k birleştirmesi ekliyor; ayrıca testler ve HIP’le ilgili bir düzenleme içeriyor.
Sürüm sayfasında macOS, iOS ve Linux dâhil çeşitli sistemler için indirme seçenekleri bulunuyor. Sayfada kıyaslama sonuçları paylaşılmıyor ve değişikliğin hızı ya da bellek kullanımını ne ölçüde etkilediği belirtilmiyor.
Neden önemli
Gruplandırılmış uzman modellerini CUDA ile kullanan geliştiriciler yeni uygulamayı deneyebilir; ancak sürüm notları, uygulamada performansı artırıp artırmadığını ortaya koymuyor.
