ggml-org ekibi, Hexagon’da q2_k ve q3_k nicemleme türlerini destekleyen llama.cpp b11345 sürümünü yayımladı. Nicemleme, model verilerini daha az bit kullanarak saklamanın bir yolu. Sürüm notlarında hangi cihazların veya modellerin bu destekten yararlanacağı belirtilmiyor ve performans değişiklikleri hakkında bilgi verilmiyor.
Sürüm; CPU ve Vulkan derlemelerinin de aralarında bulunduğu çeşitli Linux yapılandırmalarının yanı sıra macOS ve iOS için indirme seçenekleri de içeriyor.
Neden önemli
llama.cpp’yi desteklenen Hexagon donanımlarında çalıştıranlar, q2_k veya q3_k nicemlemesini kullanan modellerden yararlanabilir. Ancak sürüm notlarında cihaz uyumluluğu veya performans etkileri belirtilmiyor.
