ggml-org ekibi, llama.cpp’nin b11398 sürümünü yayımladı. Sürüm, x86 platformlarında tinyBLAS CPU arka ucuna BF16, FP16 ve FP32 artan verileri işleme desteği ekliyor. Değişiklikler, daha hızlı hesaplama için bu verilerin işlenmesini de vektörleştiriyor. macOS (Apple Silicon ve Intel), iOS ve çeşitli Ubuntu mimarileri için önceden derlenmiş ikili dosyalar sunuluyor. Güncelleme ayrıca, referans uygulamalar kullanıldığında karşılaştırmaların doğruluğunu sağlamak için testlerde değişiklikler içeriyor.
Neden önemli
Geliştiriciler artık GPU hızlandırması olmadan, standart CPU’larda LLM çıkarımını daha hızlı çalıştırabiliyor.
