ggml-org tarafından sürdürülen llama.cpp kütüphanesi, b11597 sürümünü 13 Eki 2026'da yayımladı. Güncelleme, bir bağlam havuzlanmış gömmeler çıkardığında modelin büyük LM başlığı logits katmanını artık oluşturmamasını sağlayacak şekilde hesaplama grafiğini değiştiriyor. Bu, bellek kullanımını azaltıyor ve yalnızca gömme gerektiren görevlerde çıkarımı hızlandırıyor. Değişiklik ayrıca şeklin tutarlı kalması için ilgili grafik düğümlerini de düzenliyor.
Neden önemli
Gömmeleri çıkaran geliştiriciler, llama.cpp modellerini daha hızlı ve daha düşük donanım gereksinimleriyle çalıştırabilir.
