Das Team von ggml-org hat llama.cpp b12024 veröffentlicht. Die Matrixmultiplikation für LFM-SC wird nun mit einem 2D- statt einem 3D-Tensor umgeformt. Auf der Release-Seite stehen Downloads für macOS, iOS und mehrere Linux-Konfigurationen bereit, darunter CPU- und Vulkan-Builds.
Aus den Release-Hinweisen geht nicht hervor, ob die Änderung für LFM-SC die Geschwindigkeit verbessert oder sich auf andere Modelle auswirkt.
Warum es wichtig ist
Wer LFM-SC mit llama.cpp nutzt, kann die aktualisierte Version ausprobieren. Die Release-Hinweise belegen jedoch keinen Leistungszuwachs.
