Teamet bakom ggml-org har släppt llama.cpp b12024. I versionen ändras hur beräkningar för matrismultiplikation omformas för LFM-SC, så att en 2D-tensor används i stället för en 3D-tensor. På releasesidan finns nedladdningar för macOS, iOS och flera Linux-konfigurationer, bland annat byggen för CPU och Vulkan.
I versionsinformationen står det inte om ändringen för LFM-SC ökar hastigheten eller påverkar andra modeller.
Varför det spelar roll
Den som kör LFM-SC med llama.cpp kan prova den uppdaterade versionen, men versionsinformationen visar inte att den ger bättre prestanda.
