Het ggml-org-team heeft llama.cpp b12024 uitgebracht. De release bevat een wijziging waardoor werk voor matrixvermenigvuldiging bij LFM-SC wordt omgevormd, zodat daarvoor een 2D-tensor wordt gebruikt in plaats van een 3D-tensor. Op de releasepagina staan downloads voor macOS, iOS en verschillende Linux-configuraties, waaronder versies voor CPU en Vulkan.
In de release notes staat niet of de wijziging voor LFM-SC de snelheid verbetert of gevolgen heeft voor andere modellen.
Waarom het ertoe doet
Wie LFM-SC met llama.cpp gebruikt, kan de bijgewerkte release proberen. De release notes geven echter geen uitsluitsel over eventuele prestatieverbeteringen.
