Das Team von ggml-org entfernt mit dem Release llama.cpp b11866 einen Skalierungsschritt auf Zweierpotenzen aus einem Metal-Matrixmultiplikationskernel für Mixture-of-Experts-Modelle. Laut Projekt hält die Skalierung pro Expertentoken im Rechengraphen die Aktivierungen der Down-Projection nun innerhalb des von f16 unterstützten Wertebereichs, bevor der Vorgang ausgeführt wird.
Durch die Änderung entfallen außerdem zweistufige Reduktionskernel, ihr Scratch-Puffer und ein f32-Dispatch-Pfad sowie Tests für Eingaben, die den f16-Wertebereich überschritten. Das Release führt Builds für Apple-Silicon-Macs und zahlreiche weitere Plattformen auf; Messwerte zu Geschwindigkeit oder Genauigkeit werden nicht angegeben.
Warum es wichtig ist
Für llama.cpp-Nutzer, die Mixture-of-Experts-Modelle mit Metal ausführen, stützt sich der Kernel nun auf die zuvor im Rechengraphen vorgenommene Skalierung. Das Release sagt nicht, ob sich dadurch Geschwindigkeit oder Ausgabequalität ändern.
