De release b11866 van het ggml-org-team voor llama.cpp verwijdert een herschalingsstap met een macht van twee uit een Metal-matrixvermenigvuldigingskernel voor mixture-of-experts-modellen. Volgens het project zorgt het schalen per expert-token in de compute graph er nu voor dat activaties bij de down-projectie binnen het bereik blijven dat f16 ondersteunt, voordat de bewerking wordt uitgevoerd.
Door die wijziging zijn ook tweestaps-reductiekernels, hun scratchbuffer en een f32-dispatchpad overbodig geworden. Ook zijn tests verwijderd voor invoerwaarden die buiten het f16-bereik vielen. De release vermeldt builds voor macOS op Apple Silicon en voor veel andere platforms; prestatie- of nauwkeurigheidsmetingen ontbreken.
Waarom het ertoe doet
Voor llama.cpp-gebruikers die mixture-of-experts-modellen op Metal draaien, vertrouwt de kernel nu op schaling die eerder in de compute graph plaatsvindt. De release vermeldt niet of dit de snelheid of de uitvoerkwaliteit verandert.
