I version b11866 av llama.cpp tar ggml-org-teamet bort ett skalningssteg med tvåpotenser från en Metal-kärna för matrismultiplikation som används i mixture-of-experts-modeller. Projektet uppger att skalningen av varje expert-token nu sker i beräkningsgrafen och håller aktiveringarna i nedprojektionen inom det intervall som f16 stöder innan operationen körs.
Ändringen tar också bort tvåstegsreduktionskärnor, deras arbetsbuffert och en f32-dispatchväg, liksom tester för indata som överskred f16-intervallet. Versionen innehåller byggen för macOS med Apple Silicon och många andra plattformar, men redovisar inga mätningar av hastighet eller noggrannhet.
Varför det spelar roll
För llama.cpp-användare som kör mixture-of-experts-modeller med Metal förlitar sig kärnan nu på skalning som sker tidigare i beräkningsgrafen. Versionen säger inte om det påverkar hastigheten eller resultatens kvalitet.
