ggml-orgチームのllama.cpp b11866では、Mixture-of-Expertsモデルで使われるMetalの行列乗算カーネルから、2のべき乗による再スケーリング処理が削除された。プロジェクトによると、計算グラフ内で専門家トークンごとにスケーリングすることで、演算前にダウンプロジェクションの活性値をf16で扱える範囲内に収められるようになった。
この変更に伴い、2段階のリダクションカーネルとそのスクラッチバッファ、f32のディスパッチ経路も削除された。また、f16の範囲を超える入力を対象としたテストもなくなった。リリースにはApple Silicon搭載Mac向けをはじめ、他の多くのプラットフォーム向けビルドが含まれるが、速度や精度の測定結果は示されていない。
なぜ重要か
MetalでMixture-of-Expertsモデルを動かすllama.cppユーザーにとって、カーネルは計算グラフ内で先に行われるスケーリングに依存するようになった。この変更が速度や出力品質に影響するかは、リリースでは明らかにされていない。
