llama.cpp、Intel Arc GPUで量子化モデルのプロンプト処理を高速化

ggml-org/llama.cppのリリース b11979では、Intel GPU上で複数の量子化モデル形式を変換するSYCLカーネルの処理方法が変更された。Arc Pro B70では、テンソルに並べ替えたレイアウトを使うと、プロンプト文を処理するプレフィルが高速化した。向上幅は形式やモデルによって異なる。

この方法で報告された最大の向上幅は、270億パラメーターのQ6_Kモデルで28.7%だった。MXFP4のMixture of Expertsモデルでは、報告されたテストでプレフィルが57%から61%向上し、新しいレイアウトを使った場合も同様だった。デコード速度に変化はなかった。測定結果はプロジェクトによる報告で、パープレキシティの結果は変わらないか、実行ごとのばらつきの範囲内だった。