ggml-orgチームはllama.cpp b11623をリリースし、WMMAに対応していないAMD GPUで2D畳み込みを実行するための、SIMTベースのimplicit GEMM経路を追加しました。短いリダクションではこの経路を使わないようにしています。リリースノートには速度の数値や、どのAMDカードが恩恵を受けるかは記載されていません。ダウンロード可能なビルドは、macOS、iOSおよび複数のLinuxプラットフォーム向けに公開されています。
なぜ重要か
AMD GPUでllama.cppを使う開発者にとって、WMMAが利用できない場合の畳み込み経路が追加されました。ただし、性能への影響や対応ハードウェアはリリースノートからは分かりません。