ggml-orgはllama.cppのバージョンb12206を公開しました。このアップデートではMoE(mixture-of-experts)キャッシュを修正し、CPU側の処理がキャッシュ済みのエキスパートを待たずに済むようになりました。Apple Silicon搭載Mac、Intel Mac、iOS向けのほか、VulkanまたはzDNNに対応するx64、arm64、s390xなど複数構成のUbuntu向けに、ビルド済みバイナリが提供されています。
なぜ重要か
従来のMoEキャッシュが招いていたCPUのボトルネックを解消し、開発者は手元のマシンでLLMをより高速に実行できます。