ggml-orgチームがllama.cppバージョンb12361を公開した。今回のアップデートでは、MOEキャッシュのコードを内部のグラフ処理から切り離した。また、macOS(Apple SiliconおよびIntel)、iOS、複数のUbuntu環境向けに新しいビルド済みバイナリを提供する。Ubuntu向けにはCPU版とVulkan版が含まれる。KleidiAI対応のmacOS Apple Silicon版も掲載されているが、現在は無効になっている。すべてのファイルはGitHubのリリースページからダウンロードできる。
なぜ重要か
ソースからビルドせずに、より多くのプラットフォームでllama.cppをローカル実行できるようになり、開発者が試行錯誤を進めやすくなる。