ggml-orgチームはllama.cppのバージョンb11784をリリースした。Sycl iq3バックエンドで発生するクラッシュを修正している。Apple Silicon搭載Mac、Intel Mac、iOSのほか、VulkanやCUDA 12.8を含む各種Ubuntu環境向けのビルドが用意された。バイナリはGitHubのリリースページからダウンロードできる。
なぜ重要か
開発者はクラッシュを避けながら、より多くのハードウェアでllama.cppを実行できるようになり、ローカルでのLLM推論を利用しやすくなる。