ggml-orgチームがllama.cppのバージョンb11640を公開した。今回の更新では、Vulkanバックエンドの行列乗算に、L2キャッシュを考慮したワークグループのスケジューリングが導入された。また、Apple Silicon、Intel Mac、iOS、および複数のUbuntuビルド(CPU、Vulkan、CUDA 12.8)向けの新しいビルド済みバイナリも提供される。パッケージはGitHubのリリースページからダウンロードできる。
なぜ重要か
この変更により、Vulkanに対応したGPUでLLaMAモデルの実行速度が向上する可能性があり、LinuxやAndroid端末向けに開発する人にとって役立つ。