ggml-orgチームがllama.cppバージョンb11777を公開した。このアップデートでは、Qwenモデルの出力を3次元テンソルから2次元テンソルに変更し、不要だった最後のreshape処理をなくした。また、macOS(Apple SiliconおよびIntel)、iOS、さらにVulkanとCUDAに対応した複数のUbuntuビルドなど、すぐに実行できるバイナリも提供している。
なぜ重要か
開発者は新しいバイナリをダウンロードすれば、ソースからビルドせずに、より多くのデバイスでローカルLLMを実行できる。