ggml-orgチームは、llama.cppのバージョンb11487を公開した。Hexagonプロセッサ向けにタイル型Q4_K・Q6_KのGET_ROWSをサポートし、Q4_Kビューの処理も改善した。Apple Silicon、Intel搭載Mac、iOS、および複数のUbuntu環境(CPU版とVulkan版)向けに、ビルド済みバイナリが用意されている。アップデートはGitHubのリリースページからダウンロードできる。
なぜ重要か
Qualcomm製チップなど、Hexagonを搭載したデバイスで、開発者はより効率的にLlamaモデルを実行できるようになる。対応するモバイル機器や組み込みハードウェアでの性能向上が期待できる。