ggml‑orgチームがllama.cppのバージョンb11789をリリースしました。今回のアップデートでは、ベクトル形式でアクティベーションを読み込むOpenCL向けdp4a GEMM(行列乗算)カーネルを追加し、関連するカーネル名と環境変数を変更しています。Apple Silicon、Intel搭載Mac、iOS、および複数のUbuntuビルド(CPU、Vulkan、CUDA)向けのビルド済みバイナリも公開されました。dp4a命令に対応するGPUでの性能向上を狙った変更です。
なぜ重要か
対応GPUでllama.cppをより高速に実行できるため、ローカルLLMアプリケーションの推論時間を短縮できます。