Oossa

llama.cpp、OpenCL向けdp4a行列乗算を追加

オープンソースライブラリllama.cppのバージョンb11789では、行列演算を高速化するOpenCLカーネルを追加。macOS、iOS、Ubuntu向けの新しいバイナリも提供します。

短信著者: Oossa公開日: 1 分で読める

ggml‑orgチームがllama.cppのバージョンb11789をリリースしました。今回のアップデートでは、ベクトル形式でアクティベーションを読み込むOpenCL向けdp4a GEMM(行列乗算)カーネルを追加し、関連するカーネル名と環境変数を変更しています。Apple Silicon、Intel搭載Mac、iOS、および複数のUbuntuビルド(CPU、Vulkan、CUDA)向けのビルド済みバイナリも公開されました。dp4a命令に対応するGPUでの性能向上を狙った変更です。

なぜ重要か

対応GPUでllama.cppをより高速に実行できるため、ローカルLLMアプリケーションの推論時間を短縮できます。

この記事は役に立ちましたか?
共有

次に読む

Oossa · ニュースレター

今週のAIを、わかりやすく

毎週月曜日、知っておきたいニュースをやさしい言葉で。無料・スパムなし。