Oossa

llama.cpp、量子化モデル向けOpenCL DP4Aカーネルを追加

オープンソースのLLaMA推論ライブラリが、q4_0、q4_k、q6_k形式に対応するcooperative-k DP4A GEMMを追加しました。

短信著者: Oossa公開日: 1 分で読める

ggml-org/llama.cppプロジェクトは2026-10-19、バージョンb11741をリリースしました。3種類の量子化形式(q4_0、q4_k、q6_k)の行列乗算を高速化する、DP4A命令を利用した新しいOpenCLカーネルが追加されています。また、アライメントの問題を修正し、macOS(Apple SiliconおよびIntel)と、Vulkanビルドを含む複数のUbuntu環境向けに、ビルド済みバイナリを同梱しました。

なぜ重要か

OpenCL対応GPUでLLaMAモデルをより高速に実行できるようになり、ローカル推論がより実用的になります。

この記事は役に立ちましたか?
共有

次に読む

Oossa · ニュースレター

今週のAIを、わかりやすく

毎週月曜日、知っておきたいニュースをやさしい言葉で。無料・スパムなし。