Oossa

llama.cpp、b11786でCPU向けGELUカーネルを高速化

オープンソースのLLM実行環境がCPUの演算処理を更新し、ルックアップテーブルを使わずにGELU関数をフル精度で計算できるようになった。

短信著者: Oossa公開日: 1 分で読める

ggml-org/llama.cppプロジェクトは2026-10-21、バージョンb11786をリリースした。このアップデートでは、f32のgelu_quick関数とgeglu_quick関数を直接計算する新しいCPUカーネルが追加され、fp16のルックアップテーブルが不要になった。これらのカーネルのテストも追加され、従来のinf/nanテストケースは削除された。macOS、iOS、複数のLinuxディストリビューション向けのビルド済みバイナリもダウンロードできるようになった。

なぜ重要か

新しいカーネルは処理の遅いルックアップテーブルを使わないため、開発者はCPU上でLLMをより高速に実行できる。

この記事は役に立ちましたか?
共有

次に読む

Oossa · ニュースレター

今週のAIを、わかりやすく

毎週月曜日、知っておきたいニュースをやさしい言葉で。無料・スパムなし。