Oossa

llama.cpp、Hexagon NPU対応のsoftplus演算を追加

オープンソースライブラリのllama.cppが、対応するAndroid端末でQualcomm Hexagon NPUを使って活性化関数softplusを実行できるようになり、性能向上が見込まれる。

短信著者: Oossa公開日: 1 分で読める

llama.cppプロジェクトは2026年10月17日、バージョンb11703を公開した。QualcommのHexagon NPU(HVX)で動作する、ベクトル化されたsoftplus関数が追加された。この新しい処理は、既存のHexagon向けexpおよびlogプリミティブを利用するため、計算結果はCPU版と同じだ。この変更は、Snapdragon CPU、Adreno GPU、Hexagon NPUに対応するAndroid arm64ビルドに含まれている。

なぜ重要か

Hexagon NPUを搭載したスマートフォンでLLM推論をより高速に実行できるようになり、llama.cppを低消費電力の用途で活用しやすくなる。

この記事は役に立ちましたか?
共有

次に読む

Oossa · ニュースレター

今週のAIを、わかりやすく

毎週月曜日、知っておきたいニュースをやさしい言葉で。無料・スパムなし。