Oossa

llama.cpp、HexagonのSSM_SCAN処理に対応

オープンソースライブラリのllama.cppが、Qualcomm Hexagon NPUでSSM_SCAN処理をサポート。Snapdragon搭載端末での性能向上が期待されます。

短信著者： Oossa公開日: 1 分で読める

1 件の出典 ↓

llama.cppプロジェクトは、QualcommのHexagon NPUでSSM_SCAN処理に対応する新バージョンを公開しました。今回の更新には、カーネルの最適化、DMAパイプラインの変更、HMXのサポートが含まれています。また、プラットフォーム向けビルドも拡充され、CUDA 13と、新たなSnapdragonのCPU・GPU・NPU構成が追加されました。この変更は、QualcommのMax Krasnyansky氏との共同執筆によるものです。

なぜ重要か

Hexagon NPUを搭載したSnapdragonスマートフォンで、開発者はllama.cppのモデルをより高速に実行できます。

出典と参考資料

1 件の出典
  1. llama.cpp出典の公開日: 原典を読む
発行者: OLY Europe LTD誤りを報告

Markdown

この記事は役に立ちましたか？
共有

次に読む

Oossa · ニュースレター

今週のAIを、わかりやすく

毎週月曜日、知っておきたいニュースをやさしい言葉で。無料・スパムなし。