Oossa

llama.cpp、Hexagon NPU向けにQ1_0とQ2_0を追加

オープンソースのLLMランタイムが新たな低ビット形式に対応し、Snapdragon搭載チップでより効率よく動作する。

短信著者: Oossa公開日: 最終更新: 1 分で読める

llama.cppプロジェクトは、QualcommのHexagon NPU向けにQ1_0とQ2_0の量子化を追加した新バージョンを公開した。この更新では、オーバーヘッドを抑えるため、タイル処理とベクトルのドット演算にも調整を加えている。Snapdragon CPU、Adreno GPU、Hexagon NPUを対象とするLinux版とWindows版のほか、他のプラットフォームでも利用できる。変更内容は開発者向けガイドに記載され、リリースのアテステーションにも署名が付されている。

なぜ重要か

Snapdragon搭載のスマートフォンやタブレットで、より大規模な言語モデルを低遅延・低消費電力で実行できるようになる。

この記事は役に立ちましたか?
共有

次に読む

Oossa · ニュースレター

今週のAIを、わかりやすく

毎週月曜日、知っておきたいニュースをやさしい言葉で。無料・スパムなし。