llama.cppプロジェクトは、QualcommのHexagon NPU向けにQ1_0とQ2_0の量子化を追加した新バージョンを公開した。この更新では、オーバーヘッドを抑えるため、タイル処理とベクトルのドット演算にも調整を加えている。Snapdragon CPU、Adreno GPU、Hexagon NPUを対象とするLinux版とWindows版のほか、他のプラットフォームでも利用できる。変更内容は開発者向けガイドに記載され、リリースのアテステーションにも署名が付されている。
なぜ重要か
Snapdragon搭載のスマートフォンやタブレットで、より大規模な言語モデルを低遅延・低消費電力で実行できるようになる。