Oossa

llama.cpp b12099、Hexagon Lightning Indexerに対応

HexagonハードウェアでLightning Indexerを利用する初期対応を追加。prefillとdecode向けのHMX経路も含まれる。

短信著者: Oossa公開日: 1 分で読める

llama.cppプロジェクトのリリースb12099では、HexagonハードウェアでLightning Indexerを利用するための初期対応が追加された。変更には、prefillとdecode向けのHMXアクセラレーション経路のほか、q8_0によるdecode時のgatheringとq4_0入力のサポートが含まれる。リリースページには、CPU、Adreno GPU、Hexagon NPUを使うSnapdragon端末向けのLinux版とAndroid版が掲載され、セットアップガイドへのリンクも用意されている。

なぜ重要か

Snapdragon端末でllama.cppを使う開発者は、新しいHexagon経路を試せる。ただし、リリースノートには性能の数値や対応モデルの詳細は記載されていない。

この記事は役に立ちましたか?
共有

次に読む

Oossa · ニュースレター

今週のAIを、わかりやすく

毎週月曜日、知っておきたいニュースをやさしい言葉で。無料・スパムなし。