llama.cppプロジェクトのリリースb12099では、HexagonハードウェアでLightning Indexerを利用するための初期対応が追加された。変更には、prefillとdecode向けのHMXアクセラレーション経路のほか、q8_0によるdecode時のgatheringとq4_0入力のサポートが含まれる。リリースページには、CPU、Adreno GPU、Hexagon NPUを使うSnapdragon端末向けのLinux版とAndroid版が掲載され、セットアップガイドへのリンクも用意されている。
なぜ重要か
Snapdragon端末でllama.cppを使う開発者は、新しいHexagon経路を試せる。ただし、リリースノートには性能の数値や対応モデルの詳細は記載されていない。