オープンソースライブラリのllama.cppは、2026年10月16日にバージョンb11680をリリースした。今回のアップデートではHexagon NPU関連のコードを大幅に見直し、従来の回避策を削除したほか、F16/F32/BF16の重みに対するテンソル再パッキングを追加し、タイル化したQ5_Kのget-rowsとraw k-quantテンソルに対応した。また、内部カーネルの多くを整理し、CPU、CUDA、Vulkan、Hexagon対応デバイスなど、複数のバックエンドで性能を改善している。プロジェクトでは、macOS、Linux、Android、Windows、および複数のopenEuler構成向けビルドを公開している。
なぜ重要か
Hexagon搭載スマートフォンやその他の専用ハードウェアで、llama.cppのモデルをより効率的に実行できる。
