ggml-orgチームがllama.cpp b11345をリリースし、Hexagonでq2_kとq3_kの量子化方式を利用できるようになった。量子化は、モデルデータをより少ないビット数で保存する方法だ。リリースノートには、どのデバイスやモデルでメリットが得られるのか、また性能がどう変わるのかは記載されていない。
このリリースでは、macOS、iOSのほか、CPU版やVulkan版を含む複数のLinux構成向けビルドもダウンロードできる。
なぜ重要か
対応するHexagonハードウェアでllama.cppを使っているユーザーは、q2_kまたはq3_kで量子化されたモデルを利用できる可能性がある。ただし、リリースノートには対応デバイスや性能への影響は明記されていない。
