Oossa

llama.cpp b11913、Hexagonのメモリーサイズ設定を追加

llama.cppの新リリースでは、HexagonのVTCMサイズを上書きできるようになりました。値にはK、M、Gの接尾辞を使えます。

短信著者: Oossa公開日: 1 分で読める

ggml-orgチームによるllama.cpp b11913では、Hexagonバックエンドが使用するメモリーリソース、VTCMのサイズを上書きする設定が追加されました。設定名は`GGML_HEXAGON_VTCM_SIZE`で、K、M、Gの接尾辞を指定できます。

リリースノートによると、提案されていた`NTHREADS`の上限設定は、その後取り下げられました。VTCMのデフォルトサイズや、この変更が性能に与える影響については説明されていません。

なぜ重要か

Hexagonハードウェアでllama.cppを実行するユーザーは、VTCMサイズを上書きできます。ただし、どの値を使うべきか、性能が向上するかどうかはリリースノートに記載されていません。

この記事は役に立ちましたか?
共有

次に読む

Oossa · ニュースレター

今週のAIを、わかりやすく

毎週月曜日、知っておきたいニュースをやさしい言葉で。無料・スパムなし。