ggml-orgチームによるllama.cpp b11913では、Hexagonバックエンドが使用するメモリーリソース、VTCMのサイズを上書きする設定が追加されました。設定名は`GGML_HEXAGON_VTCM_SIZE`で、K、M、Gの接尾辞を指定できます。
リリースノートによると、提案されていた`NTHREADS`の上限設定は、その後取り下げられました。VTCMのデフォルトサイズや、この変更が性能に与える影響については説明されていません。
なぜ重要か
Hexagonハードウェアでllama.cppを実行するユーザーは、VTCMサイズを上書きできます。ただし、どの値を使うべきか、性能が向上するかどうかはリリースノートに記載されていません。