llama.cpp、HexagonのFlash Attention分割方式を変更

リリースb11868でHexagonのFlash Attention用分割フラグを統合。KVヘッドが利用可能なコア数に満たない場合は、チーム分割も追加された。

短信著者： OossaOossa公開日: 2026年10月24日 20:41 UTC1 分で読める

ggml-org/llama.cppのリリースb11868では、HexagonのマルチコアHMX Flash Attentionの処理方法が変更された。従来の個別設定`FA_HEAD_SPLIT`と`FA_SPLIT`に代わり、フラグ`GGML_HEXAGON_FA_SPLIT`が1つ設けられた。

このフラグを1にすると、KVヘッド間で処理を分割できる。KVヘッド数がコア数を下回る場合は、チーム間でも分割し、それまで使われていなかったコアも処理に参加できる。リリースでは、4コアでKVヘッドが2つのGemma 4が例として挙げられている。

なぜ重要か

Hexagon搭載ハードウェアでllama.cppを実行するユーザーにとって、この変更はモデルのKVヘッド数がコア数を下回る場合にも各コアを処理に参加させることを目的としている。リリースノートには、速度向上の定量的な数値は示されていない。

1 件の出典

この記事は役に立ちましたか？

Oossa · ニュースレター

今週のAIを、わかりやすく

毎週月曜日、知っておきたいニュースをやさしい言葉で。無料・スパムなし。