llama.cpp b12094、Hexagonのtop-kサンプリングを高速化

llama.cppの新バージョンでは、Hexagon向けtop-kサンプリングを変更。スキャンで候補外のブロックのソートを省く。速度向上の数値は公表されていない。

短信著者： OossaOossa公開日: 2026年11月4日 3:12 UTC1 分で読める

ggml-orgチームは2026年11月4日、Hexagonバックエンド向けにtop-kサンプリングを高速化したllama.cpp b12094を公開した。top-kサンプリングは、テキスト生成時にスコア上位の候補から選択する方式だ。

この変更は、kが2〜64で、行の幅が1,024エントリーを超える場合を対象とする。上位候補を含まないブロックのソートを省くが、リリースでは速度向上の測定値は示されていない。

なぜ重要か

対応するHexagonハードウェアでllama.cppを実行するユーザーは、こうした処理でより効率的なサンプリング方法を利用できる。ただし、実際の使用時にどれほど高速化するかは公表されていない。

1 件の出典

この記事は役に立ちましたか？

Oossa · ニュースレター

今週のAIを、わかりやすく

毎週月曜日、知っておきたいニュースをやさしい言葉で。無料・スパムなし。