Oossa

llama.cpp、b11800で融合型top-kマスク処理を追加

オープンソースの推論ライブラリにQSAマスキング向けの融合演算が加わり、一部モデルの性能向上が期待される。

短信著者: Oossa公開日: 1 分で読める

ggml-orgのllama.cppプロジェクトは2026-10-21、バージョンb11800を公開した。今回の更新では、QSA、DSA、DeepSeek V4 CSAモデルで利用できる融合型top-kマスク処理(ggml_top_k_mask)が追加された。この演算は、手作業で記述していたマスキング処理を、選択されなかったセルを–infに設定する単一のノードに置き換える。ヘッド単位で動作し、任意のスコア、ブロックサイズ、追加セルにも対応する。

なぜ重要か

対応モデルのマスキング処理をライブラリが最適化された単一のステップで実行できるため、開発者はモデルをより高速に動かせる。

この記事は役に立ちましたか?
共有

次に読む

Oossa · ニュースレター

今週のAIを、わかりやすく

毎週月曜日、知っておきたいニュースをやさしい言葉で。無料・スパムなし。