Oossa

llama.cpp、MoEモデルで専門家ごとのトークン単位スケーリングに対応

オープンソースのllama.cppライブラリが、MoEのダウン射影をトークンごとにスケーリング。テンソル並列のサポートも改善した。

短信著者： Oossa公開日: 1 分で読める

1 件の出典 ↓

ggml-org/llama.cppプロジェクトは2026-10-21、新バージョンを公開した。Mixture of Experts（MoE）のダウン射影に適用していた単一のグローバルスケーリング係数を、POOL_1Dによる最大値リダクションを使った、専門家ごと・トークンごとの係数に置き換えた。この変更では、分割状態の処理にPOOL_1Dを加え、テンソル並列にも対応した。コードの整理と、スケーリング結果を返す構造のリファクタリングも含まれている。

なぜ重要か

MoEモデルを利用する開発者は、トークンごとにより適切なスケーリングを適用できるようになり、マルチGPU環境での性能向上につながる可能性がある。

出典と参考資料

1 件の出典
  1. llama.cpp出典の公開日: 原典を読む
発行者: OLY Europe LTD誤りを報告

Markdown

この記事は役に立ちましたか？
共有

次に読む

Oossa · ニュースレター

今週のAIを、わかりやすく

毎週月曜日、知っておきたいニュースをやさしい言葉で。無料・スパムなし。