# llama.cpp、MoEモデルで専門家ごとのトークン単位スケーリングに対応

> オープンソースのllama.cppライブラリが、MoEのダウン射影をトークンごとにスケーリング。テンソル並列のサポートも改善した。

Oossa · 2026-10-21 · https://oossa.com/ja/llama-cpp-adds-per-expert-token-scaling-for-moe-models

ggml-org/llama.cppプロジェクトは2026-10-21、新バージョンを公開した。Mixture of Experts（MoE）のダウン射影に適用していた単一のグローバルスケーリング係数を、POOL_1Dによる最大値リダクションを使った、専門家ごと・トークンごとの係数に置き換えた。この変更では、分割状態の処理にPOOL_1Dを加え、テンソル並列にも対応した。コードの整理と、スケーリング結果を返す構造のリファクタリングも含まれている。

## 事実

- リリース日：2026-10-21（「Wed Oct 21 2026 08:33:35 GMT+0200」）
- 変更点：MoEのダウン射影で、専門家ごと・トークンごとのスケーリングに対応

## なぜ重要か

MoEモデルを利用する開発者は、トークンごとにより適切なスケーリングを適用できるようになり、マルチGPU環境での性能向上につながる可能性がある。

## 出典と参考資料

1. [ggml-org/llama.cpp b11785](https://github.com/ggml-org/llama.cpp/releases/tag/b11785) – llama.cpp, 2026-10-21

最終更新: 2026-10-21