混合エキスパートとは？

混合エキスパート（MoE）

ネットワークを多数の「エキスパート」に分け、単語ごとに一部だけを使う設計。大きなモデルを安く動かせます。