MicrosoftのAI研究チームは、2兆パラメーターの基盤モデル「MAI-Base-2」を発表した。Mixture-of-experts（MoE）アーキテクチャを採用し、プロンプトごとに有効化するニューロンは800億個に限られるため、社内テストではハードウェア効率が最大12倍向上したという。モデルは、視覚データを含む50兆トークンのデータセットを使い、16,000基のNvidia GB200チップで38日間かけて訓練された。MicrosoftはAzure経由で信頼できるパートナーにモデルの重みをライセンス供与し、これを基盤に後続のLLMを開発する。
なぜ重要か
Azure経由で利用できる開発者は、計算資源の消費を抑えながら、より高性能なAIサービスを構築できる可能性がある。
