微软发布2万亿参数基础模型 MAI-Base-2

微软人工智能研究团队发布了拥有2万亿参数的基础模型 MAI-Base-2。该模型采用混合专家（MoE）架构，每次提示仅激活800亿个神经元；根据微软的内部测试，其硬件效率最高可提升12倍。该模型使用50万亿个 token 的数据集（包含视觉数据）进行训练，训练历时38天，动用了16,000块 Nvidia GB200 芯片。微软将通过 Azure 向可信合作伙伴授权模型权重，并将在此基础上构建下游大语言模型。