微软完成 SOTA 基模 MAI-Base-2 预训练,性能强于所有参测开源权重模型

10月16日讯 Microsoft(微软)当地时间昨日宣布,其已经完成了新一代 SOTA 基础模型 MAI-Base-2 的预训练工作。这一模型在性能方面强于所有参测开源权重模型。

MAI-Base-2 总参数规模达 2.8T,活跃参数规模 80B,在 6,000 个 NVIDIA GB200 GPU 上历经 38 天训练而成。在整个训练过程中,该模型平均浮点算力利用率为 21%、有效吞吐量为 89%。

根据微软的说法,MAI-Base-2 的预训练算力效率是 DeepSeek-V4-Pro-Base 的 4~12 倍。

微软表示,三项举措对于 MAI-Base-2 的成功预训练尤为重要:科学规模化、模型-基础设施协同设计、数据规模化。在完善 MAI-Base-2 的同时,这家科技巨头已启动 MAI-Base-3 的准备工作。

声明:魔果智讯倡导尊重与保护知识产权。如发现本站文章存在版权等问题,烦请30天内提供版权疑问、身份证明、版权证明、联系方式等发邮件至moguoai@yeah.net!我们将及时沟通与处理。
0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
❯
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索