AMD 发布首个 10 亿开源 AI 模型 OLMo,用 Instinct MI250 GPU 集群训练而成

11月8日讯 AMD 公司于 10 月 31 日发布博文,宣布推出首个完全开放的 10 亿参数语言模型系列 AMD OLMo,为开发者和研究人员提供强大的 AI 研究工具。

AMD OLMo 模型使用从零开始训练的 10 亿参数语言模型系列(LMs),在 AMD Instinct™ MI250 GPU 集群上训练,使用了超过 1.3 万亿个 tokens 进行预训练,让模型在处理自然语言任务时具有强大的推理能力。

援引新闻稿,OLMo 模型采用解码器(decoder-only)架构,并通过下一个标记预测(next-token prediction)进行训练,这种架构在生成文本和理解上下文方面表现出色。

AMD 发布首个 10 亿开源 AI 模型 OLMo,用 Instinct MI250 GPU 集群训练而成

与其他同类开源模型相比,AMD OLMo 在推理能力和聊天能力上表现优异。尤其是在多个基准测试中,其性能与最新的 OLMo 模型相当,且计算预算仅为其一半。

AMD 发布首个 10 亿开源 AI 模型 OLMo,用 Instinct MI250 GPU 集群训练而成
AMD 发布首个 10 亿开源 AI 模型 OLMo,用 Instinct MI250 GPU 集群训练而成
AMD 发布首个 10 亿开源 AI 模型 OLMo,用 Instinct MI250 GPU 集群训练而成
AMD 发布首个 10 亿开源 AI 模型 OLMo,用 Instinct MI250 GPU 集群训练而成

OLMo 除数据中心使用外,更支持配备 NPU(Neural Processing Unit,神经处理单元)的 AMD Ryzen AI PC 能够部署模型,使开发者能在个人设备提供 AI 功能。

AMD OLMo 是完全开源的,这意味着其他开发者和公司可以自由使用和修改这些模型,这让其成为希望探索 AI 技术替代方案的企业的一个可行选择。

声明:魔果智讯倡导尊重与保护知识产权。如发现本站文章存在版权等问题,烦请30天内提供版权疑问、身份证明、版权证明、联系方式等发邮件至moguoai@yeah.net!我们将及时沟通与处理。
0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索