亚马逊 AWS 将部署 Cerebras 晶圆级 AI 芯片 CS-3,与自家 Trainium 配套使用

3月16日讯 亚马逊 AWS 与晶圆级 AI 芯片企业 Cerebras 美国当地时间本月 13 日宣布,亚马逊的 Amazon Bedrock 平台在未来数月将部署结合双方芯片产品的混合 AI 推理系统,带来最快的负载处理速度。

这一解决方案将结合 Cerebras 的 CS-3 系统、亚马逊 AWS 的 Trainium 芯片和亚马逊 AWS 的 EFA 弹性网络适配器,由 Trainium 芯片负责推理的预填充(提示处理),而 CS-3 则承担解码(输出生成任务),两者通过 EFA 连接在一起。

亚马逊 AWS 将部署 Cerebras 晶圆级 AI 芯片 CS-3,与自家 Trainium 配套使用

据悉,推理预填充属于并行工作负载,要求大算力和适中的内存带宽;推理解码本质上是串行的,算力要求较小但内存带宽要求高。组合使用 Trainium 和 CS-3 能发挥两款 AI 芯片各自的长处,提供最佳的最终用户体验。

声明:魔果智讯倡导尊重与保护知识产权。如发现本站文章存在版权等问题,烦请30天内提供版权疑问、身份证明、版权证明、联系方式等发邮件至moguoai@yeah.net!我们将及时沟通与处理。
0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索