AI领域的新速度之王Samba-1 Turbo:每秒1084 个token

5月29日讯  AI芯片厂商SambaNovaAI最新推出的AI芯片Samba-1Turbo表现出色,被称为AI领域的新速度之王。据外部机构Artificial Analysis独立测试结果显示,Samba-1Turbo在Llama3Instruct(8B)上的输出速度达到每秒1,084个token,创下了目前为止最快的记录。这一速度比MetaAI的Llama3Instruct(8B)API提供商的中位速度快8倍以上,甚至超越了之前推理速度最快的Groq。

Samba-1Turbo芯片是SambaNova的第四代设计,采用台积电的5nm工艺制造,具有支持更大模型的潜力,例如Llama3400B+。Artificial Analysis还验证了在Samba-1Turbo上运行的Llama3Instruct(8B)通过MMLU基准测试,质量得分与全FP16精度一致。

Samba-1Turbo的出现引发了业界的关注和讨论,被称为AI领域的新宠。该款AI芯片的性能表现令人惊叹,有望为人工智能应用带来全新的发展可能性。AI领域的竞争愈发激烈,Samba-1Turbo的问世必将为SambaNovaAI赢得更多市场份额。

SambaNova 目前尚未公开提供无服务器 API,但您可以通过他们的聊天界面试用他们的系统。

获取官方体验地址:https://fast.snova.ai/

AI领域的新速度之王Samba-1 Turbo:每秒1084 个token
声明:魔果智讯倡导尊重与保护知识产权。如发现本站文章存在版权等问题,烦请30天内提供版权疑问、身份证明、版权证明、联系方式等发邮件至moguoai@yeah.net!我们将及时沟通与处理。
0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索