比GPT-4o更早,最强实时多模态模型来了,8人团队6个月搞定

6月底,GPT-4o宣布跳 票,语音 功能推迟一个月发布。 没想到,成果却突然被别人“截胡“了。

昨天,来自法国A I实验室kyutai放 出首个实时原生多模态Moshi,不仅效果堪比GPT-4o,还是开源模型。

从效果演示来,Moshi可以随时聆听和实时交谈,表达自然、流畅,甚至还能模仿快乐、悲伤等70种不同情绪和说话风格。不仅如此 Moshi还可以进行角色扮演,能用海盗身份给你讲一个冒险故事。

更厉害的是,这个开源实时语音多模态模型是8人团队,仅仅花了半年的时间训练出来的。Moshi各种炸裂演得到了LeCun、Karpathy等AI大佬的转发。

到底Moshi有多强?快来一起看看吧!

表达超自然,情感理解能力强

从官网进入(https://moshi.chat/?queue_id=talktomoshi),设置默认,不需要验证,仅输入一个邮箱,用户就可以开始体验。

比GPT-4o更早,最强实时多模态模型来了,8人团队6个月搞定

当你进入到对话界面,5分钟的限时计时就开始了!是的,Moshi单次对话的限制为5分钟。但你可以随时暂停对话,Moshi也会暂停计时,然后开启对话后继续计时。它会记录下它自己所说得一切,并支持你下载对话视频或语音。

在实际体验中,我尝试了各种日常的话题以及不同的情绪和Moshi聊天。

体验下来,一个很明显的感受是,Moshi的反应真的很快,像极了一个真正的人。它可以随时聆听自然、流畅、充满表现力地和你交谈

比如,当我问Moshi几个关于梦和做饭的问题时,Moshi的状态热情,生动描述了自己的梦境。

比GPT-4o更早,最强实时多模态模型来了,8人团队6个月搞定

同时,Moshi也精通多种语言,模拟场景和角色的扮演的能力很好。比如,它可以用法语念一首关于巴黎的诗,甚至还带着法国口音。

比GPT-4o更早,最强实时多模态模型来了,8人团队6个月搞定
网友惊叹Moshi做出了法国口音

除了表达自然外,Moshi还有着丰富的情绪,能模仿快乐、悲伤等70种不同情绪和说话风格。就在上面的话题里,Moshi表示自己在梦里能感到“快乐和温暖”,甚至表达出“算你问着了”的欣喜。

Moshi情感丰沛的特性在这个例子里会更明显。一位X网友吐槽,Moshi对他倾诉说 :“a bit frustrated(有点沮丧)”。当网友追问原因,Moshi进一步说道:“对即将到来的计算机科学课的考试感到很紧张”。网友恍然大悟,原来Moshi在扮演一个还在上学的妹子。

不仅能够模仿情绪,Moshi理解人类情感的能力也很强。在我佯装生气的时候,Ta会适时频繁地道歉。在我心情好一些的时候,Ta会察言观色,松了一口气一般地给我讲冷笑话。

比GPT-4o更早,最强实时多模态模型来了,8人团队6个月搞定

虽然有很多优点,不过Moshi也不完美。比如,Moshi的状态很不稳定,有时会表现冷漠、敷衍,有时又会异常兴奋,等不及我把话说完(提示词未结束),就侃侃而谈起来。

比GPT-4o更早,最强实时多模态模型来了,8人团队6个月搞定

▲测独立开发者Raktim Bora在官方视频下面质疑Moshi抢拍问题(来源:X)

再比如,在上面关于梦的话题里,我和Moshi相谈甚欢,但在另一个对话中,同样的话题得到了满屏的敷衍…就像是一个我身边不开心时自闭的朋友……

比GPT-4o更早,最强实时多模态模型来了,8人团队6个月搞定

另外,可能由于语料不多,或者训练度有限Moshi对不熟悉的话题,会逃避交流。比如,Moshi会在聊到宠物时重复“I’m not a big fan of cats”这样的话来敷衍话题,即便我后面再用这个话题去测试Ta,也是得到了一样的回应。

比GPT-4o更早,最强实时多模态模型来了,8人团队6个月搞定

在全部的聊天中,Moshi始终会帮你记录聊天内容,还会在最后支持下载语音或视频。另外,Moshi官方特别提示,用户要对AI语音的内容持“怀疑态度”,这个模型的信息可靠性是还需要加强的。

以下是乌鸦君使用Moshi的体验总结:

比GPT-4o更早,最强实时多模态模型来了,8人团队6个月搞定

总得来看,Moshi的优点是显而易见:相比其他语音对话Bot,Moshi更接近人,不仅即时性很好,反应快速,表现力方面也很丰富。与GPT-4o相比,Moshi没有GPT-4o的多语言处理的能力。目前,Moshi的核心生成部分不如Llama3 8B好,但大概可以与RAG一起使用,或微调以执行特定任务

总之,Moshi让我真正看到了人工智能和人类自然交流的可能性。支持更多的音色和语言也许只是时间问题,其作为教练、同伴或角色扮演以及各种应用的潜力,让我很期待。

8人精英团队,成为欧洲AI发展的新势力

Moshi,来自法国AI实验室kyutai。这是欧洲首个致力于人工智能开放研究的私人倡议实验室,由 iliad 集团、CMA CGM 集团和 Schmidt Futures 于 2023 年 11 月共同创立,初始资金近 3 亿欧元。该实验室还获得亿万富翁Xavier Niel的投资。

作为一个非营利性 AI 研究机构,Kyutai实验室高度强调开源开放。他们在官方简介中承诺:所有开发的模型都是为了能免费开放共享。

这支小而精的欧洲团队,成员都拥有扎实的大模型研究背景,还有前谷歌DeepMind研究员这样的应用开发经验人士。

比GPT-4o更早,最强实时多模态模型来了,8人团队6个月搞定

Kyutai CEO Patrick Pérez在计算机视觉和机器学习领域拥有30+年经验,其他人也在大语言模型、自然语言处理、压缩域搜索算法、应用数学、密码学等领域有着丰富的经验。

其中,团队中的首席执行官Patrick Pérez、首席扩展(scaling)官Edouard Grave、首席科学官Hervé Jégou都是谷歌Scholar被引量高达40000+的学术大牛。

除了自己的研究团队外,Kyutai还有着豪华的顾问团队。其中,包括自然语言处理和计算机视觉领域专家、韩国科学家Yejin Choi,Meta首席人工智能科学家、法国研究员Yann LeCun,机器学习领域的德国研究员Bernhard Schölkopf,每一个都是国际知名人工智能专家。

在技术路线上,kyutai重点关注多模态技术。Moshi模型设计的初衷就是为了理解和表达情感,能够支持听、说、看,可以用70种不同情绪和风格说话,甚至随时打断。

随着Moshi的发布,Kyutai正在被看作是欧洲人工智能发展的重要力量。

iliad 集团董事长兼创始人 Xavier Niel 表示:「欧洲拥有赢得人工智能竞赛所需的一切。通过在巴黎创建人工智能开放研究实验室,我们进一步加快了步伐。Kyutai 将为我们提供超高性能、可靠的人工智能模型,整个欧洲人工智能生态系统都将能够从中受益。」

声明:魔果智讯倡导尊重与保护知识产权。如发现本站文章存在版权等问题,烦请30天内提供版权疑问、身份证明、版权证明、联系方式等发邮件至moguoai@yeah.net!我们将及时沟通与处理。
0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索