上传一张图、主演任何视频,“性能最强动作生成模型”阿里通义万相 Wan2.2-Animate 开源

9月19日讯 阿里通义万相全新动作生成模型 Wan2.2-Animate 今日正式开源。该模型支持驱动人物、动漫形象和动物照片,可应用于短视频创作、舞蹈模板生成、动漫制作等领域。

上传一张图、主演任何视频,“性能最强动作生成模型”阿里通义万相 Wan2.2-Animate 开源

Wan2.2-Animate 模型基于此前通义万相开源的 Animate Anyone 模型全面升级,不仅在人物一致性、生成质量等指标上大幅提升,还同时支持动作模仿和角色扮演两种模式:

  • 角色模仿:输入一张角色图片和一段参考视频,可将视频角色的动作、表情迁移到图片角色中,赋予图片角色动态表现力;
  • 角色扮演:同时还可在保留原始视频的动作、表情及环境的基础上,将视频中的角色替换为图片中的角色。
上传一张图、主演任何视频,“性能最强动作生成模型”阿里通义万相 Wan2.2-Animate 开源
上传一张图、主演任何视频,“性能最强动作生成模型”阿里通义万相 Wan2.2-Animate 开源

此次,通义万相团队构建了一个涵盖说话、面部表情和身体动作的大规模人物视频数据集,并基于通义万相图生视频模型进行后训练。

Wan2.2-Animate 将角色信息、环境信息和动作等,规范到一种统一的表示格式,实现了单一模型同时兼容两种推理模式;针对身体运动和脸部表情,分别使用骨骼信号和隐式特征,配合动作重定向模块,实现动作和表情的精准复刻。在替换模式中,团队还设计了一个独立的光照融合 LoRA,用于保证完美的光照融合效果。

实测结果显示,Wan2.2-Animate 在视频生成质量、主体一致性和感知损失等关键指标上,超越了 StableAnimator、LivePortrait 等开源模型,是目前性能最强的动作生成模型,在人类主观评测中,Wan2.2-Animate 甚至超越了以 Runway Act-two 代表的闭源模型。

上传一张图、主演任何视频,“性能最强动作生成模型”阿里通义万相 Wan2.2-Animate 开源

即日起,用户可在 Github、HuggingFace 和魔搭社区下载模型和代码,也可以在阿里云百炼平台调用 API,或通义万相官网直接体验。开源地址如下:

声明:魔果智讯倡导尊重与保护知识产权。如发现本站文章存在版权等问题,烦请30天内提供版权疑问、身份证明、版权证明、联系方式等发邮件至moguoai@yeah.net!我们将及时沟通与处理。
0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索