VideoPoet是什么?
VideoPoet是Google发布的基于大语言模型(LLM)来实现视频生成的模型,之前主流视频生成模型如Stable Video Diffusion和Video Diffusion都是采用扩散架构,但VideoPoet是基于大语言模型(LLM)来实现视频生成的,即采用LLM的自回归架构。VideoPoet的一个特色是它将许多视频生成能力无缝集成到一个LLM中。
下图展示了VideoPoet的能力,它可以实现文本生成视频,图像生成视频,视频风格化,视频的inpainting和outpainting以及视频转语音。

了解更多详情,请前往谷歌官方介绍