阿里可控视频生成框架DreaMoving开源

站长之家 2023-12-21 10:53:24新闻资讯
55

今天,阿里可控视频生成框架DreaMoving正式开源,从网友测试的效果来看,其对人物运动的控制还是比较理想的。

DreaMoving.jpg

据介绍,DreaMoving是基于扩散模型的可控视频生成框架,用于产生高质量定制的人类视频。DreaMoving允许用户生成具有高度自定义特征的人类视频,如在沙滩上微笑的女孩,中央公园跳舞的亚洲女孩等。

DreaMoving2.png

代码:https://github.com/dreamoving/dreamoving-project

试玩地址:https://www.modelscope.cn/studios/vigen/video_generation/summary

DreaMoving是一种可以生成高质量和高保真度视频的技术,它能够根据给定的指导序列和简单的内容描述,例如文本和参考图像作为输入,生成视频。

具体来说,DreaMoving通过人脸参考图像、通过姿势序列进行精确运动操作以及由指定文本提示提示的综合视频外观控制来展示身份控制的熟练程度。这意味着,只需要“投喂”一张人像和一段提示,就能够生成对应的视频,而且改变提示,人物背景和身上的衣服也会跟着变化。

为了实现这一目标,DreaMoving技术引入了两个关键组件:Video ControlNet和Content Guider。其中,Video ControlNet是一个图像ControlNet,通过在每个U-Net块后注入运动块,处理控制序列(姿势或深度)以产生额外的时间残差,从而有效实现了对运动的控制。而Content Guider组件则负责将输入文本提示和外观表达(如人脸,衣物是可选的)转换为内容嵌入,实现跨注意力的传递。

ai
THE END
tom
不图事事圆满 但图事事甘心。

相关推荐

AI视频生成工具(DreaMoving)的体验入口在哪?
DreaMoving是一个利用扩散模型的视频生成框架,可以根据用户的输入和指导,生成定制的高质量人类视频,如舞蹈、运动等。DreaMoving的主要优势是可以对视频的人物、动作和外观...
2023-12-27 新闻资讯
43

DreaMoving:图片+文字提示就能生成高质量舞蹈视频
DreaMoving由阿里巴巴集团的一组研究人员倾力打造,一种基于扩散模型的可控视频生成框架。该框架的核心目标基于图文就能生成高质量、定制化的人类舞蹈视频。DreaMoving以其出...
2023-12-12 新闻资讯
55

AI视频背景修改工具(DreaMoving)在哪里可以使用
DreaMoving是一款基于扩散模型的视频生成工具,可用于生成高保真度的定制人类舞蹈视频。用户只需提供目标人物的身份信息和舞蹈动作序列,DreaMoving 即可根据这些信息生成一个...
2023-12-12 新闻资讯
20

开源视频生成模型(LaVie):一款文本到视频生成框架
LaVie是一款先进的文本到视频生成框架,为用户提供了强大的视频生成工具。通过采用级联潜在扩散模型,LaVie能够生成高质量、逼真的视频内容。用户可以轻松地通过各种文本提示...
2023-12-04 新闻资讯
110