DreaMoving:图片+文字提示就能生成高质量舞蹈视频

站长之家 2023-12-12 15:40:54新闻资讯
37

DreaMoving由阿里巴巴集团的一组研究人员倾力打造,一种基于扩散模型的可控视频生成框架。该框架的核心目标基于图文就能生成高质量、定制化的人类舞蹈视频。

DreaMoving以其出色的扩散模型为基础,能够根据人物的身份和姿势序列生成目标身份在任何地方跳舞的视频。

DreaMoving 可以生成高质量和高保真度的视频,给定指导序列和简单的内容描述,例如文本和参考图像作为输入。具体来说,DreaMoving 通过人脸参考图像、通过姿势序列进行精确运动操作以及由指定文本提示提示的综合视频外观控制来展示身份控制的熟练程度。

比如你“投喂”一张人像,以及一段prompt就能生成对应的视频,而且改变prompt,人物背景和身上的衣服也会跟着变化。

为实现这一目标,该技术引入了Video ControlNet和Content Guider两个关键组件。

Video ControlNet:这是一个图像ControlNet,通过在每个U-Net块后注入运动块,处理控制序列(姿势或深度)以产生额外的时间残差。这有效实现了对运动的控制。

Content Guider:该组件负责将输入文本提示和外观表达,如人脸(衣物是可选的),转换为内容嵌入,实现跨注意力的传递。

DreaMoving.png

值得一提的是,目前DreaMoving项目并没有开源代码。

项目网址:https://dreamoving.github.io/dreamoving/

论文网址:https://arxiv.org/abs/2312.05107

ai
THE END
tom
不图事事圆满 但图事事甘心。

相关推荐

Sora平替?2分钟超长AI视频模型StreamingT2V免费开源 试玩地址公布
近日,Picsart AI Research等团队联合发布了一款名为StreamingT2V的AI视频模型,该模型能够生成长达1200帧、时长达2分钟的视频,这在技术上超越了之前备受关注的Sora模型。St...
2024-04-15 新闻资讯
24

PixVerse(AI视频生成神器):保持角色一致性、百变场景
最近,视频生成神器 PixVerse 推出了新功能,让用户能够实现角色一致性换背景,解决了 AI 生成效果不一致的问题。网友展示了生成效果,角色面部基本一致,背景丰富生动。PixV...
2024-04-01 新闻资讯
61

超越Sora!AI视频模型StreamingT2V可生成120秒超长视频
近日,UT奥斯丁等机构提出的StreamingT2V技术引发了广泛关注,将AI视频生成推向了新的高度。这项技术突破了以往视频长度的限制,实现了生成高度一致且长度可扩展的视频。
2024-03-26 新闻资讯
33

OptimizerAI:可为AI视频自动配音 还将支持立体声
OptimizerAI是一款专门为视频自动生成音效的AI工具,可以通过文字提示创造出适用于各种场景的声音和音效。用户可以利用这个平台生成适用于多种应用场景的声音效果。
2024-03-11 新闻资讯
48

华人创业者推出AI视频生成工具Haiper,已融资千万美元
近日,两位华人创业者苗亦舒和王子宇联手成立的AI初创公司推出了搭载自研AI模型的视频生成工具Haiper。这两位创始人分别在牛津大学获得了机器学习方向的博士学位,拥有丰富...
2024-03-07 新闻资讯
45

Ai视频生成软件(MagicDance):轻松制作逼真的舞蹈视频
MagicDance是一款基于人工智能的Ai视频生成软件,它是一种创新而高效的方法,可以生成逼真的人类视频,实现生动的动作和面部表情转移,以及一致的2D卡通风格动画零调优生成。...
2024-01-31 新闻资讯
55