MagicDance:基于扩散的人体运动传递框架生成逼真舞蹈视频

站长之家 2024-01-02 11:18:07新闻资讯
15

近年来,计算机视觉领域的关键突破之一是MagicDance框架的问世,这是一种基于扩散的模型,旨在彻底改变人体运动传递。MagicDance框架通过两阶段训练策略,聚焦于人体动作解缠和外观因素,为特定目标身份生成逼真的人类舞蹈视频,成为计算机视觉和人工智能领域的新秀。

MagicDance.jpg

在计算机视觉领域,人体运动转移一直是一个极具挑战性的任务。虽然现代模型在分析实时场景中的面部特征和物体方面已经取得了显著进展,但人体运动转移依然是一个巨大的挑战。这一任务要求将面部和身体运动从源图像或视频重新定位到目标图像或视频,涉及到复杂的姿势序列和面部表情。

MagicDance框架的独特之处在于其专注于舞蹈视频生成,通过将2D人类面部表情和动作转移到具有挑战性的人类舞蹈视频中,实现了高度逼真的效果。MagicDance采用了稳定扩散模型,结合外观控制和姿势控制,以实现精准而有效的图像到运动传递。该框架在两阶段训练过程中关注外观解缠和肤色、面部表情、服装等外观因素,使其能够生成既逼真又具有原始身份信息的舞蹈视频。

MagicDance2.jpg

通过在TikTok数据集上进行预训练,MagicDance框架展现了卓越的泛化能力和高质量的生成结果。在外观和运动方面的泛化性表现使得MagicDance框架不仅在复杂的运动序列中表现出色,而且在不同人类身份和面部表情下也能够保持高水准的逼真性。与现有框架相比,MagicDance框架在Face-Cos得分等指标上实现了明显的提升,表明其在保存身份信息和生成逼真舞蹈视频方面具有显著的优越性。

MagicDance3.jpg

然而,MagicDance框架也面临一些挑战,如在复杂场景中面部标志和姿势骨架检测方面的困难,可能导致生成图像中的伪影。尽管存在一些局限性,MagicDance框架仍然在人体运动传递和舞蹈视频生成领域取得了显著进展,为计算机视觉和人工智能领域带来了新的可能性。

项目地址:https://github.com/Boese0601/MagicDance

计算机视觉
THE END
tom
不图事事圆满 但图事事甘心。

相关推荐

Ai视频生成软件(MagicDance):轻松制作逼真的舞蹈视频
MagicDance是一款基于人工智能的Ai视频生成软件,它是一种创新而高效的方法,可以生成逼真的人类视频,实现生动的动作和面部表情转移,以及一致的2D卡通风格动画零调优生成。...
2024-01-31 新闻资讯
55

DreaMoving:图片+文字提示就能生成高质量舞蹈视频
DreaMoving由阿里巴巴集团的一组研究人员倾力打造,一种基于扩散模型的可控视频生成框架。该框架的核心目标基于图文就能生成高质量、定制化的人类舞蹈视频。DreaMoving以其出...
2023-12-12 新闻资讯
37

字节跳动开源MagicAnimate:照片秒变真人舞蹈视频
从今天起,在社交平台上看到的小姐姐舞蹈短视频很可能就是AI生成的。字节跳动新开源基于SD1.5的MagicAnimate,它只需要一张照片和一组动作,就能生成近似真人的舞蹈视频。
2023-12-05 新闻资讯
108