Adobe发布视频模型(ActAnywhere):可根据主体运动生成背景

站长之家 2024-01-22 14:45:14新闻资讯
53

Adobe今日发布了全新的视频模型ActAnywhere。这一模型可以根据前景主体的运动和外观,为电影和视觉特效社区生成视频背景。

ActAnywhere模型通过引入跨帧注意力进行时间推理,将用户的创意想法快速地融入到动态的虚拟场景中。模型的训练数据集包含240万个包含人类与场景交互的视频,并通过自监督的方式进行训练。

ActAnywhere.png

项目地址:https://actanywhere.github.io/

ActAnywhere模型的关键之处在于其3D U-Net采用一系列前景主体分割以及蒙版作为输入,并以描述背景的帧作为条件。在训练过程中,通过从训练视频中随机采样的帧作为条件来进行去噪过程。

在测试时,条件可以是主体与新背景的混合帧,也可以是仅背景的图像。通过Adobe Firefly生成的组合帧展示了视频背景生成的效果,这些组合帧是通过ChatGPT4生成的文本提示或手动书写的。

评估结果表明,ActAnywhere能够生成具有高度真实感的前景与背景互动、相机运动、光影效果的视频,并能够推广到分布于训练数据之外的样本,包括非人类主体。

这一新模型提供了一个简单且高效的方式,将任意主体放置于多样的场景中,为电影制作和视觉特效等领域提供了有价值的工具。

Adobe的ActAnywhere模型为用户创造出了无限的可能性,使得他们能够轻松地将自己的创意想法转化为具有高度真实感的视频作品。这将对电影和视觉特效领域产生深远的影响,为行业带来全新的发展机遇。

adobe
THE END
蜜芽
故事不长,也不难讲,四字概括,毫无意义。

相关推荐

MIMO:阿里巴巴智能研究院开源的多功能可控视频合成模型
MIMO 是阿里巴巴集团智能计算研究院开源的一种用于可控视频合成的通用模型,其核心思想是将2D视频编码为紧凑的空间代码,并考虑视频发生的固有3D特性。通过这种编码方式,MIM...
2024-11-10 新闻资讯
139

Adobe Express 应用全新升级,AI 驱动的创作工具让设计更简单
Adobe公司于10月9日发布博文,宣布对Express应用进行重大更新,旨在改善Creative Cloud集成,加速和扩展企业创作品牌内容,提升团队、机构和合作伙伴之间的协作效率。Adobe E...
2024-10-12 新闻资讯
124

Photoshop重大更新!集成Adobe Firefly Image 3 Model 图像灵活度提升
Adobe Photoshop迎来了一次重大更新,通过集成Adobe Firefly Image3Model,引入了多项新的AI功能,这些功能大幅提升了图像编辑的深度与灵活性。这次的更新不仅优化了图像生成...
2024-04-24 新闻资讯
41

Adobe推出PDF阅读AI助手,订阅价4.99美元/月起
大部分的研究、财务信息、服务术语等数据每天都存储在 PDF 文档中。但要高效、可靠地解析它们可能是耗时的。Adobe最新推出的 AI 助手旨在解决用户处理 PDF 文件的难题。该 AI...
2024-04-16 新闻资讯
40

​Adobe图像生成AI “Firefly” 训练集中约有5%为AI图像
据报道,Adobe 的图像生成 AI “Firefly” 以其训练集来源自 Adobe Stock 中的图片和视频而闻名。然而,美国经济报纸彭博社报道称,Firefly 的数据集实际上包含由 Midjourney...
2024-04-15 新闻资讯
47

Sora平替?2分钟超长AI视频模型StreamingT2V免费开源 试玩地址公布
近日,Picsart AI Research等团队联合发布了一款名为StreamingT2V的AI视频模型,该模型能够生成长达1200帧、时长达2分钟的视频,这在技术上超越了之前备受关注的Sora模型。St...
2024-04-15 新闻资讯
59