Pix2Video:基于预训练的视频编辑工具

站长之家 2023-11-30 12:10:06新闻资讯
21

Pix2Video是一项基于预训练的图像扩散模型的视频编辑工具,致力于实现文本引导的编辑,无需繁琐的训练或微调。该方法通过自注意力特征注入,在每个扩散步骤中注入前一帧的特征,以确保编辑后的视频外观连贯一致,解决了编辑过程中可能出现的外观变化问题。

此外,为提高算法的时间稳定性,引入了潜在更新机制,通过能量函数增强一致性,有效减少了时间闪烁的影响。

Pix2Video.png

项目地址:https://huggingface.co/spaces/fffiloni/Pix2Pix-Video

大规模图像生成扩散模型在静态图像生成方面表现出色,但在处理视频编辑时面临挑战。为了应对这一挑战,Pix2Video采用了深度条件稳定扩散模型,通过对每帧进行深度预测,并将其作为模型的额外输入,以捕捉运动动态和几何变化。

自注意力特征注入是该方法的关键步骤,通过在解码器层执行特征注入,确保在保持外观一致性的同时避免高频结构变化。此外,为提高时间稳定性,潜在更新机制通过额外的指导来更新隐变量,通过能量函数增强一致性,降低了时间闪烁的影响。

Pix2Video的实验证明了其方法的有效性,并与四种不同的先前工作进行了比较,证明了文本引导的视频编辑是可能的,无需复杂的预处理或视频个性化微调。该研究为实时互动视频编辑领域提供了一种创新方法,具有潜在的应用前景。

视频编辑工具
THE END
tom
不图事事圆满 但图事事甘心。

相关推荐

微软视频编辑工具(Clipchamp)上线 AI 新功能:快速清理无声部分内容
4 月 19 日消息,微软公司今天发布新闻稿,旗下的视频编辑工具 Clipchamp 正式上线 Silence Removal 新特性,可以通过 AI 筛选出音轨中的无声部分。Clipchamp 用户只需点击应...
2024-04-19 新闻资讯
37

视频编辑工具(Fairy):通过自然语言即可转换风格
Fairy是由Meta GenAI开发的一个视频编辑工具,它可以通过自然语言指令对视频进行编辑,包括风格转换和物体或角色变换等。该工具的速度非常快,能够在14秒内生成120帧的512x38...
2023-12-25 新闻资讯
21