谷歌发布视频生成模型(Lumiere)：运动幅度和一致性表现良好

Lumiere是谷歌发布的第三个视频生成模型，这次的模型演示视频质量非常高，运动幅度和一致性表现也很好。除了视频生成，该模型还支持各种视频编辑和生成控制能力。

Lumiere 是一款先进的模型，专门用于将文本转换为视频，这在视频合成领域是一大挑战。为了实现这一目标，谷歌采用了一种创新的空间-时间 U-Net 架构。

项目地址:https://huggingface.co/papers/2401.12945

这种架构能够一次性完成整个视频时长的生成，与传统视频模型不同。传统模型通常是先合成关键的远程帧，然后通过时间上的超级分辨率技术来处理，这种方法难以保持视频的全局时间连贯性。

Lumiere 通过在空间和关键的时间维度进行上下采样，并利用预先训练好的文本到图像扩散模型，使得该模型能够直接生成全帧率、低分辨率的视频，并且在多个空间-时间尺度上进行处理。

该模型在将文本转换成视频方面取得了领先成果，并证明了该设计能够轻松应用于各种内容创作和视频编辑任务，包括将图像转换为视频、视频修补和风格化视频创作。