谷歌发布视频生成模型(Lumiere):运动幅度和一致性表现良好

站长之家 2024-01-24 15:43:41新闻资讯
12

Lumiere是谷歌发布的第三个视频生成模型,这次的模型演示视频质量非常高,运动幅度和一致性表现也很好。除了视频生成,该模型还支持各种视频编辑和生成控制能力。

Lumiere 是一款先进的模型,专门用于将文本转换为视频,这在视频合成领域是一大挑战。为了实现这一目标,谷歌采用了一种创新的空间-时间 U-Net 架构。

Lumiere.png

项目地址:https://huggingface.co/papers/2401.12945

这种架构能够一次性完成整个视频时长的生成,与传统视频模型不同。传统模型通常是先合成关键的远程帧,然后通过时间上的超级分辨率技术来处理,这种方法难以保持视频的全局时间连贯性。

Lumiere 通过在空间和关键的时间维度进行上下采样,并利用预先训练好的文本到图像扩散模型,使得该模型能够直接生成全帧率、低分辨率的视频,并且在多个空间-时间尺度上进行处理。

该模型在将文本转换成视频方面取得了领先成果,并证明了该设计能够轻松应用于各种内容创作和视频编辑任务,包括将图像转换为视频、视频修补和风格化视频创作。

谷歌
THE END
tom
不图事事圆满 但图事事甘心。

相关推荐

站长工具网:浅谈百度和谷歌SEO优化的区别
搜索引擎优化(SEO)是提升网站流量和提高品牌知名度的重要手段。然而,不同的搜索引擎有着不同的算法和偏好,导致在优化策略上存在显著差异。本文站长工具网将深入探讨百度和...
2024-07-01 站长之家
111

谷歌宣布不再信任Entrust新证书,加强Chrome用户隐私与安全
谷歌公司宣布自今年11月起,其浏览器Chrome将不再信任证书颁发机构(CA) Entrust颁发的新证书。此举是对Entrust过去几年中一系列令人担忧的行为的回应,这些行为未能满足谷歌对...
2024-07-01 新闻资讯
73

谷歌即将对搜索结果页面进行更新:取消无限滚动
据《Search Engine Land》报道,谷歌公司即将对其搜索结果页面进行重要更新,取消自2021年10月起在移动设备上推出的无限滚动功能。该功能允许用户在浏览搜索结果时,自动加载...
2024-06-27 新闻资讯
66

Runway发布新一代视频生成模型Gen-3 Alpha,引领内容创作新浪潮
近日,专注于为电影和图像内容创作者提供创新工具的Runway公司宣布,其最新研发的Gen-3 Alpha视频生成模型已正式亮相。这一突破性技术在视频生成速度和质量上实现了显著提升,...
2024-06-19 新闻资讯
57

谷歌站长工具(Google Search Console)注册及使用方法图文教程
谷歌站长工具(Google Search Console)是一个强大的免费服务,它可以帮助您监控和优化您的网站在Google搜索结果中的表现。通过这个工具,您可以分析网站的搜索流量、优化网站...
2024-06-18 站长之家
192

5个谷歌SEO优化技巧,提升你的网站排名!
在互联网时代,搜索引擎优化(SEO)对于任何在线业务都至关重要。尤其是谷歌作为全球最大的搜索引擎,优化你的网站以符合谷歌的算法和标准,可以显著提高你的在线可见性、吸引更...
2024-05-31 站长之家
68