百度推出视频生成模型UniVG 可处理各种文本和图像的组合输入

站长之家 2024-01-19 10:31:09新闻资讯
36

百度推出的UniVG是一款视频生成模型,其特点在于针对高自由度和低自由度两种任务分别采用不同的生成方式,以更好地平衡两者之间的关系。

UniVG.png

项目地址:https://huggingface.co/papers/2401.09084

项目演示页面:https://univg-baidu.github.io/

视频生成技术基于“扩散”原理的方法近来在学术和产业界引起广泛关注,并取得显著成就。然而,目前这一领域主要集中在单一目标或单一任务的视频生成上,例如根据文本、图片或它们的组合生成视频。但这样的方法并不能完全满足真实世界多变的应用需求。用户通常需要更灵活的输入方式,如单独使用图像或文本,或将二者结合起来。

为了解决这一问题,百度提出了UniVG,一种“统一模态视频生成系统”,能够处理各种文本和图像的组合输入。该系统重新定义了视频生成模型中的多项任务,将它们划分为“高自由度生成”和“低自由度生成”两大类。在高自由度视频生成方面,采用了“多条件交叉注意力”技术,以生成与输入的图像或文本语义高度一致的视频。而在低自由度视频生成方面,引入了“偏置高斯噪声”,这种方法相较于传统的完全随机高斯噪声更能有效地保留输入条件的原始内容。

技术性能方面,UniVG在MSR-VTT视频数据库上表现出色,获得了最低的帧间视频差异性度量(Frame Video Distance, FVD)。这一成绩不仅超越了当前的开源方法,还与业界领先的闭源方法Gen2不相上下,显示出了卓越的实用价值和技术优势。

百度
THE END
tom
不图事事圆满 但图事事甘心。

相关推荐

站长工具网:浅谈百度SEO优化和抖音SEO优化的区别
在中国,百度作为最大的搜索引擎,其SEO策略一直是企业和营销人员关注的重点。然而,随着短视频平台的崛起,尤其是抖音(TikTok)的迅速发展,抖音SEO优化也开始受到重视。本...
2024-07-12 站长之家
109

百度爬虫是什么?如何识别和统计百度爬虫?
百度爬虫(Baiduspider)是百度搜索引擎用于抓取互联网上网页内容的自动化程序。它的主要功能是从各个网站收集信息,然后将这些信息索引到百度的数据库中,以便用户在搜索时能...
2024-07-10 站长之家
111

百度站长平台站点LOGO权益申请及使用方法
百度站长平台作为国内领先的搜索引擎服务平台,提供了丰富的工具和权益,帮助站长们优化网站表现,提升用户满意度。其中,站点LOGO权益是一项非常实用的功能。通过申请并使用...
2024-07-10 站长之家
111

百度文心智能体平台免费开放文心大模型4.0,引领AI新浪潮
百度今日宣布,其文心智能体平台(AgentBuilder)正式向广大开发者免费开放文心大模型4.0版本。文心大模型4.0自2023年10月发布以来,以其卓越的理解、生成、逻辑和记忆能力,被...
2024-07-05 新闻资讯
97

百度站长平台快速抓取工具申请及使用方法
对于站长而言,如何快速有效地让搜索引擎抓取并更新自己的网站内容,成为了一个至关重要的课题。百度作为中国最大的搜索引擎,其站长平台提供的快速抓取工具无疑是广大站长们...
2024-07-05 站长之家
116

百度搜索资源平台提交sitemap失败的原因总结
在网站优化和管理过程中,向百度搜索资源平台提交sitemap(站点地图)是提升网站收录速度和优化搜索引擎排名的重要步骤。然而,许多站长在提交sitemap时会遇到各种失败情况。...
2024-07-04 站长之家
107