Meta 新推两款 AI 图像编辑工具 Emu Edit / Emu Video

IT之家 2023-11-20 15:31:23新闻资讯
24

11 月 20 日消息,Meta昨日宣布为Facebook和Instagram推出两款基于AI的图像编辑工具,分别是“Emu Edit”和“Emu Video”,适用领域包括照片和视频,目前Meta公布了这两项 AI 工具的更多信息,IT之家整理如下。

官方介绍称,Emu Edit 模型仅用文字指令就可以准确编辑图像,而通过分解文字转视频(Text-to-Video,T2V)的生成过程,开发团队公布了一种名为 Emu Video 的方法,可以改善最终生成视频的品质和多样性。

1.gif

据悉,Emu Edit 号称是一种创新的影像编辑方法,目的是要简化各种影音操作任务,为视频编辑提供更多功能与更高的精确度。

Emu Edit 可以接受用户指令,进行各种形式的编辑,包括区域和全局编辑、移除和添加背景,也能够调整颜色并进行矢量图转换,或进行图像构成元素的检测和分割。

Meta表示,Emu Edit 把视觉任务作为指令,纳入到所生成模型中,进而在视频生成和编辑中,提供更好的控制能力。研究人员指出,当前的图像编辑模型,通常会过度修改图像,或是修改不足,而 Emu Edit 的优势在于能够准确按照指令进行编辑。

Meta 使用了 1000 万个合成数据集训练 Emu Edit,号称是目前同类中规模最大的数据集,从而带来了更好的图像编辑能力,其中每个样本都包含图像输入、任务描述,以及目标输出图像。可使模型忠实地执行指令,产生“比当前所有竞品都要好的结果”。

而Emu Video 是一种简单且高效的文字转视频生成方法,该方法运用扩散模型,并以Emu Edit为基础。开发团队解释,这种通过生成视频的架构能够应对外界各种输入方式,包括文字、图像、图文组合等,此外 Emu Video 也能接受文字类提示词,将用户提供的图像“动画化”,从而提供了“超越过去模型的能力”。

2.gif

Emu Video 将影片生成过程拆分为两个步骤,首先是根据文字提示生成图像,然后基于文字和生成图像产生视频。这种拆分步骤的影片生成方法,让研究人员可以有效地训练生成模型。

研究人员进一步解释,Emu Video与过去 Make-A-Video 等需要一系列深度生成模型的研究不同,Emu Video 更简单,仅使用 2 个扩散模型,就能生成 512x512 分辨率、每秒 16FPS、长 4 秒钟的视频。

IT之家发现,Meta 援引评估数据,证明 Emu Video 生成的视频品质以及“遵循提示词的忠实程度”相对业内竞品更好。

在品质方面,有 96%受访者偏好 Emu Video 而非此前的 Make-A-Video 方案,而对于“提示词的忠实度”方面,Emu Video 获得了 85%受访者的青睐。

ai工具 图像编辑工具
THE END
战地网
频繁记录吧,生活的本意是开心

相关推荐

Pic Copilot推出AI虚拟试衣工具,革新服饰电商视觉营销
在电商视觉营销领域,阿里国际旗下的Pic Copilot近日推出了一款创新的AI虚拟试衣工具,旨在帮助服饰商家大幅降低商品展示的拍摄成本。这一突破性工具的亮相,预示着服饰电商行...
2024-05-15 新闻资讯
52

微信发布桌面效率AI工具小微助手 支持类ChatGPT在线聊天问答功能
​微信最近发布了一款名为“小微助手”的桌面AI效率工具,旨在通过自然语言处理技术,提升用户在电脑上的工作效率。这款工具不仅支持Windows和Mac操作系统,还具备以下特点:搜...
2024-04-25 新闻资讯
33

Google Maps 引入 AI 工具:概述餐厅 / 景点特色、增强本地人推荐内容等
3 月 28 日消息,谷歌公司近日发布新闻稿,宣布为 Google Maps 应用引入 3 项改进,让你的夏日旅行更轻松。Google Maps 本次更新最值得关注的改进在于借助 Google AI,可以基...
2024-03-28 新闻资讯
23

OptimizerAI:可为AI视频自动配音 还将支持立体声
OptimizerAI是一款专门为视频自动生成音效的AI工具,可以通过文字提示创造出适用于各种场景的声音和音效。用户可以利用这个平台生成适用于多种应用场景的声音效果。
2024-03-11 新闻资讯
48

免费AI背景移除工具iFoto算法升级,发丝都能扣得干净
iFoto这款AI 背景移除工具可以快速消除产品图片中不需要的背景,轻松将在线背景消除器集成到工作流程中 。基于 AI 技术,iFoto 的在线背景移除工具保证了准确性和细致的细节保...
2024-03-08 新闻资讯
28

Design2Code:Ai设计图自动生成前端代码的工具
近年来,生成 AI 在多模态理解和代码生成方面取得了显著进展,为前端开发带来了全新的范式。研究人员开展了对视觉设计转换为代码实现任务(称为Design2Code)的系统研究。 D...
2024-03-07 新闻资讯
67