超越Sora!AI视频模型StreamingT2V可生成120秒超长视频

站长之家 2024-03-26 15:20:20新闻资讯
33

近日,UT奥斯丁等机构提出的StreamingT2V技术引发了广泛关注,将AI视频生成推向了新的高度。这项技术突破了以往视频长度的限制,实现了生成高度一致且长度可扩展的视频。

StreamingT2V.png

StreamingT2V技术的核心构架包括条件注意力模块(CAM)和外观保持模块(APM)。CAM利用短期记忆单元确保视频连续性,而APM作为长期记忆单元保持视频中对象或场景的一致性。这两个模块的结合,使得生成的视频不仅动态连贯,而且视觉效果高质量。在测试中,研究人员用Streaming T2V生成1200帧,长达2分钟的视频。

具体实现方法分为三个阶段:初始化、Streaming T2V生成和Streaming Refinement。在初始化阶段,利用文本到视频模型创造视频的前16帧;接着进入Streaming T2V阶段,通过自回归技术生成后续帧,保证视频内容连贯性;最后,在Streaming Refinement阶段对生成的视频进行优化,提高画质和动态效果。

特色亮点包括:

  • 从文本描述生成2分钟的视频

  • 创建具有复杂动态运动的视频

  • 确保长视频中的时间一致性

该技术的出现标志着AI视频生成的新突破,不仅可以生成1200帧甚至无限长的视频,而且内容过渡自然平滑,丰富多样。与此同时,StreamingT2V技术的不断完善和提升也将进一步推动AI视频生成领域的发展,为视频内容创作提供更多可能性。

项目入口:https://github.com/Picsart-AI-Research/StreamingT2V

论文地址:https://arxiv.org/abs/2403.14773

ai Sora
THE END
ai资讯
关注ai行业发展,专注ai软件推荐。

相关推荐

Sora平替?2分钟超长AI视频模型StreamingT2V免费开源 试玩地址公布
近日,Picsart AI Research等团队联合发布了一款名为StreamingT2V的AI视频模型,该模型能够生成长达1200帧、时长达2分钟的视频,这在技术上超越了之前备受关注的Sora模型。St...
2024-04-15 新闻资讯
26

视频生成工具(StreamingT2V):可根据文字描述生成2分钟长度的视频
StreamingT2V是一款独特的视频生成工具,它采用了自回归方法来逐帧生成视频内容。这意味着,它会根据前一段视频的内容来生成下一段内容,就像连环画中,每一幅画都是基于前一...
2024-03-25 新闻资讯
39

文生视频模型(Sora)不会向公众开放:仍处于开发阶段
近日,YouTube频道WVFRM Podcast在其节目中邀请了OpenAI旗下文生视频模型Sora的核心团队成员参与访谈。据负责人介绍,目前Sora仍处于反馈获取阶段,离成为一个真正的产品还有...
2024-03-14 新闻资讯
27

汤姆猫:计划申请接入OpenAI的Sora模型
汤姆猫今日在互动平台上宣布,公司正在积极推进接入 OpenAI 的 Sora 模型的申请工作,并计划进行相关素材制作的测试。目前,汤姆猫尚未正式接入 Sora 模型。
2024-03-04 新闻资讯
25

OpenAI或用3D引擎/虚幻引擎训练视频模型Sora
OpenAI最近发布了多段由Sora生成的视频,展示了令人惊叹的3D效果。除此之外,Sora还展示了一些新功能,比如无缝衔接。这意味着在两个输入视频之间可以逐渐进行插值,呈现出更...
2024-03-01 新闻资讯
28

汤姆猫:类似Sora的AI工具将有助公司低成本打造AI应用产品
近日,汤姆猫在机构调研中透露,海外子公司正积极与OpenAI、Google、Stability AI等领先公司的人工智能模型展开合作,以利用其强大的大模型进行内容创作。这一合作覆盖了多个...
2024-02-27 新闻资讯
27