Sora平替?2分钟超长AI视频模型StreamingT2V免费开源 试玩地址公布

站长之家 2024-04-15 11:40:38新闻资讯
59

近日,Picsart AI Research等团队联合发布了一款名为StreamingT2V的AI视频模型,该模型能够生成长达1200帧、时长达2分钟的视频,这在技术上超越了之前备受关注的Sora模型。StreamingT2V的发布不仅在视频长度上取得了突破,而且它是一个免费开源的项目,可以无缝兼容SVD和animatediff等模型,这对于开源生态的发展具有重要意义。

StreamingT2V.png

在Sora之前,市场上的视频生成模型如Pika、Runway、Stable Video Diffusion(SVD)等,通常只能生成几秒钟到十几秒的视频。Sora的出现以其60秒的视频生成能力成为行业的新标杆。而现在,StreamingT2V的推出,不仅在时长上有所突破,理论上还可以做到无限长,这为视频生成领域带来了更多可能性。

StreamingT2V的架构采用了先进的自回归技术,能够创建具有丰富运动动态的长视频,同时保持视频的时间一致性和高帧级图像质量。与现有的文本到视频扩散模型相比,这些模型通常集中在高质量的短视频生成上,而在扩展到长视频时往往会出现质量下降、表现生硬或停滞等问题。StreamingT2V通过引入条件注意力模块(CAM)和外观保留模块(APM),以及一种随机混合方法,有效地解决了这些问题。

CAM作为短期记忆块,通过注意机制调节当前一代的视频,以实现一致的块过渡;而APM作为长期记忆块,从第一个视频块中提取高级场景和对象特征,防止模型忘记初始场景。此外,StreamingT2V还利用高分辨率文本到视频模型对生成的视频进行自动回归增强,以提高质量和分辨率。

目前,StreamingT2V已经在GitHub上开源,并在huggingface上提供了免费试玩。尽管服务器负载可能较高,但用户可以尝试输入文字和图片提示来生成视频。此外,huggingface上也展示了一些成功的案例,证明了StreamingT2V在视频生成方面的强大能力。

StreamingT2V的发布不仅为视频生成领域带来了新的技术突破,也为开源社区提供了一个强大的工具,有助于推动相关技术的发展和应用。未来,我们或许可以期待更多基于这类技术的创新应用,例如在电影制作、游戏开发、虚拟世界构建等领域发挥重要作用。

开源代码:https://github.com/Picsart-AI-Research/StreamingT2V

论文地址:https://arxiv.org/pdf/2403.14773.pdf

试玩地址1:https://huggingface.co/spaces/PAIR/StreamingT2V

试玩地址2:https://replicate.com/camenduru/streaming-t2v

ai
THE END
tom
不图事事圆满 但图事事甘心。

相关推荐

MIMO:阿里巴巴智能研究院开源的多功能可控视频合成模型
MIMO 是阿里巴巴集团智能计算研究院开源的一种用于可控视频合成的通用模型,其核心思想是将2D视频编码为紧凑的空间代码,并考虑视频发生的固有3D特性。通过这种编码方式,MIM...
2024-11-10 新闻资讯
138

“即梦AI”上架苹果应用商店:支持AI视频创作 效果直逼Sora
字节跳动旗下剪映团队研发的一站式AI创作平台“即梦AI”移动版,于今日正式上架苹果App Store应用商店。即梦AI集成了尖端的AI图片与视频创作技术,将用户的每一个创意想法转化...
2024-08-06 新闻资讯
231

对标Sora!快手自研视频生成大模型可灵AI全面开放内测
7月25日消息,日前,快手视频生成大模型可灵AI宣布基础模型升级,并全面开放内测,同时正式上线付费会员体系。用户每日登录都可免费获得66灵感值,可用于兑换可灵AI平台内指定...
2024-07-25 新闻资讯
165

超越Sora!AI视频模型StreamingT2V可生成120秒超长视频
近日,UT奥斯丁等机构提出的StreamingT2V技术引发了广泛关注,将AI视频生成推向了新的高度。这项技术突破了以往视频长度的限制,实现了生成高度一致且长度可扩展的视频。
2024-03-26 新闻资讯
56

视频生成工具(StreamingT2V):可根据文字描述生成2分钟长度的视频
StreamingT2V是一款独特的视频生成工具,它采用了自回归方法来逐帧生成视频内容。这意味着,它会根据前一段视频的内容来生成下一段内容,就像连环画中,每一幅画都是基于前一...
2024-03-25 新闻资讯
78

文生视频模型(Sora)不会向公众开放:仍处于开发阶段
近日,YouTube频道WVFRM Podcast在其节目中邀请了OpenAI旗下文生视频模型Sora的核心团队成员参与访谈。据负责人介绍,目前Sora仍处于反馈获取阶段,离成为一个真正的产品还有...
2024-03-14 新闻资讯
38