SkyReels-V1：昆仑万维开源的AI短视频生成模型

SkyReels-V1是什么

SkyReels-V1是昆仑万维开发的一款面向AI短剧创作的视频生成模型。它利用先进的深度学习技术，通过结合口型生成、表情生成和肢体生成等多个生成模块，实现了对人物表演细节的精细控制。SkyReels-V1不仅支持文生视频(即文本生成视频)，还支持图生视频(即图像生成视频)，是开源视频生成模型中参数最大的支持图生视频的模型。

功能特色

影视级人物微表情表演生成

SkyReels-V1针对表演细节做了打标，对情绪、场景、表演诉求等进行处理，利用“千万级别、高质量”的好莱坞级别数据进行训练微调。模型支持33种细腻人物表情与400+种自然动作组合，能够高度还原真人情感表达，生成大笑、怒吼、惊讶、哭泣等微表情。这些微表情不仅细腻逼真，还能完美贴合人物肢体表演，为AI视频生成带来了电影级光影美学和画面质感。

强大的视频生成能力

SkyReels-V1不仅支持文生视频，还支持图生视频。用户可以通过输入文本或图像，快速生成高质量的短视频内容。这种能力使得SkyReels-V1在广告、娱乐、教育等多个领域具有广泛的应用前景。

影视化表情识别体系

SkyReels-V1构建了11种针对影视戏剧中的人物表情理解体系，如不屑、不耐烦、无助、厌恶等表情的理解。这种能力使得模型能够更准确地捕捉和还原人物的情感表达，生成更加逼真的视频内容。

人物空间位置感知

基于人体三维重建技术，SkyReels-V1实现了对视频中多人的空间相对关系理解，助力模型生成影视级人物站位。这一功能在多人场景的视频生成中尤为重要，能够确保人物之间的站位和互动更加自然合理。

行为意图理解

SkyReels-V1构建了超过400种行为语义单元，实现了对人物行为的精准理解。这种能力使得模型能够更准确地捕捉和还原人物的行为意图，生成更加符合逻辑和情境的视频内容。

表演场景理解

SkyReels-V1实现了人物-服装-场景-剧情的关联分析，能够更准确地捕捉和还原表演场景。这一功能在场景复杂、剧情多变的视频生成中尤为重要，能够确保生成的视频内容在场景和剧情上更加连贯和合理。

技术细节

数据清洗和人工标注

SkyReels-V1依托昆仑万维自研的高质量数据清洗和人工标注管线，构建了千万级的高质量电影、电视剧和纪录片数据。这些数据经过严格的筛选和标注，为模型的训练提供了坚实的基础。

自研推理优化框架

在自研推理优化框架「SkyReels-Infer」的加持下，SkyReels-V1实现了544p分辨率的视频生成，推理基于单台4090用时80s。此外，该框架还支持分布式多卡并行、Context Parallel、CFG Parallel和VAE Parallel等多种优化策略，进一步提高了模型的推理效率和生成速度。

量化与编译优化

SkyReels-V1采取fp8 quantization以及parameter-level offload等技术手段，满足了低显存用户级显卡的运行需求。同时，支持flash attention、SageAttention等模型编译优化方法，进一步优化了模型的延迟和性能。

开源diffuser库

SkyReels-V1基于开源diffuser库进行开发，提升了模型的易用性和可扩展性。用户可以通过调用diffuser库中的相关函数和类，轻松实现视频生成和推理等功能。

应用场景

广告行业

SkyReels-V1可以生成高质量的短视频内容，为广告行业提供全新的创意和表现形式。广告主可以通过输入广告文案或图像，快速生成吸引人的广告视频，提高广告的传播效果和转化率。

娱乐行业

SkyReels-V1在娱乐行业也具有广泛的应用前景。例如，在短剧、微电影等内容的创作中，SkyReels-V1可以快速生成符合剧情和角色设定的视频片段，降低制作成本和时间成本。同时，SkyReels-V1还可以为粉丝提供个性化的偶像表演视频生成服务，满足粉丝的个性化需求。

教育行业

在教育行业中，SkyReels-V1可以生成生动有趣的教学视频内容。例如，在语言学习中，学生可以通过输入文本或图像，生成包含目标语言发音和肢体动作的教学视频;在科学实验中，学生可以通过输入实验步骤和结果图像，生成包含实验操作和解释的教学视频。这些视频内容不仅能够提高学生的学习兴趣和参与度，还能够帮助他们更好地理解和掌握知识点。

相关链接

• SkyReels-V1开源地址：SkyReels-V1

• SkyReels-A1开源地址：SkyReels-A1

• SkyReels官方地址：SkyReels

• 技术报告：SkyReels-A1技术报告

总结

SkyReels-V1作为中国首个面向AI短剧创作的视频生成模型，具有影视级人物微表情表演生成、强大的视频生成能力、影视化表情识别体系、人物空间位置感知、行为意图理解和表演场景理解等多项功能特色。通过结合自研推理优化框架、量化与编译优化以及开源diffuser库等技术手段，SkyReels-V1实现了高效的视频生成和推理。在广告、娱乐、教育等多个领域具有广泛的应用前景。昆仑万维此次开源SkyReels-V1和SkyReels-A1，不仅推动了AI短剧行业的创新与发展，也为全球内容产业的数字鸿沟缩小和文化产业生产力革命做出了贡献。未来，随着AI技术的不断发展和完善，SkyReels-V1有望在更多领域发挥重要作用，为全球用户带来更加便捷、高效和智能的视频生成体验。