VeOmni：字节跳动与火山引擎开源的全模态AI训练框架

一、VeOmni是什么

VeOmni 是字节跳动Seed团队与火山引擎联合研发并开源的一款全模态PyTorch原生训练框架，旨在解决当前AI领域从单一文本模态向多模态（文本、图像、语音、视频）演进过程中的系统性工程挑战。该项目于2025年8月正式开源，GitHub Star数在发布两周内即突破500，迅速成为AI基础设施领域的热门项目。

作为统一的多模态模型训练解决方案，VeOmni的核心定位是实现"三个统一"：统一多模态支持、统一并行策略组合、统一算力底座。它通过创新的"以模型为中心"设计理念，将传统框架中紧密耦合的模型定义与并行逻辑彻底解耦，使研究人员能够像搭积木一样自由组合各种并行策略，大幅降低了全模态大模型的研发门槛。官方测试数据显示，VeOmni可将传统需要数周的工程开发时间缩短至几天，部分场景下工程耗时减少90%以上。

与传统训练框架如Megatron-LM不同，VeOmni并非专为纯文本LLM设计，而是面向全模态理解与生成任务的通用框架。它能够同时处理文本（FineWeb-100T）、图像（ImageNet、ShareGPT4V）、视频（LLaVA-Video）和音频（Voice Assistant）等多种模态数据的训练任务，实现真正的"任意模态到任意模态"(any-to-any)的模型训练能力。

在技术架构上，VeOmni集成了字节跳动内部经过千卡级别真实训练任务验证的先进技术，包括动态批处理、高效内核优化、内存优化技术和分布式检查点等系统级优化，使其在训练300亿参数全模态MoE模型时，能在128张GPU上达到超过2800 tokens/秒/GPU的吞吐量，并支持扩展到160K超长上下文序列。

二、功能特色

1. 模块化全模态接口设计

VeOmni最显著的特点是其"即插即用"的全模态接口规范，任何模态的编码器/解码器只需实现lm_encode、lm_generate等标准函数，就能像USB设备一样无缝集成到框架中。这种设计将新增模态的工程改造时间从数周缩短到几行代码即可完成，极大提升了研究迭代速度。

框架采用三组件模块化架构：编码器（负责将原始数据转换为标准格式的嵌入向量）、基础模型（处理和分析信息的核心）和解码器（将模型输出转换为目标模态数据）。在训练阶段，每个编码器通过实现"lm_encode"功能将多模态数据转换为统一格式；在推理阶段，系统能智能识别特定标记符号（如图像开始标记）并自动切换生成模式，通过解码器的"lm_embed"和"lm_generate"功能输出最终结果。

2. 搭积木式并行策略组合

VeOmni革命性地提出了**"可组合n维并行"**设计理念，用户可像搭积木一样自由组合多种并行策略，针对模型不同组件采用最优并行方案。例如：

• 对视觉编码器使用全分片数据并行(FSDP)

• 对语言模型的注意力部分采用HSDP+序列并行(SP)

• 对MoE层使用FSDP+专家并行(EP)+SP的三维并行组合

这种灵活性得益于VeOmni设计的DeviceMesh设备网格和parallel_state抽象层，它们如同为计算集群绘制详细地图，自动管理所有并行维度，取代传统手动管理进程组的复杂操作。实测表明，这种组合并行策略在处理480P和720P分辨率的T2V/I2V任务时，可将单轮迭代显存峰值降低至原有基线的45%。

3. 全方位系统级优化

VeOmni集成了多项精心设计的系统优化技术，如同为高性能跑车配备全套性能提升组件：

动态批处理技术：采用可变大小包装策略，智能组合不同长度序列，最大化利用每批次计算资源，相比传统填充方法显著减少浪费。配合FlashAttention技术，在保证计算正确性的同时最大化资源利用率。

高效内核优化：集成RMSNorm、LayerNorm、RoPE、SwiGLU等高度优化的计算内核，每个都经过专门性能调优，在保证精度的同时提升运算速度。针对DiT中的小核算子，VeOmni将注意力-FFN-残差链路重写为单核Kernel，使长序列下显存碎片显著减少，访存次数下降数百倍。

内存优化技术：通过层级重计算、激活卸载和优化器状态卸载等策略，如同添加虚拟内存功能，让系统能处理比物理内存更大的模型。其创新之处在于为每个前向张量计算"ROI账"，仅选择性价比最高的算子进行重计算，相比按层重计算将Recompute占比从60%降到30%，额外计算开销压到最低。

ByteCheckpoint技术：实现高效的模型保存与恢复，支持不同分布式配置间的模型迁移，确保训练可靠性。如同游戏自动存档，即使意外中断也能从最近保存点继续，避免从头开始。

元设备初始化技术：解决大模型初始化内存瓶颈，通过DTensor格式进行参数分片和并行加载，显著加速大规模模型启动过程。传统方法如同搬家需先搬所有家具才能整理，而VeOmni则像先规划好位置直接摆放。

三、技术细节

1. 核心架构设计

VeOmni的技术架构体现了对分布式系统设计的深刻理解，如同精心规划的现代化城市，各功能区分工明确，交通网络四通八达。其核心创新在于**"以模型为中心"**的设计哲学，将传统"以系统为中心"的范式彻底颠覆。

在具体实现上，VeOmni将所有子模型设计为纯粹的"计算模块"(Computation-Only Module)，而将分布式通信逻辑完全交由框架处理。这种架构与现有训练框架形成鲜明对比：后者的通信操作(Comm. Ops)往往与计算操作(Comp. Ops)深度耦合，穿插在模型代码各处，导致扩展性和灵活性受限。

框架采用PyTorch原生实现，与现有工具链高度兼容，同时通过统一API将LoRA轻量微调、FSDP、Ulysses和Expert Parallel等多种混合并行策略及自动并行搜索能力内置，支持从百亿级语言模型到480P/720P视频生成模型的统一训练流程。

2. 分布式训练创新

VeOmni在分布式训练方面实现了多项突破性创新：

全分片数据并行(FSDP)：将大型拼图分发给多人同时拼装，每人负责一部分再合并结果，显著减少单机内存需求。VeOmni进一步支持混合分片数据并行(HSDP)，利用2D设备网格在节点内使用FSDP，节点间采用DDP方法，大幅减少跨节点通信。

序列并行(SP)：基于DeepSpeed-Ulysses技术，将长序列切分到不同设备处理，如同将厚书章节分给多人阅读后汇总。VeOmni开发了异步版本Async-Ulysses，通过将All-to-All通信与Attention计算并发执行，实现计算通信重叠，保证超长序列下的高效率。

专家并行(EP)：专为MoE模型设计，将专家分布在不同设备上，通过巧妙通信优化将数据传输延迟隐藏在计算过程中。在30B参数专家混合模型测试中，采用FSDP+SP+EP三维并行策略，成功处理160K长度序列，保持超2800 tokens/秒/GPU的吞吐量。

3. 性能优化技术

VeOmni的性能优势建立在一系列底层优化技术上：

显存计算双优化：采用精细的ROI评估机制，仅对性价比最高的算子进行重计算。例如gate1_mul算子省40MB显存只需180μs，而down_proj需4000μs，差距达22倍，系统自动选择前者进入重计算池。这种优化使VeOmni在显存够用前提下将额外计算开销压到最低，相比按层重计算将Recompute占比从60%降到30%。

算子融合与升级：针对DiT中大量小核算子导致的访存抖动，将注意力-FFN-残差链路重写为单核Kernel，显存碎片显著减少，访存次数下降数百倍。同时集成高度优化的RMSNorm、LayerNorm、RoPE等计算核心，在各种硬件配置下发挥最佳性能。

动态负载均衡：通过智能的数据处理策略，自动为不同模态数据添加特殊边界标记（如[IMG]和[/IMG]标识图像数据），如同用不同颜色标签区分多媒体书籍内容。在训练策略上，通常冻结模态特定编码器和解码器，仅对基础模型和多模态投影器微调，节省计算资源。

四、应用场景

1. 多模态内容生成

VeOmni特别适合多模态内容生成场景，如同时生成图文、视频配音、跨模态转换等。框架原生支持文本到视频(T2V)、图像到视频(I2V)等生成模型，在Wan2.1-14B模型上的测试显示，I2V 720P训练速度比开源方案快48%以上，T2V 720P快44.4%以上。

在内容创作领域，开发者可基于VeOmni快速构建多模态生成模型，实现图文音视频的协同创作。例如，电商平台使用VeOmni开发商品图像-文本关联模型，将商品描述生成效率提升80%，同时降低40%训练成本。

2. 超长上下文处理

凭借序列并行和内存优化技术，VeOmni能高效处理超长上下文任务，如长文档理解、高分辨率图像处理、长视频分析等。在处理Qwen2-VL 7B模型时，当序列长度从8K扩展到256K，通过序列并行策略始终保持稳定训练效率，192K长度时仍能达到61%的MFU。

这一特性使VeOmni特别适合处理相当于32本《红楼梦》文本量的160K超长序列，为法律文档分析、医学影像序列处理等专业领域提供技术支持。

3. 专家混合模型训练

VeOmni对MoE架构的专门优化，使其成为训练专家混合模型的理想选择。在30B参数MoE模型测试中，系统成功处理长达160K序列，保持超2800 tokens/秒/GPU吞吐量，这是传统框架如TorchTitan无法实现的能力。

这种优势在需要多领域专家协同的复杂任务中尤为明显，如同时需要文本理解、图像识别和音频处理的智能客服系统。

4. 多模态研究快速迭代

VeOmni的模块化设计大幅降低了研究试错成本，使团队能快速验证新想法。传统框架新增模态需重写大量分布式代码，工程耗时数周；而VeOmni只需按规范实现接口函数，一天内即可完成模型构建并开始训练。

这一特性加速了多模态研究的探索进程，特别是在医疗影像分析等领域，研究机构可基于VeOmni快速定制多模态模型，无需从头开发复杂框架。

5. 工业级大规模训练

经过字节内部千卡集群验证，VeOmni具备工业级扩展能力。在128张GPU上训练300B参数全模态模型时，框架能自动完成权重张量切分、通信拓扑优化、动态显存回收和异步checkpoint，吞吐量超过2800 tokens/秒/GPU。

对比测试显示，在处理Qwen2-72B等超大模型时，VeOmni不仅性能全面领先TorchTitan，在内存效率上也更优。当处理64K长度序列时，TorchTitan遭遇内存不足，而VeOmni仍能稳定运行，MFU达43.98%。

五、相关链接

1. GitHub仓库：ByteDance-Seed/VeOmni

2. arXiv论文：https://arxiv.org/pdf/2508.02317

总结

VeOmni作为字节跳动Seed团队开源的全模态训练框架，通过创新的"以模型为中心"设计、模块化接口和可组合并行策略，革命性地简化了多模态AI模型的训练流程，将传统需要数周的工程开发时间缩短至几天，效率提升达90%以上。其技术亮点包括DeviceMesh设备网格抽象、动态批处理、高效内核优化和内存管理技术，支持从7B到300B参数的各种模型规模，在128张GPU上实现超过2800 tokens/秒/GPU的吞吐量和160K超长上下文处理能力。VeOmni不仅大幅降低了全模态研究的门槛，也为工业级大规模AI训练提供了高效、灵活且稳定的解决方案，推动了多模态AI技术从实验室走向实际应用的进程。