OmniGen2：北京人工智能研究院开源的统一多模态图像生成模型

OmniGen2是什么

OmniGen2是由北京人工智能研究院开发的一款开源统一多模态图像生成模型，代表了当前多模态AI领域的最新技术突破。作为OmniGen系列的第二代产品，它通过创新的双轨制架构设计，将文本理解与图像生成能力完美结合，支持文本到图像生成、指令引导的图像编辑、上下文生成等多种复杂任务。

与传统的单一功能模型不同，OmniGen2被设计为一个全能型选手，能够在一个框架内完成多种图像生成和编辑任务。研究团队巧妙地用"全能大厨"的比喻来描述OmniGen2的核心价值：当前的AI图像生成就像一群各有专长的厨师，有的专做中餐，有的擅长烘焙，而OmniGen2则像是一位能够独自完成从前菜到甜点所有料理的全能大厨，还能根据用户要求即时调整菜品风格。

OmniGen2建立在第一代OmniGen模型的基础上，但进行了全面的架构升级。最显著的改进是采用了双轨制设计，为文本和图像模态分别构建了独立的解码路径，使用未共享参数并搭配解耦的图像分词器。这种设计让文本与图像在生成过程中能更高效、精准地被处理——文本解码路径依据文本提示精细把控图像内容走向，而图像解码路径则专注于图像特征，保障生成图像的质量与风格。

功能特色

OmniGen2作为一款统一的多模态生成模型，集成了四大核心功能模块，每个模块都针对特定的图像生成和编辑需求进行了优化设计。这些功能不仅覆盖了当前主流的图像生成任务，还在性能和用户体验上实现了显著突破。

视觉理解能力

OmniGen2的视觉理解能力建立在强大的**Qwen2.5-VL-3B视觉语言模型(VLM)**基础上。这一模块继承了Qwen-VL系列模型的卓越性能，能够对图像内容进行准确的解读和分析。具体而言，它可以识别图像中的物体、场景、人物等元素，并理解它们之间的语义关系和上下文联系。例如，给定一张复杂的场景图片，OmniGen2不仅能识别出其中的各个对象，还能理解"猫坐在沙发上"这样的语义关系，为后续的生成和编辑任务奠定基础。

视觉理解能力的评估结果显示，OmniGen2在MMBench上得到79.1分，在MMMU测试中获得53.1分，在MM-Vet评估中达到61.8分。这些成绩虽然不及一些专门的视觉理解模型，但考虑到OmniGen2同时要兼顾图像生成任务，这样的表现已经相当出色，体现了其在多任务平衡上的优化成果。

文本到图像生成

作为基础功能，OmniGen2的文本到图像生成(text-to-image)能力支持根据自然语言描述生成高质量的图像。用户只需输入一段描述性文本，模型就能生成与之对应的视觉内容。例如，当输入"一只坐在绿色茶馆前椅子上的熊猫，手里拿着一杯茶"时，OmniGen2能够生成符合描述的、具有良好审美品质的图像。

这一功能的独特之处在于其长文本理解和组合推理能力。测试显示，在GenEval测试中，OmniGen2获得了0.86分的高分(满分1.0)，与参数量和训练数据都多得多的BAGEL模型(0.88分)表现接近。值得注意的是，OmniGen2仅使用了40亿个可训练参数和1500万张训练图片，而BAGEL使用了140亿参数和16亿张图片，这种效率优势使OmniGen2成为资源友好型的生成工具。

指令引导的图像编辑

OmniGen2在图像编辑方面的表现尤为突出，支持通过自然语言指令对现有图像进行精准修改。用户可以下达如"改变衣服颜色"、"添加装饰品"或"移除背景中的物体"等指令，模型能够高保真地执行这些编辑操作，同时保持未编辑区域不受影响。

技术评估证实了OmniGen2在编辑任务上的优势：在Emu-Edit测试中，OmniGen2在CLIP-Out指标(衡量编辑结果与指令的匹配度)上获得最高分0.309；同时在CLIP-I和DINO指标(评估对未编辑区域的保护程度)上分别获得0.876和0.822的次优成绩。在更全面的ImgEdit-Bench测试中，OmniGen2取得了3.44分的总成绩，在开源模型中名列前茅，特别是在动作修改任务上获得了4.68分的高分。

实际应用案例显示，OmniGen2可以完成多种复杂编辑任务，如"给女士头上添加渔夫帽"、"将剑替换为大锤"、"将背景改为室内同时保持角色一致性"等。这些功能使OmniGen2成为内容创作者和设计师的高效助手，大大简化了传统图像编辑的复杂流程。

上下文生成与多模态反射

OmniGen2的上下文生成功能支持多图像输入组合，能够将不同来源的视觉元素智能地融合到一个连贯的场景中。例如，用户可以上传一张人物照片和一张场景照片，要求生成"该人物出现在该场景中"的图像。这种能力在广告设计、社交媒体内容创作等领域具有广泛应用价值。

特别值得一提的是OmniGen2的多模态反射机制，这是其区别于其他生成模型的标志性功能。当生成结果不符合用户要求时(如数量错误、颜色偏差等)，系统能够自动识别问题并重新生成改进版本。例如，当要求生成"四个停止标志"却只生成两个时，OmniGen2会主动添加缺少的标志；当生成的西兰花是绿色而非指定的黄色时，模型会自动调整颜色。这种自我修正能力显著提升了输出的准确性和用户体验。

技术细节

OmniGen2的技术架构体现了现代AI系统设计的精髓，通过多项创新解决了多模态生成中的核心挑战。深入探究其技术细节，有助于理解这一模型为何能在复杂任务中表现出色。

双轨制架构设计

OmniGen2最核心的创新是其双轨制架构，这一设计源于一个关键发现：让同一套系统同时精通文字处理和图像生成，就像要求一个人既是莎士比亚又是达芬奇，实际上是强人所难的。研究团队通过实验发现，当尝试用更强大的语言模型替换原有系统时，图像生成质量反而下降了，这表明文本和图像生成需要不同的优化方向。

基于这一洞察，OmniGen2采用了"术业有专攻"的策略，设置了两条完全独立的处理路径：

• 文本处理路径：基于自回归Transformer架构，专门负责文本理解和生成

• 图像生成路径：基于扩散Transformer架构，专注于高质量图像生成

这两条路径使用独立参数，互不干扰，就像交响乐团中不同乐器组的专业分工。在图像编码方面，OmniGen2也采用了分层处理策略：视觉变换器(ViT)负责理解图像的语义内容(如"这是一只猫坐在沙发上")，而变分自编码器(VAE)则捕捉图像的细节特征(如"猫毛的质感"和"沙发布料的纹理")。

Omni-RoPE位置编码系统

OmniGen2在位置编码方面进行了重要创新，提出了Omni-RoPE(Omni Rotary Position Embedding)系统。传统的位置编码就像给每个像素点简单编号，在复杂的多图像任务中容易造成混乱。Omni-RoPE采用三维编码机制，将位置信息分解为三个组件：

1. 序列和模态标识符：对于单个图像中的所有标记是恒定的，但在不同图像间唯一

2. 二维空间高度坐标：表示图像标记的标准化垂直位置

3. 二维空间宽度坐标：表示图像标记的标准化水平位置

对于非图像标记(如文本)，两个空间坐标设置为零。这种设计就像给每栋建筑一个门牌号，同时在建筑内部使用楼层和房间号的组合编码，既能区分不同建筑，又能精确定位建筑内的具体位置。Omni-RoPE特别适合图像编辑和上下文生成任务，通过唯一身份标识区分不同图像，同时用局部坐标系保持空间关系。

数据工厂与训练策略

数据质量对AI模型的重要性如同食材对美食的重要性。OmniGen2团队发现现有开源数据集像"超市里打折的隔夜蔬菜"，质量堪忧，特别是在图像编辑和情境生成任务上。为此，他们建立了完整的"数据农场"，核心思路是从视频中提取高质量训练样本。

视频天然包含同一对象在不同条件下的多种表现，为模型提供了丰富的学习素材。研究团队设计了精密的数据提取流水线：

1. 从视频中提取关键帧

2. 使用Qwen2.5-VL-7B模型识别画面中的主要对象

3. 使用GroundingDINO技术精确定位对象

4. 用SAM2技术进行对象分割和跟踪

5. 多重过滤机制确保数据一致性

在图像编辑数据方面，团队采用逆向工程方法：先制作图像对，然后让AI模型观察差异并描述编辑过程，避免了指令与实际效果不匹配的问题。对于反思数据，团队让模型生成图像后自我评判，发现问题并改进，培养模型的自我修正能力。

训练策略上，OmniGen2采用分阶段方法：

1. 先在文字转图像任务上训练扩散模型

2. 然后引入混合任务训练

3. 最后进行反思能力的端到端训练

这种渐进式训练确保了模型在每个阶段都能稳定学习，避免了同时学习多个复杂任务可能带来的干扰。

模型配置与性能

OmniGen2的具体配置如下：

• 视觉语言模型：基于Qwen2.5-VL-3B(30亿参数)，负责多模态理解

• 扩散模型：独立变换器架构，32层网络，隐藏维度2520，约40亿参数

• 总参数量：约70亿(视觉语言模型+扩散模型)

• 训练数据：约1.4亿张图像(来自开源数据集和专有集合)

• 生成方法：采用修正流(Rectified Flow)方法，比传统扩散过程更高效

在资源使用方面，OmniGen2展现了出色的效率。相比同类模型，它能在更低资源消耗下达到相当性能，使其成为研究者和开发者的实用选择。

应用场景

OmniGen2的强大功能组合使其在多个领域具有广泛的应用潜力。从专业的内容创作到个人娱乐，从商业设计到教育应用，这一多功能模型能够满足不同用户的多样化需求。

创意设计与广告制作

对于设计师和广告创意人员，OmniGen2提供了从概念到成品的快速可视化工具。在创意构思阶段，设计师可以通过文本描述快速生成多种视觉方案，如"未来感城市景观"或"复古风格产品包装"。这些生成图像可以作为进一步细化的基础，大大缩短设计周期。

在广告制作中，OmniGen2的图像编辑功能特别有价值。广告经常需要根据客户反馈进行调整，如修改产品颜色、调整构图或添加元素。传统方法需要专业设计师使用复杂软件进行耗时修改，而OmniGen2允许通过简单指令实现这些更改，如"将连衣裙改为红色"或"在背景中添加更多人群"。案例显示，OmniGen2可以准确执行"将图片转换为吉卜力工作室和宫崎骏动画电影风格"等复杂风格转换指令，为广告创意提供更多可能性。

社交媒体内容创作

OmniGen2的上下文生成功能为社交媒体用户和内容创作者提供了强大工具。用户可以上传自己的照片，然后生成各种有趣的场景，如"我的宠物猫在埃菲尔铁塔前留影"或"我在火星表面漫步"。这种个性化内容在Instagram、抖音等平台上具有很高吸引力。

社交媒体运营者可以利用OmniGen2快速生成大量风格统一但内容多样的视觉素材，保持账号活跃度。特别是在节日或热点事件期间，需要快速产出相关内容时，OmniGen2的快速生成能力可以显著提升运营效率。

游戏与影视概念设计

在游戏开发和影视制作的前期阶段，OmniGen2可以加速概念艺术创作过程。游戏设计师可以通过文本描述快速生成角色原型、场景概念或道具设计，然后使用图像编辑功能进行迭代调整。例如，生成"科幻武士角色"后，可以进一步指令"将盔甲改为蓝色能量纹路"或"添加破损战斗痕迹"。

对于独立游戏开发者和小型工作室，OmniGen2的开源特性尤其有价值，它提供了接近专业概念艺术家作品质量的生成能力，而无需高昂外包费用。影视制作中的分镜设计和场景预览也可以从OmniGen2的快速生成能力中受益。

电子商务与产品展示

电子商务平台和在线商店可以利用OmniGen2生成多样化产品展示图。例如，同一款包包可以生成不同颜色版本，或放置在各种场景中(办公室、咖啡馆、旅行途中)。对于服装类产品，OmniGen2支持"让女士从图像1和男士从图像2在教堂结婚"等复杂场景合成，为产品创造更具吸引力的情境。

案例显示，OmniGen2可以执行"将图像1中的包包添加到图像2的桌子上"这类精确的商品植入指令，帮助商家创建丰富的产品使用场景，提升转化率。

教育与可视化

在教育领域，OmniGen2可以帮助创建教学可视化材料。历史老师可以生成"古罗马城市广场"场景，科学老师可以可视化"细胞内部结构"。这些根据教学内容定制的图像比通用插图更能满足特定教学需求。

对于复杂概念的可视化，OmniGen2支持通过多轮指令逐步完善图像。例如，首先生成"太阳能发电站基本原理图"，然后根据具体教学重点添加或突出特定元素，创建最适合课堂使用的视觉辅助材料。

相关链接

• 论文地址：https://arxiv.org/abs/2506.18871

• GitHub仓库： https://github.com/VectorSpaceLab/OmniGen2

• 项目主页：https://vectorspacelab.github.io/OmniGen2

• Hugging Face模型： https://huggingface.co/OmniGen2/OmniGen2 

总结

OmniGen2作为北京人工智能研究院推出的开源多模态生成模型，通过创新的双轨制架构设计、Omni-RoPE位置编码系统和高质量数据训练策略，实现了文本到图像生成、指令引导编辑、上下文生成和多模态反射等功能的统一集成。该项目在保持文本理解能力的同时显著提升了图像生成质量，特别是在图像编辑任务中展现出接近商业模型的性能，而其自我反思机制更是为生成结果增加了自动优化的可能性。作为完全开源的项目，OmniGen2不仅提供了强大的多模态生成能力，还通过GitHub仓库、Hugging Face模型和详细文档为研究和应用社区奠定了坚实基础，代表了当前开源多模态生成技术的先进水平。