RoboBrain2.0：北京智源研究院联合北京大学团队开源的具身视觉语言基础模型

一、RoboBrain2.0是什么？

RoboBrain2.0是由北京智源研究院联合北京大学团队开发的全球最强开源具身视觉语言基础模型，代表了当前具身智能领域的最前沿技术成果。作为第二代具身大脑大模型，它旨在统一物理环境中复杂具身任务的感知、推理和规划能力，彻底改变了传统AI模型在物理交互中的局限性。

该项目包含两个版本：轻量级的7B参数模型和全尺寸的32B参数模型，采用异构架构设计，整合了视觉编码器与语言模型，能够处理多视图视觉观察和自然语言指令。与专注于静态视觉问答的传统视觉语言模型(VLMs)不同，RoboBrain2.0特别强化了空间感知、时间建模和长链因果推理等具身智能核心能力。

RoboBrain2.0与其配套操作系统RoboOS 2.0共同构成了完整的**"脑-眼-手"协同系统**，实现了从环境感知到任务执行的闭环。该系统已全面开源，包括框架代码、模型权重、数据集与评测基准，旨在推动全球具身智能研究和产业应用的发展。目前，智源研究院已与全球20多家具身智能企业建立战略合作关系，共同构建开放协同的具身智能生态体系。

二、功能特色

1. 革命性的空间理解能力

RoboBrain2.0在空间智能方面实现了质的飞跃，具备毫米级精度的空间感知与操作能力。与1.0版本相比，其在可操作区域(Affordance)感知与操作轨迹(Trajectory)生成能力上实现了17%的性能提升。新增的**空间推理能力(Spatial Referring)**不仅包含对相对空间位置(前后、左右、远近)及绝对距离的基础感知，还实现了对复杂空间的多步推理能力。

该系统能够精准识别物体的功能性部件，如茶杯把手、刀具握位等微操作区域，将机器人抓取精度提升至毫米级。在9项权威空间推理基准测试(BLINK、CV-Bench、EmbSpatial等)中，RoboBrain2.0均取得最先进(SOTA)结果，超越了Gemini、GPT-4o等专有模型。例如，在BLINK-Spatial基准上达到83.95分，在Where2Place上获得73.59分。

2. 突破性的时间建模与任务规划

在任务规划方面，RoboBrain2.0相比1.0版本基于Prompt的多机任务规划机制，实现了74%的准确率提升。其创新性地采用了基于多本体-环境动态建模的多机协同规划机制，可实时构建包含本体定位的场景图(Scene Graph)，并自动完成跨本体的任务规划。

系统具备人类级的动作链模拟能力，能够流畅衔接如"移开障碍物→取茶杯→注水"等复杂动作序列，避免操作过程中的碰撞和失误。在3项关键时间推理基准测试(Multi-Robot Planning、Ego-Plan2、RoboBench)中表现卓越，特别是在多机器人协作响应速度上达到0.05秒，已逼近人类突触传导极限。

3. 闭环反馈与深度思考机制

RoboBrain2.0新增了闭环反馈系统，使机器人能够根据当前环境感知和任务状态，实时调整规划与操作策略，应对突发变化和扰动。这一机制在实际测试中显著提升了任务执行的稳定性和成功率，例如在强光、震动等干扰环境下仍能保持手术级操作精度。

深度思考能力支持机器人对复杂任务进行推理分解，如将"清扫后泡茶"指令拆解为「移杂物→握杯柄→开茶罐→注热水」的动作序列，并预判潜在冲突(如避开滚烫蒸汽)。这种因果逻辑提取能力使系统能够从复杂指令中提取任务逻辑，并与环境状态动态对齐。

4. 多机协作与场景图共享

RoboBrain2.0引入了多本体时空记忆场景图共享机制，支持动态环境下的实时感知与建模。这一创新使多机器人系统能够像"精密交响乐团"一样协同工作，即使10台机器共处狭窄空间也能高效流转。

在实际应用中，20台物流机器人通过实时位置共享，在货架间自动分流，使补货效率提高40%；在地震救援场景中，机器狗群通过共享3D场景图，30秒内生成覆盖整片废墟的搜救路径，比传统方案快3倍。这种分布式群体智能的实现标志着多机协作技术范式的重大突破。

三、技术细节

1. 模型架构设计

RoboBrain2.0采用模块化的编码器-解码器架构，通过统一的多模态处理框架整合视觉和语言输入。其核心包含四个组件：

• 文本/结构化输入标记器：处理语言指令和场景图

• 视觉编码器：支持动态分辨率的图像和视频输入(约689M参数)

• MLP投影仪：将视觉特征映射到语言模型标记空间

• 语言模型解码器：基于Qwen2.5-VL初始化(7B/32B参数)

该架构将高分辨率图像、多视图输入、视频帧、语言指令和场景图编码为统一的多模态标记序列，实现了对环境的整体理解、目标导向推理和长程规划。特别值得注意的是其异构并行策略，针对视觉和语言模块的不同特性优化了管道并行与重计算策略，显著降低了内存开销。

2. 多模态训练数据集

RoboBrain2.0的训练基于全面且多样化的多模态数据集，涵盖三大核心领域：

通用多模态理解：整合约870万高质量样本，包括标准视觉问答、区域级查询、OCR视觉问答及多轮视觉对话，优化了语言表达的多样性与语义一致性。

空间感知数据：包含四大子类：

• 视觉定位数据集(150万张高分辨率图像，标注物体边界框)

• 物体指向数据集(190万问答对，基于60万张图像)

• 功能性数据集(560万问答对，覆盖物体功能和空间放置区域)

• 空间理解数据集(820万样本，覆盖31种空间概念)

时间建模数据：聚焦长期规划和交互推理：

• 自我视角规划数据集(50万样本，多帧视频和多样化提示模板)

• 机器人操作规划数据集(100万问答对，覆盖102场景107任务)

• 多机器人规划数据集(44万样本，模拟家庭、超市和餐厅场景)

• 闭环交互数据集(覆盖120个室内环境，4000个交互对象)

3. 三阶段训练策略

RoboBrain2.0采用渐进式三阶段训练策略，逐步增强其具身能力：

第一阶段：基础时空学习 通过480万样本训练模型理解空间感知和时间序列，涵盖密集标注、物体定位、图文文档和基础视频问答等任务，建立物体、空间关系和运动事件的基础知识。

第二阶段：具身时空增强 引入22万高分辨率、多视角和自我视角视频样本，强化视角指代、3D功能估计和场景图构建等能力，重点提升长期时间依赖建模和多主体协调能力。

第三阶段：具身情境中的推理链 采用监督微调(19万样本)和强化微调(4.5万样本)两阶段框架，通过多轮推理示例增强高层次推理能力，优化长期任务规划和多主体协作的决策质量。

4. 基础设施优化

项目采用智源自研的FlagScale训推一体框架，集成多项创新优化技术：

训练优化：

• 混合并行策略：结合数据并行、张量并行和管道并行

• 内存预分配：填充样本到最大序列长度，减少内存碎片

• 高吞吐I/O管道：定制数据格式，动态混合多模态数据

• 分布式数据加载与容错机制：确保大规模训练稳定性

推理优化：

• FlagScale多后端推理框架

• 混合位量化策略：平衡性能与效率

• VeRL强化学习框架：通过RLVR增强模型能力

• 细粒度计算-通信重叠：提升实时性能

这些优化使全链路平均响应时延低至3ms以下，端云通信效率提升27倍，整体性能较1.0版本提升30%。

四、应用场景

1. 智能制造与工业自动化

在智能工厂中，搭载RoboBrain2.0的机械臂展现出超精密操作能力。实验数据显示，该系统能识别0.1毫米的接口偏移，将手机零件组装良率提升17%。其毫米级精度的空间感知与闭环控制特性，使其特别适合半导体制造、精密仪器组装等高精度工业场景。

系统强大的多机协同规划能力可优化工厂物流效率，实现原材料、在制品和成品的自动化流转。与单机系统相比，多机器人协作系统能根据订单需求动态调整资源配置，显著降低生产周期和库存成本。

2. 物流与仓储管理

RoboBrain2.0在仓储物流领域展现出群体智能优势。实际部署表明，20台物流机器人通过实时场景图共享，能在货架间自主分流，使补货效率提高40%。系统能够理解"超市补货要绕开拥挤通道"这类人类本能策略，避免传统仓储机器人常见的拥堵和碰撞问题。

其创新的动态场景图更新机制使机器人能实时感知货架状态变化，自动调整补货优先级和路径规划。在双十一等高峰时段，这种自适应能力可确保仓储系统在压力下的稳定运行。

3. 家庭服务与辅助生活

轻量级7B模型可运行于手机级设备，使服务机器人成本降至万元级，为家庭应用提供可能。系统能完成复杂家务链式任务，如视频展示的"制作汉堡→根据饮食需求选择饮料→餐后清理"的全流程。

对老年人或残障人士，该系统可实现情境感知的辅助服务，如识别跌倒风险、自动调整家居环境(照明、温度)、提醒服药等。开发者已基于其模块化架构开发出手语识别模块，让残障人士通过手势控制机械臂。

4. 应急救援与特殊环境作业

32B工业版突破了50项极端场景测试，在强磁干扰、浓烟环境下仍保持稳定工作。在地震救援中，机器狗群通过RoboBrain2.0的3D场景共享与协同路径规划，能在30秒内生成覆盖废墟的搜救路径，比传统方案快3倍。

在核电站检查、地下管道维护等危险场景中，系统的抗干扰能力和闭环反馈机制可确保在强辐射、高温、低可见度等条件下的可靠操作。项目负责人黄铁军指出："当它钻入塌楼缝隙探测生命体征时，人类的手与眼，第一次实现了原子世界的延伸。"

5. 医疗护理与手术辅助

RoboBrain2.0的亚毫米级空间精度和抗干扰性能为微创手术机器人提供了理想的大脑。实验显示，在模拟手术环境中，系统能准确执行"将探针插入1毫米孔洞"等高精度操作。

在护理场景中，系统可理解复杂医疗指令，如"每两小时帮助病人翻身并检查褥疮情况"，自动分解为具体动作序列，并记录执行结果供医护人员查阅。这种能力显著减轻了护理人员的工作负担。

五、相关链接

• 项目主页：https://superrobobrain.github.io

• GitHub仓库：https://github.com/FlagOpen/RoboBrain2.0

• 技术报告(arXiv)：https://arxiv.org/pdf/2507.02029v1

六、总结

RoboBrain2.0作为当前全球最强的开源具身大脑大模型，通过创新的模块化架构设计、全面的多模态数据集和渐进式三阶段训练策略，在空间推理、任务规划和多机协作等核心能力上实现了突破性进展。其毫米级空间感知、74%提升的任务规划准确率、0.05秒的多机响应速度等硬指标，以及在实际场景中展现的制造精度提升、物流效率优化和救援速度突破，充分验证了技术的实用价值。该项目不仅提供了完整的开源栈(框架代码、模型权重、数据集与评测基准)，更通过RoboOS 2.0的深度集成，构建了从感知到执行的完整智能闭环，为具身智能研究和产业应用树立了新的标杆。