InteriorGS：群核科技开源的高质量3D高斯语义数据集

InteriorGS是什么？

InteriorGS是由群核科技(SpatialVerse)研发的高质量3D高斯语义数据集，其核心在于将3D高斯溅射(3D Gaussian Splatting, 3DGS)技术与语义理解深度融合，构建了一个既包含几何细节又富含语义信息的空间智能训练平台。与传统的点云或网格表示不同，该项目创新性地采用3D高斯作为基础表征形式，实现了对室内环境的高效重建与语义标注。

数据集包含三大核心组成部分：

• 3D高斯场景表示：1000个精细建模的室内场景，每个场景通过数百万个自适应3D高斯椭球体进行参数化表示，支持高质量实时渲染

• 实例级语义标注：所有物体均带有精确的语义标签和实例级边界框，覆盖家具、装饰、建筑结构等80余类室内物体

• 智能体运动先验：特别提供了表示智能体可访问区域的占用图(Occupancy Map)以及地面机器人(红色轨迹)和无人机(黄色轨迹)的典型导航路径

这一数据集的发布填补了从3D感知到空间认知的关键空白，使得AI系统不仅能"看到"三维世界，更能"理解"环境中物体的语义关系与空间约束，为具身智能的全面发展奠定了数据基础。

功能特色

多模态空间数据融合

InteriorGS最显著的特点是打破了3D几何与语义信息的壁垒，实现了视觉外观、几何结构和语义理解的统一表征。传统3D数据集往往将几何重建与语义标注作为独立环节处理，导致语义信息与几何细节难以精确对齐。而InteriorGS在3D高斯重建过程中即融入语义分析，每个高斯椭球体不仅携带位置、尺度和颜色信息，还关联着语义标签和实例ID，形成了真正的几何-语义一体化表。

动态智能体运动支持

区别于静态场景数据集，InteriorGS专门设计了支持智能体自由运动的特性。数据集不仅包含环境静态信息，还提供了：

• 多视角运动轨迹：包括地面机器人(红色)和无人机(黄色)在不同场景中的典型导航路径

• 可穿越性分析：通过占用图明确标注哪些区域可供特定类型智能体通行

• 物理交互热点：标识环境中可交互物体(如可开关的门窗、可移动的椅子)及其交互参数

这些特性使InteriorGS特别适合训练能够在连续3D空间中自主导航和交互的智能体系统，弥合了仿真训练与现实部署的鸿沟。

高效的场景重建与渲染

基于3D高斯表示的技术路线，InteriorGS在场景重建效率和渲染质量上实现了突破性平衡：

• 快速场景重建：相比传统NeRF等体积渲染方法，3DGS将场景重建速度提升10倍以上

• 实时高清渲染：支持1080p分辨率下超过60FPS的实时渲染，满足交互式应用需求

• 自适应细节：高斯椭球体的密度和分布自动适应场景复杂度，在细节丰富区域(如装饰花纹)自动增加采样

这一高效性使得研究者可以在消费级GPU上处理大规模3D场景，大幅降低了空间智能研究的硬件门槛。

与空间大模型的深度集成

InteriorGS并非孤立的数据集，而是群核科技空间智能生态系统的核心组成部分。数据集与自研的SpatialLM空间大模型深度集成，形成了"数据-模型-平台"的完整闭环：

1. SpatialLM分析：对3D高斯场景进行深度语义解析，识别物体、结构及其空间关系

2. 物理仿真增强：通过SpatialVerse平台添加物理属性和交互可能性

3. Sim2Real转换：生成的增强数据可直接用于现实世界机器人训练

这种集成使InteriorGS超越了传统数据集仅提供"静态快照"的局限，成为动态演化、持续增强的活体数据系统。

技术细节

3D高斯溅射技术实现

InteriorGS的核心技术基础是3D Gaussian Splatting(3DGS)，这是一种新兴的3D场景表示方法。相较于传统的点云、网格或体素表示，3DGS具有以下技术优势：

数据结构：

• 每个场景由数百万个3D高斯椭球体组成，每个椭球体参数包括：

• 中心位置μ ∈ ℝ³

• 协方差矩阵Σ ∈ ℝ³ˣ³（控制椭球形状和朝向）

• 不透明度α ∈ [0,1]

• 球谐系数（控制视角相关的外观颜色）

• 椭球体通过可微分渲染投影到2D图像平面，形成最终渲染结果

重建流程：

1. 初始点云生成：通过多视角立体匹配(MVS)从原始图像序列重建稀疏点云

2. 高斯初始化：为每个点云点创建初始高斯椭球体

3. 自适应优化：通过梯度下降动态调整椭球参数(位置、形状、外观)，同时进行拓扑优化(分裂、合并、删除)

4. 语义融合：在优化过程中同步注入语义信息，确保几何与语义一致性

这种表示方法兼具点云的高效性和神经渲染的高质量，在保持实时性能的同时实现了照片级真实感。

语义标注与空间理解

InteriorGS的语义系统建立在多层级标注架构上：

1. 实例级标注：

• 每个可分离物体分配唯一实例ID

• 精确的3D边界框(带朝向)

• 功能分类(如"椅子"、"门"、"桌子")

2. 部件级标注：

• 复杂物体的组成部件(如"抽屉"、"桌腿")

• 运动链关系(如铰链连接的柜门)

3. 空间关系标注：

• 物体间的支撑关系(如"花瓶在桌子上")

• 功能区域划分(如"厨房区"、"休息区")

这些标注并非人工手动添加，而是通过群核科技自研的SpatialLM空间理解模型自动生成并验证。SpatialLM通过分析3D高斯分布的空间统计特性(如密度变化、法线一致性)来推断语义边界，其准确率在标准测试中超过92%。

数据采集与处理管线

InteriorGS的数据生产采用工业化流水线，确保数据质量和规模的可扩展性：

1. 原始采集：

• 使用专业3D扫描设备(如LiDAR+RGB-D相机阵列)

• 每个场景平均捕获500+多视角图像

• 同步记录相机轨迹和IMU数据

2. 几何重建：

• 定制化的3DGS优化管线

• 支持分布式计算，单场景重建时间<4小时

• 自动几何修复(填补缺失区域)

3. 语义增强：

• SpatialLM自动标注

• 关键场景人工校验

• 物理属性添加(质量、摩擦系数等)

4. 仿真就绪：

• 生成统一格式的SpatialVerse兼容数据

• 添加动态交互元素

• 生成多模态变体(不同光照、布局)

这套管线使得InteriorGS能够以每周20+新场景的速度持续扩展，保持数据的前沿性和多样性。

应用场景

具身智能与机器人导航

InteriorGS最直接的应用是训练具身智能体的空间认知与导航能力。通过数据集提供的丰富语义环境和运动轨迹，研究者可以：

• 开发导航算法：在多样化的室内环境中测试路径规划、避障和定位算法

• 训练视觉定位：利用3D高斯场景的多视角一致性，训练稳健的视觉里程计

• 模拟人机交互：基于语义标注研究机器人如何理解和操作家居物品

已公开案例显示，使用InteriorGS训练的导航模型在Sim2Real迁移测试中表现优异，从仿真到真实环境的成功率提升35%以上。

虚拟现实与数字孪生

InteriorGS的高质量3D表示使其成为VR内容创作的理想基础：

• 快速场景构建：设计师可直接导入3DGS场景到Unity/Unreal引擎

• 动态场景编辑：基于高斯表示支持实时几何修改和材质替换

• 沉浸式体验：保留原始场景的光照和材质特性，增强真实感

杭州某数字照相馆的案例表明，使用InteriorGS技术可在3天内完成传统方法需数周的场景数字化工作，且视觉效果更为逼真。

空间计算与智能家居

InteriorGS的语义丰富性为空间感知应用提供了新可能：

• 智能空间分析：自动识别房间功能分区和家具布局

• AR应用开发：基于精确3D注册实现稳定的AR内容叠加

• 家居自动化：理解环境后自动生成最优设备控制策略

英特尔与群核的合作项目利用InteriorGS数据训练的空间理解模型，在室内场景解析准确率上达到行业领先水平。

计算机视觉研究

作为通用3D数据集，InteriorGS推动了多个CV研究方向：

• 3D语义分割：基于点阵的语义分割新方法

• 新颖视角合成：利用3DGS实现高质量视角插值

• 场景理解：研究几何与语义的联合推理

斯坦福大学团队已使用InteriorGS开发出基于高斯表示的场景图生成算法，性能超越传统点云方法15%。

相关链接

• GitHub仓库： https://github.com/manycore-research/InteriorGS

• 数据集：https://huggingface.co/datasets/spatialverse/InteriorGS

总结

InteriorGS代表了当前3D语义数据集的最高技术水平，通过创新的3D高斯表示与深度语义融合，成功构建了一个支持智能体自由运动与交互的大规模虚拟环境库。该项目不仅解决了空间智能训练中的数据稀缺问题，更通过高效重建、精确标注和平台集成，形成了从数据生产到模型训练的完整闭环。无论是机器人导航算法的开发、VR内容的快速创建，还是空间计算应用的创新，InteriorGS都提供了坚实的基础设施。作为具身智能领域的"ImageNet"，它的开源发布必将加速三维空间智能的研究进程，推动AI系统从被动感知向主动理解和交互的范式转变。