HumanRig：业界首个专门针对3D人形角色绑定设计的大规模数据集

一、HumanRig是什么

HumanRig是高德地图在3D数字人技术领域推出的核心引擎，旨在解决业内自动化3D角色绑定技术面临的数据集缺乏问题，推动动画行业向更高效、更自动化的角色绑定方向发展。HumanRig不仅仅是一个技术或工具，更是一个包含大规模数据集和创新自动绑定算法的完整解决方案。

二、功能特色

1. 大规模专用数据集

• HumanRig数据集是业界首个专门针对3D人形角色绑定设计的大规模数据集。它包含了11,434个遵循统一骨骼拓扑结构的T姿态网格，这些网格覆盖了广泛的角色类型和体型比例，从真实人物到卡通角色，甚至拟人化动物，充分满足了多样化应用的需求。

• 数据集的高质量不仅体现在数量上，更体现在每个样本的完整性上。每个样本都包括绑定骨骼的T姿态网格、3D骨架关节位置、蒙皮权重矩阵、前视图图像（含相机参数）及2D骨架关节位置，为自动绑定算法提供了全面的训练数据。

2. 创新自动绑定算法

• 基于HumanRig数据集，高德提出了一种创新的自动绑定算法。该算法通过结合先验引导的骨架估计器（PGSE）、U形Point Transformer网格编码器和网格-骨架互注意力网络（MSMAN），实现了从粗到细的3D骨架关节回归和鲁棒的蒙皮权重估计。

• 与传统的GNN-based方法相比，HumanRig的自动绑定算法在处理复杂AI生成网格时表现出更高的鲁棒性和准确性。它能够更精确地捕捉角色的骨骼结构，并生成更符合角色特征的蒙皮权重，从而生成更自然、更逼真的3D角色动画。

3. 降低动画制作成本

• HumanRig的推出大幅度降低了角色动画制作成本。传统的角色动画制作需要手工绑定骨骼和蒙皮，耗时耗力且成本高昂。而HumanRig通过提供自动化的绑定解决方案，使得制作人员能够更快速地生成高质量的3D角色动画，从而提高了制作效率并降低了成本。

4. 支持多样化应用场景

• HumanRig不仅支持传统的动画制作场景，还广泛应用于IP语音包（含3D车标及动态皮肤）、个性化3D数字人等创新业务场景。这些应用场景的多样化需求进一步验证了HumanRig的实用性和灵活性。

三、技术细节

1. 先验引导的骨架估计器（PGSE）

• PGSE是HumanRig自动绑定算法的核心模块之一。它利用来自模型正视图的二维骨架先验信息，并借助摄像机参数将其投影为近似的三维位置。通过提供初始估计，PGSE大大简化了从三维网格几何直接学习骨架位置的任务。

• 在实现过程中，PGSE首先对RTMPose进行微调以准确预测二维模板关节。然后，每个二维关节被回投影为一条射线，通过计算每条射线与网格表面的交点并使用每个三维粗略关节的第一次和最后一次交点的中点来得到粗略的三维骨架。

2. U形Point Transformer网格编码器

• U形Point Transformer是HumanRig中的网格编码器，用于提取深度网格特征。与传统的GNN-based网格编码器相比，U形Point Transformer在处理AI生成网格时表现出更好的泛化能力。

• 它通过结合局部几何特征和全局语义特征来生成高质量的网格特征表示。这些特征表示随后被用于后续的骨架构建和蒙皮权重估计任务中。

3. 网格-骨架互注意力网络（MSMAN）

• MSMAN是HumanRig中的另一个核心模块，用于在高级语义空间中融合网格与骨架特征。通过实现骨架构建与蒙皮的联合优化，MSMAN能够生成更符合角色特征的蒙皮权重。

• 在实现过程中，MSMAN首先通过MLP骨架编码器和U形Point Transformer网格编码器分别提取骨架和网格特征。然后，这些特征通过MSMAN进行更深层的特征融合，以生成最终的蒙皮权重估计。

四、应用场景

1. 动画制作

• HumanRig为动画制作提供了高效的自动绑定解决方案。制作人员可以利用HumanRig快速生成高质量的3D角色动画，从而提高制作效率并降低成本。

• 在动画制作过程中，HumanRig还支持对角色进行多样化的修改和调整。例如，可以调整角色的体型比例、骨骼结构或蒙皮权重等参数以生成不同风格的动画效果。

2. IP语音包

• HumanRig支持为IP语音包生成3D车标及动态皮肤等特效元素。这些特效元素不仅丰富了语音包的视觉效果，还提高了用户的互动体验。

• 通过结合HumanRig的自动绑定算法和3D建模技术，制作人员可以快速地生成符合角色特征的特效元素，并将其应用到IP语音包中。

3. 个性化3D数字人

• HumanRig还支持生成个性化的3D数字人形象。这些数字人形象可以用于虚拟主播、虚拟客服等应用场景中，为用户提供更自然、更逼真的交互体验。

• 通过利用HumanRig的自动绑定算法和大规模数据集，制作人员可以快速地生成符合用户需求的个性化数字人形象，并对其进行多样化的定制和调整。

五、相关链接

• 项目主页：HumanRig项目主页

• 论文链接：HumanRig: Learning Automatic Rigging for Humanoid Character in a Large Scale Dataset

• 开源地址：https://github.com/c8241998/HumanRig

六、总结

HumanRig作为高德地图在3D数字人技术领域推出的核心引擎，通过提供大规模专用数据集和创新自动绑定算法，推动了动画行业向更高效、更自动化的角色绑定方向发展。HumanRig的功能特色包括大规模专用数据集、创新自动绑定算法、降低动画制作成本以及支持多样化应用场景等。在技术细节方面，HumanRig结合了先验引导的骨架估计器、U形Point Transformer网格编码器和网格-骨架互注意力网络等模块，实现了从粗到细的3D骨架关节回归和鲁棒的蒙皮权重估计。在应用场景方面，HumanRig广泛应用于动画制作、IP语音包和个性化3D数字人等领域。通过访问HumanRig的项目主页和论文链接，用户可以更深入地了解HumanRig的技术细节和应用前景。总的来说，HumanRig是一项具有重要创新意义的技术成果，为3D数字人技术的发展注入了新的活力。