2分钟建模!AI框架GauHuman:实现高质量3D人体快速重建和实时渲染

站长之家 2024-01-11 11:11:23新闻资讯
19

南洋理工大学与商汤科技的S-Lab团队近日发布了一项令人振奋的研究成果,推出了基于Gaussian Splatting的高效3D人体建模框架,被命名为GauHuman。该框架在快速重建和实时渲染方面取得了显著的突破,为数字领域的人体建模提供了高效解决方案。

GauHuman的主要特点之一是其在短时间内完成3D人体建模的能力。通过利用Gaussian Splatting技术,该框架仅需1到2分钟即可完成对单目人体视频的建模,这一速度远远领先于现有的方案。不仅如此,GauHuman还实现了高达189帧每秒的实时渲染,为用户提供更加流畅和逼真的体验。

GauHuman.png

这一框架的应用前景也非常广泛,覆盖了游戏、电影制作、虚拟现实等多个领域。用户只需提供一段单目人体视频以及相应的相机参数和人体动作体形参数(SMPL),即可在短时间内完成对3D数字人的高质量建模。这使得GauHuman在数字创意领域具有巨大的潜力,为创作者提供了更灵活、高效的工具。

GauHuman的建模框架基于Gaussian Splatting,并受到了之前人体神经辐射场(Human NeRF)的启发。通过对标准空间下的3D人体进行建模,再利用线性蒙皮算法(Linear Blend Skinning,LBS)将其转换到目标空间,GauHuman有效地解决了传统方法中的一些难题。在优化算法方面,GauHuman通过3D高斯球的初始化、分裂/克隆/合并操作以及剪枝等手段,进一步提高了建模效率和质量。

在实验中,GauHuman在ZJU_MoCap和MonoCap两个单目人体数据集上进行了比较,与多个先进的3D人体重建方法相比,包括NB、AN、AS、HumanNeRF等,GauHuman在PSNR、SSIM和LPIPS指标上表现出色,验证了其在性能上的卓越。

研究团队表示,虽然GauHuman已经取得了显著的成果,但仍存在一些待解决的问题,如如何从3D高斯中提取人体mesh以及从单目视频中恢复3D人体的细节等。不过,他们对GauHuman的未来发展充满信心,同时已经将代码完全开源,鼓励广大开发者共同参与,共同推动这一领域的研究和创新。

**参考链接:**

[GauHuman论文]https://arxiv.org/abs/2312.02973

[代码开源]https://github.com/skhu101/GauHuman

ai
THE END
tom
不图事事圆满 但图事事甘心。

相关推荐

开源建模软件(Blender)4.1 正式发布:引入新文件处理 API、改善 GPU 硬件加速
Blender 是一款功能强大、免费、开源和跨平台的三维图形计算机软件,适用于 GNU / Linux、macOS 和 Windows 系统。Blender 4.1 的亮点之一是引入了全新的文件处理程序 API,让...
2024-03-28 新闻资讯
33

MovieLLM:快速合成电影级视频的AI框架
​近日,复旦大学和腾讯PCG的研究人员共同开发了一个名为MovieLLM的新颖框架,该框架能够从简单的文本提示中生成高质量、电影级别的视频数据。令人惊讶的是,MovieLLM甚至能仅...
2024-03-07 新闻资讯
20

阿里ReplaceAnything框架火了:照片中万物皆可AI替换
由阿里巴巴集团智能计算研究院团队成员提出了ReplaceAnything框架。这一框架具有极高的灵活性,可广泛应用于人物替换、服装替换、背景替换等多个场景。简单的说,现在只需框住...
2024-01-15 新闻资讯
13

阿里AI换脸框架ReplaceAnything使用图文教程
最近,阿里阿里智能计算研究院提出的ReplaceAnything框架火了。那么,ReplaceAnything要怎么用呢?本文就给大家介绍下ReplaceAnything的使用方法,有需要的朋友可以参考下。
2024-01-15 新闻资讯
120

ReplaceAnything:阿里推出的万物替换AI框架
阿里智能计算研究院最新提出的ReplaceAnything框架引发了社区热议。这一框架通过AI技术,可以实现对万物的替换,包括服装、证件照背景、人脸和背景等多个方面。这种技术的应用...
2024-01-15 新闻资讯
10

5款非常好用的免费数据库建模工具推荐
数据库的Schema是一个数据库的设计的蓝图,他能够准确表述数据库的结构、数据类型、外键约束等信息。设计一个科学稳健的数据库Schema是开发任何程序或网站的非常重要一步。下...
2023-12-13 编程技术
18