三维高斯泼溅 3DGS 是什么？用无数个高斯“小椭球”实时渲染三维场景

三维高斯泼溅（3D Gaussian Splatting，3DGS）是一种用于实时辐射场渲染的三维重建技术，由法国国家信息与自动化研究所（Inria）和马克斯·普朗克研究所的研究人员在 2023 年提出，论文标题是《用于实时辐射场渲染的三维高斯泼溅》，获得了 SIGGRAPH 2023 的最佳论文奖。它也常被翻译为三维高斯散射或高斯溅射。

它解决什么问题

新视角合成是指：拍摄一个场景的若干张照片，然后生成从任意新角度看这个场景的画面，就像拥有了这个场景的三维模型，可以自由地转动视角观看。2020 年提出的神经辐射场（NeRF）在这方面取得了很大的突破，画质非常逼真，但它用一个神经网络来表示整个场景，渲染每一张图片都要在每条光线上采样大量的点、反复调用网络，速度很慢，训练也要花很长时间，难以实时使用。

3DGS 怎么做

3DGS 换了一种表示场景的方式：不用神经网络，而是用成千上万甚至数百万个三维高斯函数来表示场景。每个高斯可以想象成一个半透明的、可以拉伸旋转的彩色小椭球，它有几个可以学习的属性：中心位置、形状和朝向（协方差）、不透明度，以及颜色，颜色会随观察角度变化，用球谐函数表示。整个场景就是这些小椭球的集合。

渲染时，把这些三维高斯投影到二维的屏幕上，变成一个个二维的“光斑”，再按照远近顺序把它们的颜色混合叠加起来，这个过程叫“泼溅”，可以用 GPU 的光栅化高效完成，速度极快。训练时，从相机拍摄的照片出发，先用一个稀疏的点云初始化高斯，然后不断比较渲染结果和真实照片，调整每个高斯的属性；同时在细节不足的地方自动增加、分裂高斯，在多余的地方删除高斯，让表示越来越精细。

效果和应用

3DGS 在画质上达到甚至超过了当时最好的 NeRF 方法，同时能以每秒 100 帧以上的速度在 1080p 分辨率下实时渲染，训练时间也大幅缩短。它迅速成为三维视觉领域最热门的技术之一，衍生出了动态场景、三维生成、大场景重建、编辑等大量后续研究。它被应用于虚拟现实和增强现实、数字孪生、文物和建筑的数字化、影视特效、自动驾驶仿真、电商的三维商品展示等领域。