本发明涉及图像处理，具体涉及一种基于三维高斯表征的室内复杂场景高保真实时渲染方法。
背景技术：
1、在三维场景实时高逼真渲染领域，传统的基于点云和三角面片的建模方式由于存在的空洞、纹理贴合问题，难以达到照片级的真实感渲染要求。为解决这一问题，谷歌在2020年提出了隐式神经辐射场（nerf）技术，它利用深度学习方法能够生成极其逼真的新视角影像，显著提高了渲染的细节表现力。尽管nerf技术在静态场景渲染的质量上有显著提升，但它无法实现实时高效的渲染速度。
2、针对这一瓶颈，最新的研究成果3d gaussian splatting（3d gs）在siggraph2023大会上以其卓越的表现被评为最佳论文。该技术不依赖于神经网络的隐式场景表示，转而从运动恢复结构（structure from motion，sfm）产生的稀疏点云着手，采用可学习的3d高斯函数来构建场景表达，并通过“抛雪球”式的splitting方法实现高效的实时渲染，能够在1080p分辨率下达到优于包括mip-nerf360在内的nerf类方法的峰值信噪比。
3、然而，3d gs方法并非完美无缺，对于包含大量弱纹理区域的复杂室内场景，可能会在渲染视图中产生明显的空中漂浮物现象，导致渲染质量下降。此外，对于大尺度室内场景，基于sfm方法估计的相机位姿精度有限，这会导致生成的稀疏特征点云出现几何失真，进而影响到最终的渲染效果。总体而言，3d gs是在寻求实时高质量渲染与现有技术局限性之间平衡的一种新尝试，但仍面临特定应用场景下的优化挑战。
技术实现思路
1、为了应对大尺度、高复杂室内场景下的三维渲染需求，本发明提出了一种基于三维高斯表征的室内复杂场景高保真实时渲染方法，包括步骤：
2、s1：通过全景激光扫描仪获取室内场景的彩色激光雷达点云、组合式全景影像和高精度影像位姿；
3、s2：通过对彩色激光雷达点云进行三维高斯表征下的初始化处理，获得点云中各点的椭球态三维高斯场景表征；
4、s3：通过隐点移除算法根据高精度影像位姿对彩色激光雷达点云进行处理，获得无效遮挡点云滤除下相应相机位姿视角的点云；
5、s4：根据滤除后的点云获取对应相机位姿视角的稀疏深度图，并通过深度补全算法进行深度补全处理；
6、s5：通过可微光栅化渲染算法对三维高斯初始化的场景进行渲染处理，获取相应相机位姿视角的渲染影像和渲染深度；
7、s6：根据对应相机位姿视角下的影像和补全后的深度图与渲染影像和渲染深度获取损失误差；
8、s7：通过反向传播优化三维高斯的参数进行损失误差控制下的模型迭代，并利用迭代后的模型对目标场景进行实时渲染。
9、进一步地，所述s1步骤具体包括如下步骤：
10、在全景激光扫描仪移动过程中，通过连续采集获取室内场景的激光雷达点云数据，通过稀疏采集获取组合式影像数据；
11、根据三维全景激光扫描设备采集的数据，通过数据处理生成彩色激光雷达点云、组合式全景影像和高精度影像位姿。
12、进一步地，所述s2步骤中，椭球态三维高斯场景的表征通过如下公式获取：
13、
14、式中，为场景表征，为三维高斯椭球的空间分布，为三维高斯椭球的透明度，为三维高斯椭球的中心位置，t为向量转置运算，为协方差矩阵。
15、进一步地，所述s3步骤中，隐点移除算法通过分析点云数据的局部几何特征进行无效遮挡点云的滤除。
16、进一步地，所述s4步骤中，通过ip-basic算法进行深度补全处理。
17、进一步地，所述s6步骤中，损失误差通过如下公式获取：
18、
19、式中，为渲染影像，为对应相机位姿视角下的影像，为影像损失，为渲染深度，为对应相机位姿视角下补全后的深度图，为深度损失，为权重系数，为结构相似性损失，为损失误差。
20、进一步地，所述s7步骤中，三维高斯参数包括位置、透明度、协方差、表征颜色的球谐系数。
21、进一步地，所述s7步骤中，通过梯度下降的方式对三维高斯参数进行迭代优化。
22、与现有技术相比，本发明至少含有以下有益效果：
23、本发明所述的一种基于三维高斯表征的室内复杂场景高保真实时渲染方法，针对于复杂室内场景，通过三维全景激光扫描系统获取更为精确的点云和位姿信息，并利用三维高斯函数椭球化表征场景内容，减少空洞和纹理混叠，而对深度的正则化约束，则使之能够有效解决室内场景中因存在大量弱纹理区域而导致的新视角合成影像中会产生空中漂浮物的问题，提高了整体渲染质量。
1.一种基于三维高斯表征的室内复杂场景高保真实时渲染方法，其特征在于，包括步骤：
2.如权利要求1所述的一种基于三维高斯表征的室内复杂场景高保真实时渲染方法，其特征在于，所述s1步骤具体包括如下步骤：
3.如权利要求1所述的一种基于三维高斯表征的室内复杂场景高保真实时渲染方法，其特征在于，所述s2步骤中，椭球态三维高斯场景的表征通过如下公式获取：
4.如权利要求1所述的一种基于三维高斯表征的室内复杂场景高保真实时渲染方法，其特征在于，所述s3步骤中，隐点移除算法通过分析点云数据的局部几何特征进行无效遮挡点云的滤除。
5.如权利要求1所述的一种基于三维高斯表征的室内复杂场景高保真实时渲染方法，其特征在于，所述s4步骤中，通过ip-basic算法进行深度补全处理。
6.如权利要求1所述的一种基于三维高斯表征的室内复杂场景高保真实时渲染方法，其特征在于，所述s6步骤中，损失误差通过如下公式获取：
7.如权利要求1所述的一种基于三维高斯表征的室内复杂场景高保真实时渲染方法，其特征在于，所述s7步骤中，三维高斯参数包括位置、透明度、协方差、表征颜色的球谐系数。
8.如权利要求1所述的一种基于三维高斯表征的室内复杂场景高保真实时渲染方法，其特征在于，所述s7步骤中，通过梯度下降的方式对三维高斯参数进行迭代优化。
