本发明属于三维视觉，具体涉及一种适用于含有透光材料的物体点云重建系统及方法。
背景技术：
1、三维视觉是计算机视觉的一个重要分支，专注于理解和处理三维空间中的图像和场景，涉及使用计算机和数字图像处理技术来获取、分析和呈现三维世界的信息。近年来，由于三维传感技术的飞速发展和三维几何数据的爆炸式增长，三维视觉研究突破传统的二维图像空间，实现三维空间的分析、理解和交互。
2、目前针对含有透光材料的物体点云重建系统主要有基于特征点匹配的点云重建系统、体素化重建系统和三维扫描仪系统等，但各个系统均存在各种不足；其中基于特征点匹配的点云重建系统的主要缺陷有：1）计算复杂：特征点提取和匹配通常需要大量的计算资源和时间，尤其是在处理大规模点云时，这将会限制系统的实时性能，且透光材料的区域一般特征点较少，很难进行准确的匹配和重建；2）噪声和失真：特征点匹配容易受到传感器噪声、光照变化和失真的影响，这些因素可以导致误匹配或点云重建的不稳定性；3）数据依赖性：利用特征点匹配进行的点云重建，对于由物体表面透光材质引起深度相机发射的光脉冲出现透射现象，会使采集到的点云数据中出现大量异常点，这些异常点会影响点云特征提取算法对特征点的误判，最终导致重建失败或重建精度较低。体素化重建的主要缺陷是重建精度不够理想。三维扫描仪系统在性能上较为理想，但主要缺陷有：安装复杂，价格也偏高。综上可知，目前市场上迫切需要一种能对含有透光材料的物体进行三维点云重建的价格低廉、操作简单的系统。
技术实现思路
1、为了解决上述技术问题，本发明提出了一种能够大幅度降低透光能力强造成的目标物体的深度信息的误差，实现成本低、扩展性强的物体三维重建系统，包括转台、rgb-d相机、相机支架、目标物体和apriltag标定板。
2、转台用于支撑和旋转目标物体，将其不同角度呈现给相机进行数据采集。rgb-d相机具备拍摄rgb彩色图像和捕捉深度信息的能力，用于采集物体的视觉数据。相机支架用于稳定安装rgb-d相机，确保它在数据采集过程中保持适当的位置和角度。目标物体部分表面由透光材料组成。apriltag标定板放置于转台上，为图像提供定位和定向信息。
3、基于上述点云重建系统，本发明还提供一种适用于含有透光材料的物体点云重建方法，包括以下步骤：
4、步骤1，启动点云重建系统，自动采集目标物体不同视角的rgb图像和深度图像；
5、步骤2，将rgb图像和深度图像对齐，提取rgb图像中的apriltag角点，求解相机坐标系中的每个角点到apriltag坐标系对应点的旋转矩阵和平移矩阵，得到rgb-d相机的外部参数；
6、步骤3，将对齐后的不同视角的rgb图像和深度图像数据进行融合，剔除与邻域点的欧氏距离平均值大于设定阈值的噪声点，并根据亮度梯度确定透光区域的具体位置，剔除由于透光材料导致的异常点，得到点云；
7、步骤4，采用平面模型分割算法对剔除异常点后的点云进行分割，提取目标物体。
8、而且，所述步骤1中启动点云重建系统后，转台开始匀速旋转，使放置于其上的目标物体也随之匀速旋转。rgb-d相机根据实际需要每隔一定时间采集一张目标物体的rgb图像和一张目标物体的深度图像，以获取目标物体在不同视角的数据。
9、而且，所述步骤2中通过rgb传感器和tof传感器实际摆放的物理间隔和夹角得到rgb图像和深度图像的对齐系数，实现两者之间的对齐，对于每次rgb-d相机自动采集的数据，均利用对齐系数将rgb图像和深度图像对齐。对采集到的rgb图像进行灰度化处理，然后进行边缘提取，得到每个apriltag的角点。像素坐标系以图像左上角为原点， u轴为水平向右， v轴为垂直向下。假设一幅rgb图像中有 n个apriltag角点，在rgb图像中的坐标为，对应在深度图像的深度值为，根据识别到的apriltag角点的id值，得到其在apriltag坐标系的三维坐标值为， z坐标为0，apriltag坐标系的原点位于apriltag标定板的左下角， x方向与 y方向分别与apriltag标定板初始位置的两边长重合， z轴垂直于标定板平面向上，该坐标系符合右手坐标系。
10、相机坐标系的坐标原点位于相机的光学中心， x轴指向相机的右侧，垂直于光学轴，与图像平面平行， y轴指向相机的上方，垂直于光学轴，与 x轴和图像平面平行， z轴指向相机的观察方向，即指向被观察的场景，与光学轴平行；利用与rgb图像对齐的深度图，得到角点深度值，结合相机内参，将角点坐标从像素坐标系转换至相机坐标系中，坐标转换公式如下：
11、（1）
12、式中， u、 v为像素点在像素坐标系中的坐标值，分别表示相机在像素坐标系中 u、 v方向上的焦距，表示像主点的像素坐标， x、 y、z为像素点在相机坐标系中的坐标值，像素点在相机坐标系中的z值为深度值 d。
13、相机外参指的是相机的位姿，包括旋转矩阵 r和平移矩阵 t，假设存在多条光线，其中每一条都连接相机光学中心、三维目标点以及目标点在相机平面上的投影，将相机坐标系中的点用表示，apriltag坐标系中的点用表示，则求解相机外参即为求解相机坐标系中的每个点到apriltag坐标系对应点的旋转矩阵和平移矩阵；相机的外参通过调整使得表达式的值最小求得，表示2-范数的平方。
14、而且，所述步骤3中首先利用相机外参将对齐后的rgb图像和深度图像转换至apriltag坐标系，然后根据当前时刻的apriltag相比与初始时刻转过的角度，将该视角采集到的rgb图像和深度图像数据转换到最初时刻的apriltag坐标系下，实现多角度视图融合。计算多幅不同视角rgb图像和深度图像融合后的点云数据中每个点与其k邻域内点的欧氏距离，并计算所有欧氏距离的均值和标准差，取距离阈值，其中为常数，即比例系数，再次遍历点云，剔除与k个邻域点的欧氏距离的平均值大于的点。对于透光材料引起的异常点，先利用harris特征点检测方法提取rgb图像中的特征点，并将这些特征点均分成n个子集，接着计算子集内每个特征点周围区域的强度变化方向，以每个特征点为原点，作方向指向亮度变大的射线，若子集内存在一定数量的射线相交于共同的点，则认定这些点连接构成的闭合区域为透光材料区域，删除该区域内的特征点，逐个对子集里的特征点进行此判断删除操作，剔除异常数据。
15、而且，所述步骤4中将步骤1-3不断收集的目标物体各个角度的rgb图像和深度信息统一到最初时刻的apriltag坐标系下，剔除由于透光材料而引起异常点的数据处理后，得到多角度的融合后的点云数据。对每个点云进行筛选，在aptiltag坐标系中，去除 z坐标值小于0和 x、 y大于标定板尺寸的点，得到目标物体和转台的点云信息，对于与目标物体有接触面积的转台难分割的情况，采用平面模型分割算法，将融合后的点云数据分割为体素，对于每个体素只保留其中心点，设置迭代次数阈值、距离阈值和内点数量阈值，随机选择m个体素的中心点，利用ransac算法拟合平面方程，估计平面模型的参数。计算所有体素的中心点到估计平面的距离，将距离小于阈值的点作为内点，统计内点的数量，达到指定迭代次数或内点数量达到设定阈值，迭代停止。去除平面模型中的内点，即为去除转台点云，最终得到三维目标物体模型。
16、与现有技术相比，本发明具有如下优点：
17、1）通过自动化旋转转台和定期采集图像，实现了数据的自动化采集，降低了用户的操作干预，使数据采集更加高效，有助于提高点云重建系统的实时性能和数据采集的一致性；
18、2）通过分析捕获到的图像中的apriltag标签信息，计算得到相机的外部参数，包括位置和方向信息，为后续的数据处理和点云拼接提供可靠的基础，提高了点云重建的精度；
19、3）通过旋转目标物体获取不同角度的图像，并进行多角度视图融合得到更全面的物体视图，有助于减少遮挡并提供更多几何信息，从而提高点云重建的准确性和完整性；
20、4）考虑目标物体透光材料对深度信息的干扰，通过检测并去除由透光能力强造成的异常深度值的点，确保点云数据的准确性，解决了特征点匹配的噪声和失真问题；
21、5）相比市场上其他点云重建系统，本发明提供的点云重建系统结构相对简单，使用的设备较为常见，不需要复杂的安装过程，从而降低了系统的成本，并提供了操作的便捷性。
22、综上所述，本发明通过技术创新解决了目前点云重建系统存在的多种问题，提供了一种高效、精确、成本低廉且操作简单的适用于含有透光材料的物体点云重建系统及方法。
1.一种适用于含有透光材料的物体点云重建方法，其特征在于，
2.如权利要求1所述的一种适用于含有透光材料的物体点云重建方法，其特征在于：步骤1中启动点云重建系统后，转台开始匀速旋转，使放置于其上的目标物体也随之匀速旋转；rgb-d相机根据实际需要每隔一定时间采集一张目标物体的rgb图像和一张目标物体的深度图像，以获取目标物体在不同视角的数据。
3.如权利要求1所述的一种适用于含有透光材料的物体点云重建方法，其特征在于：步骤2中通过rgb传感器和tof传感器实际摆放的物理间隔和夹角得到rgb图像和深度图像的对齐系数，实现两者之间的对齐，对于每次rgb-d相机自动采集的数据，均利用对齐系数将rgb图像和深度图像对齐；对采集到的rgb图像进行灰度化处理，然后进行边缘提取，得到每个apriltag角点；像素坐标系以图像左上角为原点，u轴为水平向右，v轴为垂直向下，假设一幅rgb图像中有n个apriltag角点，在rgb图像中的像素坐标为，对应在深度图像的深度值为，根据识别到的apriltag角点的id值，得到其在apriltag坐标系的三维坐标值为，z坐标为0，apriltag坐标系的原点位于apriltag标定板的左下角，x方向与y方向分别与apriltag标定板初始位置的两边长重合，z轴垂直于标定板平面向上，该坐标系符合右手坐标系。
4.如权利要求3所述的一种适用于含有透光材料的物体点云重建方法，其特征在于：步骤2中相机坐标系的坐标原点位于相机的光学中心，x轴指向相机的右侧，垂直于光学轴，与图像平面平行，y轴指向相机的上方，垂直于光学轴，与x轴和图像平面平行，z轴指向相机的观察方向，即指向被观察的场景，与光学轴平行；利用与rgb图像对齐的深度图，得到角点深度值，结合相机内参，将角点坐标从像素坐标系转换至相机坐标系中，坐标转换公式如下：
5.如权利要求1所述的一种适用于含有透光材料的物体点云重建方法，其特征在于：步骤3中首先利用相机外参将对齐后的rgb图像和深度图像转换至apriltag坐标系，然后根据当前时刻的apriltag相比与初始时刻转过的角度，将该视角采集到的rgb图像和深度图像数据转换到最初时刻的apriltag坐标系下，实现多角度视图融合；计算多幅不同视角rgb图像和深度图像融合后的点云数据中每个点与其k邻域内点的欧氏距离，并计算所有欧氏距离的均值和标准差，取距离阈值，其中为常数，即比例系数，再次遍历点云，剔除与k个邻域点的欧氏距离的平均值大于的点。
6.如权利要求5所述的一种适用于含有透光材料的物体点云重建方法，其特征在于：步骤3中对于透光材料引起的异常点，先利用harris特征点检测方法提取rgb图像中的特征点，并将这些特征点均分成n个子集，接着计算子集内每个特征点周围区域的强度变化方向，以每个特征点为原点，作方向指向亮度变大的射线，若子集内存在一定数量的射线相交于共同的点，则认定这些点连接构成的闭合区域为透光材料区域，删除该区域内的特征点，逐个对子集里的特征点进行此判断删除操作，剔除异常数据。
7.如权利要求1所述的一种适用于含有透光材料的物体点云重建方法，其特征在于：步骤4中将步骤1不断收集的目标物体各个角度的rgb图像和深度信息统一到最初时刻的apriltag坐标系下，剔除由于透光材料而引起异常点的数据后，得到多角度的融合后的点云数据；对每个点云进行筛选，在aptiltag坐标系中，去除z坐标值小于0和x、y大于标定板尺寸的点，得到目标物体和转台的点云信息，对于与目标物体有接触面积的转台难以分割的情况，采用平面模型分割算法，将融合后的点云数据分割为体素，对于每个体素只保留其中心点，设置迭代次数阈值、距离阈值和内点数量阈值，随机选择m个体素的中心点，利用ransac算法拟合平面方程，估计平面模型的参数；计算所有体素的中心点到估计平面的距离，将距离小于阈值的点作为内点，统计内点的数量，达到指定迭代次数或内点数量达到设定阈值，迭代停止；去除平面模型中的内点，即为去除转台点云，最终得到三维目标物体模型。
8.如权利要求7所述的一种适用于含有透光材料的物体点云重建方法，其特征在于：步骤4中利用ransac算法拟合平面方程估计平面模型的参数的计算过程如下：
9.一种适用于含有透光材料的物体点云重建设备，其特征在于，包括处理器和存储器，存储器用于存储程序指令，处理器用于调用存储器中的程序指令执行如权利要求1-8任一项所述的一种适用于含有透光材料的物体点云重建方法。
10.一种可读存储介质，其特征在于，所述可读存储介质上存储有计算机程序，所述计算机程序执行时，实现如权利要求1-8任一项所述的一种适用于含有透光材料的物体点云重建方法。
