本发明属于光学三维测量领域,具体涉及一种基于预投影相移图复用的自适应投影高光消除方法及系统。
背景技术:
1、光学三维测量技术是探测与计量领域研究的热点,其中的结构光相位测量轮廓术以其非接触、非破坏、速度快、高精度等特点成为最为理想的轮廓形貌测量手段,广泛应用于现代工业生产、逆向工程、医疗建模与文物保护等领域。
2、结构光测量系统通常由相机、投影仪和计算机组成,投影仪将一系列相移条纹图投影到被测物表面,由相机获取受物体表面调制而变形的条纹图像,结合测量系统的标定信息即可通过图像恢复出表面点云,实现对物体的三维轮廓重建。结构光三维测量方法原理假设被测物为漫反射表面,但实际应用中部分被测表面存在着难以避免的镜面反射现象,兼有高反射率区域引起拍摄图像亮度饱和,而低的反射率区域成像信噪比/对比度低的问题。为适应这种高动态范围物体表面的测量,目前研究人员提出的方法包括多次曝光下拍摄不同强度的图像进行融合测量,增加测量视角避开高光角度,采用偏振相机滤除镜面反射光或镜头前加装空间光调制器对入射光进行调整,这些方法或增加了硬件成本与复杂度,或大幅延长了测量时间,难以方便应用于实际测量场景。
技术实现思路
1、为解决高动态范围物体的三维轮廓测量问题,本发明提供一种基于预投影相移图复用的自适应投影高光消除方法及系统,实现对需连续投影多幅亮度图与条纹图的常规自适应投影方法的改进,解决高动态范围物体表面测量精度低的问题。
2、为了实现上述目的,本发明采用如下技术方案:
3、第一方面,本发明提供一种基于预投影相移图复用的自适应投影高光消除方法,包括:
4、向被测物投影白图和黑图,获得成像饱和区域轮廓和最大投影亮度值,确定预投影低亮度条纹图的最大投影亮度;
5、将预投影低亮度条纹图投影至被测物表面成像,建立投影仪-相机像素坐标映射,将相机像面饱和区域轮廓像素映射至投影仪像面,确定需要调整投影亮度的投影仪像素所在区域;
6、利用同一像素在不同相移中投影-成像灰度的差异建立灰度映射,通过多项式拟合投影仪-相机灰度对应关系式,逐像素解算饱和区域内的最优投影亮度;
7、统计投影仪坐标系下没有对应相机像素与投影灰度的孤立投影像素点,结合其邻域像素的投影亮度进行投影孔洞填补;
8、对投影仪像面对应的饱和区域内像素投影灰度值进行平滑,并在饱和区域与非饱和区域之间增设灰度过渡补偿区间,确定整个投影像面的最优投影亮度模板;
9、将最优投影亮度模板用于生成自适应投影相移条纹图,并投影至被测物表面,利用自适应投影条纹图成像解算出被测物的三维点云数据。
10、作为本发明进一步改进,所述获得成像饱和区域轮廓和最大投影亮度值,确定预投影低亮度条纹图的最大投影亮度,包括:
11、将投影强度模型简化为投影仪与相机灰度的线性对应关系ic(xc,yc)=aip(xp,yp)+b,在确定的成像饱和区域掩膜内,结合最大灰度与零灰度投影图的成像进行拟合确定未知系数,并以最大灰度作为预期最大成像亮度,计算饱和区域内各像素的最大不饱和投影亮度,取该灰度阵列中的最小值、平均值及二者的组合,分别作为低亮度预投影相移图的多个条纹频率下的最大投影亮度,并设置条纹平均亮度和调制度之间存差距:
12、
13、i=0,1,...,n-1,β<1
14、式中,为各像素投影亮度,n为相移数,i为相移步数,为保证整个画幅成像不饱和的最大投影亮度,β为条纹调制度和平均亮度之比,平均强度系数取1,调制强度系数β取值稍小于1。
15、作为本发明进一步改进,建立投影仪-相机像素坐标映射,包括:
16、解算投影低亮度条纹图相位值,通过投影仪与相机的相位相等匹配关系确定相机像面中的饱和区域像素坐标与投影仪像面中的像素坐标的映射关系;
17、将获取的相机像面饱和区域边界轮廓像素映射至投影仪像面,并针对映射过程中出现的离群点通过二维半径滤波方法剔除,得到投影仪像面饱和区域轮廓像素及其对应的区域二值掩膜mp。
18、作为本发明进一步改进,利用同一像素在不同相移中投影-成像灰度的差异建立灰度映射,包括:
19、复用竖直方向的投影低亮度条纹图,通过解算的坐标对应关系与投影条纹图生成公式组合确定相机像面饱和区域像素成像亮度对应的投影亮度,成像像素坐标与投影灰度对应关系为:
20、
21、其中,f表示多频相移的频率值,f为频率值数量;k为表示多个频率之一的频率系数,f1为最高条纹频率;
22、n为相移数,i为相移步数,取值0~n-1;
23、a为条纹平均亮度,b为相移条纹调制度,wp为投影仪像面长度;
24、表示第k个频率第i步的竖直方向条纹投影亮度;
25、表示相机像面像素竖直方向相位值,表示对应投影仪像面像素竖直方向条纹的相位值;
26、建立逐像素在不同条纹频率与不同相移步数条纹图中的投影亮度与对应的成像亮度之间的对应关系,采用n×f张竖直方向预投影图中像素的对应n×f组不同投影与成像灰度值用于灰度映射的建立。
27、作为本发明进一步改进,通过多项式拟合投影仪-相机灰度对应关系式,逐像素解算饱和区域内的最优投影亮度,包括:
28、针对成像饱和区域,通过高次曲线拟合建立投影仪-相机之间灰度映射关系的数学表达式,通过设置预期成像亮度逐像素进行最优投影亮度的计算,得到自适应投影亮度值,并将其从相机坐标系映射至投影坐标系,统计存在对应投影亮度的像素以生成掩膜
29、作为本发明进一步改进,通过设置预期成像亮度逐像素进行最优投影亮度的计算,包括:
30、针对成像饱和区域,通过高次曲线拟合建立投影仪-相机之间灰度映射关系的数学表达式,通过设置预期成像亮度逐像素进行最优投影亮度的计算,即得到自适应投影亮度值,最优投影亮度计算的过程为:
31、
32、
33、式中,和分别为预投影阶段条纹图的投影亮度及其对应的成像亮度,用于二者之间关系式的拟合参数计算,m为投影成像曲线拟合多项式次数,三次及以上即可满足拟合效果,ak为多项式系数,为预期成像亮度,8位相机通常取200,为计算的各像素对应的最优投影亮度。
34、作为本发明进一步改进,结合其邻域像素的投影亮度进行投影孔洞填补,包括:
35、将投影仪像面饱和区域掩膜mp和投影亮度掩膜做异或操作,以提取位于投影仪像面对应饱和区域却没有投影亮度值的像素,即待填补的孔洞像素点;
36、将孔洞像素的初始投影亮度置0,基于表面连续性采用插值法由其八邻域内像素的灰度平均值确定该像素投影灰度值,灰度计算关系为
37、
38、式中,(u,v)表示没有对应投影亮度的孔洞像素坐标,(i,j)表示其邻域像素坐标,为投影平面各像素的最优投影亮度。
39、作为本发明进一步改进,对投影仪像面对应的饱和区域内像素投影灰度值进行平滑,包括:
40、投影像面内对应非饱和区域投影亮度保持最大,采用高斯滤波对自适应投影区域内像素投影灰度值进行平滑,高斯核函数与平滑过程为:
41、
42、h(x,y)=g(x,y)*i(x,y)
43、其中,g(x,y)为高斯核函数,δ为高斯分布的标准差;平滑投影亮度图h(x,y)由直接计算得到的投影灰度分布i(x,y)与高斯分布函数g(x,y)卷积得到;
44、在投影像面内对应饱和区域与非饱和区域之间设置灰度过渡补偿区间,对投影仪像面饱和掩膜进行膨胀操作以生成过渡区为
45、
46、
47、其中,为自适应投影亮度区域与非饱和区间的过渡区,dilate为d×d的全1膨胀核函数,核的尺寸d取决于自适应投影区域的大小;
48、在灰度过渡补偿区间内由自适应投影边缘灰度值平滑过渡至最大,对投影过渡区间的灰度值进行计算;
49、
50、
51、其中,为过渡区像素的投影亮度,为距离过渡区像素(x,y)最近的自适应投影区边缘像素亮度,dopt为两像素间距离,d255为过渡区像素(x,y)与最近的非饱和对应投影区像素的距离。
52、作为本发明进一步改进,将最优投影亮度模板用于生成自适应投影相移条纹图,并投影至被测物表面,利用自适应投影条纹图成像解算出被测物的三维点云数据,包括:
53、将得到的最优投影亮度模板用于生成自适应投影相移条纹图具体为:
54、
55、式中,lp表示投影条纹图中各像素的亮度,mp为投影幅面掩膜,对应成像饱和区域取1,对应成像非饱和区域取0,为投影掩膜对应的最优投影亮度。
56、第二方面,本发明提供一种基于预投影相移图复用的自适应投影高光消除系统,包括:
57、获取模块,用于向被测物投影白图和黑图,获得成像饱和区域轮廓和最大投影亮度值,确定预投影低亮度条纹图的最大投影亮度;
58、建立模块,用于将预投影低亮度条纹图投影至被测物表面成像,建立投影仪-相机像素坐标映射,将相机像面饱和区域轮廓像素映射至投影仪像面,确定需要调整投影亮度的投影仪像素所在区域;
59、拟合模块,用于利用同一像素在不同相移中投影-成像灰度的差异建立灰度映射,通过多项式拟合投影仪-相机灰度对应关系式,逐像素解算饱和区域内的最优投影亮度;
60、填补模块,用于统计投影仪坐标系下没有对应相机像素与投影灰度的孤立投影像素点,结合其邻域像素的投影亮度进行投影孔洞填补;
61、确定模块,用于对投影仪像面对应的饱和区域内像素投影灰度值进行平滑,并在饱和区域与非饱和区域之间增设灰度过渡补偿区间,确定整个投影像面的最优投影亮度模板;
62、解算模块,用于将最优投影亮度模板用于生成自适应投影相移条纹图,并投影至被测物表面,利用自适应投影条纹图成像解算出被测物的三维点云数据。
63、第三方面,本发明提供一种电子设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现所述基于预投影相移图复用的自适应投影高光消除方法。
64、第四方面,本发明提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现所述基于预投影相移图复用的自适应投影高光消除方法。
65、与现有技术相比,本发明复用了预投影成像的相移条纹图,在建立投影仪-相机像素坐标匹配关系的基础上,同时建立了二者像素之间的灰度映射关系,通过多组方程与高次多项式拟合可以逐像素精确恢复投影仪-相机的亮度对应模型,以确定高精度的最优投影亮度值,省去了投影一系列均匀灰度图建立灰度映射的过程,大大提高了自适应投影方法的效率;采用成像饱和区域的边界轮廓像素进行投影仪像面对应区域映射,而非逐像素一一映射,避免了像素误匹配导致的区域外孤立投影亮度点,且易于统计区域内没有对应投影亮度的孔洞像素;对计算得到的自适应投影区的最优投影亮度值进行孔洞填充与平滑过渡,避免了投影像素亮度突变带来的相位跳变,保证自适应投影条纹图的连续性与正弦性,从而获得完整可靠的自适应投影成像条纹图,有效解决降低高光区域的成像饱和问题,提高针对高动态范围物体表面的结构光三维测量精度。
1.一种基于预投影相移图复用的自适应投影高光消除方法及系统,其特征在于,包括:
2.根据权利要求1所述的一种基于预投影相移图复用的自适应投影高光消除方法,其特征在于,所述获得成像饱和区域轮廓和最大投影亮度值,确定预投影低亮度条纹图的最大投影亮度,包括:
3.根据权利要求1所述的一种基于预投影相移图复用的自适应投影高光消除方法及系统,其特征在于,建立投影仪-相机像素坐标映射,包括:
4.根据权利要求1所述的一种基于预投影相移图复用的自适应投影高光消除方法及系统,其特征在于,利用同一像素在不同相移中投影-成像灰度的差异建立灰度映射,包括:
5.根据权利要求1所述的一种基于预投影相移图复用的自适应投影高光消除方法及系统,其特征在于,通过多项式拟合投影仪-相机灰度对应关系式,逐像素解算饱和区域内的最优投影亮度,包括:
6.根据权利要求5所述的一种基于预投影相移图复用的自适应投影高光消除方法及系统,其特征在于,通过设置预期成像亮度逐像素进行最优投影亮度的计算,包括:
7.根据权利要求1所述的一种基于预投影相移图复用的自适应投影高光消除方法及系统,其特征在于,结合其邻域像素的投影亮度进行投影孔洞填补,包括:
8.根据权利要求1所述的一种基于预投影相移图复用的自适应投影高光消除方法及系统,其特征在于,对投影仪像面对应的饱和区域内像素投影灰度值进行平滑,包括:
9.根据权利要求1所述的一种基于预投影相移图复用的自适应投影高光消除方法及系统,其特征在于,将最优投影亮度模板用于生成自适应投影相移条纹图,并投影至被测物表面,利用自适应投影条纹图成像解算出被测物的三维点云数据,包括:
10.一种基于预投影相移图复用的自适应投影高光消除系统,其特征在于,包括: