一种回转构件表面缺陷检测装置、检测方法及标定方法与流程

1.本发明涉及一种回转构件表面缺陷检测装置、检测方法及标定方法，属于机械制造技术领域。


背景技术：

2.大型构件的表面检测在汽车，船舶，航空航天等行业的制造领域占据重要地位，大型复杂回转类结构如起重机吊臂、航空发动机、火箭舱段、大型输油导管等作为建筑及工业制造领域广泛使用的重型器件，其质量及性能在很大程度上影响着整体的作业效率。以起重机为例，吊臂作为起重机的重要组成部分，约占整机质量的13％～15％，其制造工艺的好坏直接影响起重机的起重载荷及整体性能。目前，起重机吊臂多为可伸缩式，通常由多节大小不同的臂筒组合而成，可根据现场作业需求进行适当调整，且便于起重机的整体移动与安置。为了保证臂筒伸缩的流畅性，在制造过程中，臂筒表面产生的形变及缺陷必须严格控制在一定范围内。因此，对大型构件表面效果进行检测尤为重要。
3.目前，针对大型构件表面检测主要有以下几种方法：
4.(1)采取人工操作，运用三坐标测量机、千分表打表测量、电子水平仪和子准直测量的方式进行直线度测量的方法来实现。考虑到人为检测效率较低，且主观因素易导致检测误差变大，所以不适合工业大规模生产器件检测。
5.(2)在待检测部位设置声发射传感器，利用声发射技术实现大型构件表面的缺陷检测，但是被检查表面有一定的光洁度，并需有耦合剂充填满探头和被检查表面之间的空隙，以保证充分的声耦合。对有些粗晶粒的铸件和焊缝，因易产生杂乱反射波而较难应用。
6.(3)为实现大型构件表面检测的智能化与自动化需求，目前常用的高精度检测设备包括激光跟踪仪、激光雷达、igps，但这些设备对检测环境要求较高，且使用成本昂贵，易出现盲区，不适用于大规模的检测需求。
7.为了解决在大型回转构件制造领域的大型构件表面检测问题，本技术提出了一种回转构件表面缺陷检测装置、检测方法及标定方法。


技术实现要素：

8.本发明的目的在于克服现有技术中的不足，提供一种回转构件表面缺陷检测装置、检测方法及标定方法，解决大型回转构件表面检测的技术问题。
9.为达到上述目的，本发明是采用下述技术方案实现的：
10.第一方面，本发明提供了一种回转构件表面缺陷检测装置，包括分布式单目线结构光检测系统、传动装置及控制器；
11.所述分布式单目线结构光检测系统包括多组检测机构；多组检测机构呈分布式排布，形成一封闭的检测区域；各组检测机构分别包括各自的线激光器及相机，所述线激光器用于向待测回转构件发射检测激光；所述相机用于采集待测回转构件表面所形成的激光条纹图像，并传送至控制器；
12.所述传动装置用于带动待测回转构件从标定后的分布式单目线结构光检测系统的检测区域穿过，以使控制器能够根据各相机所采集的激光条纹图像实现待测回转构件表面图像重建；
13.所述控制器用于将重建后的待测回转构件表面图像与标准图像进行对比，根据对比结果获取回转构件表面缺陷检测结果。
14.优选的，所述检测机构为四组且呈上下左右分布式排布，形成一个封闭的正方形检测区域；所述待测回转构件从正方形检测区域中心穿过。
15.优选的，所述传动装置包括基座、设置于基座底部的滚轮以及设置于基座顶部用于承载待测回转构件的支撑架。
16.第二方面，本发明提供了适应于上述一种回转构件表面缺陷检测装置的检测方法，所述检测方法包括：
17.利用传动装置带动待测回转构件从标定后的分布式单目线结构光检测系统的检测区域穿过；
18.各相机采集线激光器在待测回转构件表面所形成的激光条纹图像并传送至控制器；
19.根据提取激光条纹图像的激光条纹中心线得到激光条纹中心点的三维坐标；
20.根据激光条纹中心点的三维坐标以及相对应的标定参数计算待测回转构件在当前视角下的三维轮廓点云数据；
21.通过对待测回转构件进行完整扫描成像后，获得其整个表面的三维轮廓点云数据；
22.通过三维轮廓点云数据完整恢复出待测回转构件的三维形貌，并与标准的回转构件进行匹配检测。
23.优选的，所述根据提取激光条纹图像的激光条纹中心线得到激光条纹中心点的三维坐标包括：
24.基于线面模型，利用相机的透视投影成像模型结合拟合的激光平面方程，确定唯一的激光条纹中心点的三维坐标，其计算表达式如下：
[0025][0026]
其中，s为比例系数，u,v为激光条纹中心点在平面图像坐标系下的像素坐标，f
x
，f
y
为相机的焦距，u0，v0为相机光轴与图像平面的交点在平面图像坐标系下的像素坐标，(x
c
，y
c
，z
c
)为求解出的激光条纹中心点的三维坐标，a、b、c、d为激光平面方程的系数。
[0027]
第三方面，本发明提供了适用于上述一种回转构件表面缺陷检测装置的标定方法，对所述分布式单目线结构光检测系统进行标定，包括：
[0028]
通过棋盘格标定板对各相机进行参数标定；
[0029]
通过多次调整棋盘格标定板的位姿对激光平面进行标定；
[0030]
通过立体靶标对各相机进行全局标定。
[0031]
优选的，所述通过多次调整棋盘格标定板的位姿对激光平面进行标定包括：
[0032]
基于交比不变原理，通过多次调整棋盘格标定板的位姿，获得多组标定的特征点；
[0033]
将棋盘格标定板不同位姿下的局部坐标系中的所有特征点坐标统一到相机坐标系中；
[0034]
将相机坐标系中特征点代入预定义的激光平面方程中，以各特征点到光平面的欧氏距离的平方和为目标函数，目标函数的表达式如下：
[0035][0036]
其中，(x
ci
，y
ci
，z
ci
)为各个特征点在相机坐标系下的三维坐标，n表示特征点的数量，a1、b1、c1、d1为激光平面方程的系数；
[0037]
利用最小二乘法求解上述目标函数，计算得到a1、b1、c1、d1的值，并基于计算结果拟合相机坐标系下激光平面方程，激光平面方程的表达式如下：
[0038]
a1x
c
b1y
c
c1z
c
d1＝0
[0039]
其中，(x
c
，y
c
，z
c
)为相机坐标系下的三维坐标。
[0040]
优选的，所述通过立体靶标对各相机进行全局标定包括：
[0041]
将立体靶标放置于分布式单目视觉检测系统的扫描区域内，确保其顶点圆球均在相应相机的视场范围内；
[0042]
在立体靶标内部建立全局坐标系，利用三坐标测量仪确定各顶点圆球的球心在全局坐标系下的三维坐标；
[0043]
控制多个相机同时采集相应视角下的立体靶标图像，并获取各顶点圆球的球心在局部相机坐标系下的三维坐标；
[0044]
以立体靶标内部的全局坐标系为中介，解算各顶点圆球的球心在全局坐标系下的三维坐标和对应的顶点圆球的球心在局部相机坐标系下的三维坐标的矩阵变换关系，从而获取相机间的位姿关系。
[0045]
优选的，所述获取各顶点圆球的球心在局部相机坐标系下的三维坐标包括：
[0046]
基于空间球体投影成像模型，球体在成像平面上的投影为椭圆，定义椭圆方程为：
[0047]
au2 buv cv2 du ev f＝0
[0048]
其中，(u，v)为球心在平面图像坐标系下的像素坐标，a、b、c、d、e、f为平面图像上椭圆方程的系数；
[0049]
由于相机光心与成像平面上的椭圆及空间球体构成椭圆锥，则在相机坐标系下的圆锥曲面方程表示为：
[0050]
ax2 bxy cy2 dxz eyz fz2＝0
[0051]
其中，d＝df0，e＝ef0，f＝f，f0为相机的焦距，(x，y，z)为球心在相机坐标系下的坐标；
[0052]
将该圆锥曲面方程写成矩阵乘积的形式，其表达式为：
[0053]
[x y z]
·
q
·
[x y z]
t
＝0
[0054]
其中，
[0055][0056]
由矩阵变换原理可知，因矩阵q为实对称矩阵，故存在正交矩阵r可将q对角化，并得到：
[0057]
r
t
qr＝diag(λ1，λ2，λ3)
[0058]
其中，λ1，λ2，λ3为矩阵q的特征值；
[0059]
设椭圆中心在平面图像坐标系中的坐标为(x0，y0)，成像平面到相机光心的距离即相机的焦距为f0；
[0060]
建立以相机光心为坐标原点，相机到球心之间的射线为z轴的圆锥坐标系，该坐标系的坐标轴(x
i
，y
i
，z
i
)表示为：
[0061][0062]
对x
i
，y
i
，z
i
分别进行向量化标准后得到：
[0063][0064][0065][0066]
其中，x
n
，y
n
，z
n
分别为矩阵q特征值对应的特征向量，则旋转矩阵表示为：
[0067]
r＝[x
n y
n z
n
]
[0068]
以相机光心为顶点，得到以坐标轴z
i
为旋转轴的标准圆锥体方程为：
[0069]
λ1x2 λ2y2 λ3z2＝0
[0070]
当λ1＝λ2时，λ1为矩阵q的最大特征值，λ3为矩阵q的最小特征值，相机光心到球心的距离d为：
[0071]
d＝r0/sinθ
[0072]
其中，r0为圆球的半径，θ为圆锥体的旋转轴与母线的夹角，其中，r0为圆球的半径，θ为圆锥体的旋转轴与母线的夹角，
[0073]
得到标准坐标系下的球心的坐标表示为：
[0074]
[x
cn y
cn z
cn
]
t
＝[0 0 d]
t
[0075]
其中，(x
cn
，y
cn
，z
cn
)为球心在标准坐标系下的三维坐标；
[0076]
将球心的标准坐标系转换到相机坐标系下的三维坐标为：
[0077][0078]
与现有技术相比，本发明所达到的有益效果：
[0079]
本发明提供的一种回转构件表面缺陷检测装置、检测方法及标定方法，通过在大型回转构件两侧布设四组由单目和线激光器组合的分布式系统，采用基于圆球的立体靶标实现全局标定，再利用传动装置使臂筒沿水平方向匀速移动，即可完成臂筒表面的扫描重建。相较于现有激光扫描方式多局限于某一固定的检测范围，需要进行多次扫描，本发明在一定程度上极大地提高了检测效率；本发明提供的针对大型构件的检测方法，自动化程度较高，无需过多的人工干预，能够节省人力资源；本发明由于采用了线结构光，能够在检测过程中赋予臂筒表面丰富的纹理信息，从而有益于提高整体三维重建及后续检测的精度。
附图说明
[0080]
图1是本发明实施例中回转构件表面缺陷检测装置的结构示意图；
[0081]
图2是本发明实施例中回转构件表面缺陷检测装置的检测方法的流程图；
[0082]
图3是本发明实施例中立体标靶结构示意图；
[0083]
图4是实施例中相机坐标系
‑
图像坐标系
‑
圆锥坐标系的关系示意图。
[0084]
图中：
[0085]
1、分布式单目线结构光检测系统，11、检测机构，12、线激光器，13、相机，2、传动装置，21、基座，22、滚轮，23、支撑架，3、待测回转构件。
具体实施方式
[0086]
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
[0087]
实施例一：
[0088]
如图1所示，本实施例提供了一种回转构件表面缺陷检测装置，包括分布式单目线结构光检测系统1、传动装置2及控制器。
[0089]
分布式单目线结构光检测系统1包括多组检测机构11；多组检测机构11呈分布式排布，形成一封闭的检测区域；各组检测机构11分别包括各自的线激光器12及相机13，线激光器12用于向待测回转构件3发射检测激光；相机13用于采集待测回转构件3表面所形成的激光条纹图像，并传送至控制器。
[0090]
传动装置2用于带动待测回转构件3从标定后的分布式单目线结构光检测系统1的检测区域穿过，以使控制器能够根据各相机13所采集的激光条纹图像实现待测回转构件3表面图像重建；
[0091]
控制器用于将重建后的待测回转构件3表面图像与标准图像进行对比，根据对比结果获取回转构件表面缺陷检测结果。
[0092]
具体的，检测机构11为四组且呈上下左右分布式排布，形成一个封闭的正方形检
测区域；待测回转构件3从正方形检测区域中心匀速穿过。
[0093]
传动装置2包括基座21、设置于基座21底部的滚轮22以及设置于基座21顶部用于承载待测回转构件3的支撑架23。
[0094]
实施例二：
[0095]
如图2所示，本实施例提供了一种适应于上述一种回转构件表面缺陷检测装置的检测方法，检测方法包括：
[0096]
步骤101、利用传动装置带动待测回转构件从标定后的分布式单目线结构光检测系统的检测区域穿过；
[0097]
步骤102、各相机采集线激光器在待测回转构件表面所形成的激光条纹图像并传送至控制器；
[0098]
步骤103、根据提取(基于灰度重心法提取)激光条纹图像的激光条纹中心线得到激光条纹中心点的三维坐标；
[0099]
步骤104、根据激光条纹中心点的三维坐标以及相对应的标定参数计算待测回转构件在当前视角下的三维轮廓点云数据；
[0100]
步骤105、通过对待测回转构件进行完整扫描成像后，获得其整个表面的三维轮廓点云数据；
[0101]
步骤106、通过三维轮廓点云数据完整恢复出待测回转构件的三维形貌，并与标准的回转构件进行匹配检测。
[0102]
其中，根据提取激光条纹图像的激光条纹中心线得到激光条纹中心点的三维坐标包括：
[0103]
基于线面模型，利用相机的透视投影成像模型结合拟合的激光平面方程，确定唯一的激光条纹中心点的三维坐标，其计算表达式如下：
[0104][0105]
其中，s为比例系数，u,v为激光条纹中心点在平面图像坐标系下的像素坐标，f
x
，f
y
为相机的焦距，u0，v0为相机光轴与图像平面的交点在平面图像坐标系下的像素坐标，(x
c
，y
c
，z
c
)为求解出的激光条纹中心点的三维坐标，a、b、c、d为激光平面方程的系数。
[0106]
实施例三：
[0107]
本实施例提供了一种适应于上述一种回转构件表面缺陷检测装置的标定方法，对分布式单目线结构光检测系统进行标定，包括：
[0108]
步骤201、通过棋盘格标定板对各相机进行参数标定；
[0109]
步骤202、通过多次调整棋盘格标定板的位姿对激光平面进行标定；
[0110]
步骤203、通过立体靶标对各相机进行全局标定。
[0111]
具体的，通过多次调整棋盘格标定板的位姿对激光平面进行标定包括：
[0112]
步骤212、基于交比不变原理，通过多次调整棋盘格标定板的位姿，获得多组标定的特征点；
[0113]
步骤222、步骤202、将棋盘格标定板不同位姿下的局部坐标系中的所有特征点坐标统一到相机坐标系中；
[0114]
步骤232、将相机坐标系中特征点代入预定义的激光平面方程中，以各特征点到光平面的欧氏距离的平方和为目标函数，目标函数的表达式如下：
[0115][0116]
其中，(x
ci
，y
ci
，z
ci
)为各个特征点在相机坐标系下的三维坐标，n表示特征点的数量，a1、b1、c1、d1为激光平面方程的系数；
[0117]
步骤242、利用最小二乘法求解上述目标函数，计算得到a1、b1、c1、d1的值，并基于计算结果拟合相机坐标系下激光平面方程，激光平面方程的表达式如下：
[0118]
a1x
c
b1y
c
c1z
c
d1＝0
[0119]
其中，(x
c
，y
c
，z
c
)为相机坐标系下的三维坐标。
[0120]
具体的，通过立体靶标对各相机进行全局标定包括：
[0121]
步骤213、将立体靶标(如图3所示，a、c、d、e为四个工业相机的所在的局部相机坐标系，b为立体靶标内部的全局坐标系；1,2,3,4,5,6,7,8为立体靶标8个角点上的圆球)放置于分布式单目视觉检测系统的扫描区域内，确保其顶点圆球均在相应相机的视场范围内；
[0122]
步骤223、在立体靶标内部建立全局坐标系，利用三坐标测量仪确定各顶点圆球的球心在全局坐标系下的三维坐标；
[0123]
步骤233、控制多个相机同时采集相应视角下的立体靶标图像，并获取各顶点圆球的球心在局部相机坐标系下的三维坐标；
[0124]
步骤243、以立体靶标内部的全局坐标系为中介，解算各顶点圆球的球心在全局坐标系下的三维坐标和对应的顶点圆球的球心在局部相机坐标系下的三维坐标的矩阵变换关系，从而获取相机间的位姿关系。
[0125]
具体的，获取各顶点圆球的球心在局部相机坐标系下的三维坐标包括：
[0126]
基于空间球体投影成像模型，球体在成像平面上的投影为椭圆，定义椭圆方程为：
[0127]
au2 buv cv2 du ev f＝0
[0128]
其中，(u，v)为球心在平面图像坐标系下的像素坐标，a、b、c、d、e、f为平面图像上椭圆方程的系数；
[0129]
由于相机光心与成像平面上的椭圆及空间球体构成椭圆锥，则在相机坐标系下的圆锥曲面方程表示为：
[0130]
ax2 bxy cy2 dxz eyz fz2＝0
[0131]
其中，d＝df0，e＝ef0，f＝f，f0为相机的焦距，(x，y，z)为球心在相机坐标系下的坐标；
[0132]
将该圆锥曲面方程写成矩阵乘积的形式，其表达式为：
[0133]
[x y z]
·
q
·
[x y z]
t
＝0
[0134]
其中，
[0135][0136]
由矩阵变换原理可知，因矩阵q为实对称矩阵，故存在正交矩阵r可将q对角化，并得到：
[0137]
r
t
qr＝diag(λ1，λ2，λ3)
[0138]
其中，λ1，λ2，λ3为矩阵q的特征值；
[0139]
设椭圆中心在平面图像坐标系中的坐标为(x0，y0)，成像平面到相机光心的距离即相机的焦距为f0；
[0140]
为便于求取圆球球心投影的图像坐标，先将圆锥曲面方程变换到标准坐标空间下，解算完成后再将方程变换回相机坐标系下，如图4所示：
[0141]
建立以相机光心为坐标原点，相机到球心之间的射线为z轴的圆锥坐标系，该坐标系的坐标轴(x
i
，y
i
，z
i
)表示为：
[0142][0143]
对x
i
，y
i
，z
i
分别进行向量化标准后得到：
[0144][0145][0146][0147]
其中，x
n
，y
n
，z
n
分别为矩阵q特征值对应的特征向量，则旋转矩阵表示为：
[0148]
r＝[x
n y
n z
n
]
[0149]
以相机光心为顶点，得到以坐标轴z
i
为旋转轴的标准圆锥体方程为：
[0150]
λ1x2 λ2y2 λ3z2＝0
[0151]
当λ1＝λ2时，λ1为矩阵q的最大特征值，λ3为矩阵q的最小特征值，相机光心到球心的距离d为：
[0152]
d＝r0/sinθ
[0153]
其中，r0为圆球的半径，θ为圆锥体的旋转轴与母线的夹角，其中，r0为圆球的半径，θ为圆锥体的旋转轴与母线的夹角，
[0154]
得到标准坐标系下的球心的坐标表示为：
[0155]
[x
cn y
cn z
cn
]
t
＝[0 0 d]
t
[0156]
其中，(x
cn
，y
cn
，z
cn
)为球心在标准坐标系下的三维坐标；
[0157]
将球心的标准坐标系转换到相机坐标系下的三维坐标为：
[0158][0159]
综上，本实施例中大型回转构件表面检测装置主要包括线激光器、相机以及传动装置；线激光器和相机分别布设在待测回转构件左右两侧，共布设四组由线激光器和工业相机组合的单目线结构光检测系统，构成分布式结构，并采用基于圆球的立体靶标实现全局标定。当大型回转构件由传动装置带动进入扫描区域，每个相机分别采集该视角下的一系列光条图像，采用基于灰度重心的激光条纹中心提取算法获得细化后的光条图像。在得到光条中心线的图像像素坐标后，结合光平面标定参数、相机的透视投影成像模型和全局标定参数，唯一确定激光条纹上的中心点在空间中的三维点云坐标，从而恢复出大型回转构件表面的三维形貌，便于后续进行表面检测。
[0160]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd
‑
rom、光学存储器等)上实施的计算机程序产品的形式。
[0161]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0162]
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。