一种制动盘轴孔装配视觉系统及其装配控制方法与流程

1.本发明涉及一种制动盘轴孔装配视觉系统及其装配控制方法，属于机器视觉技术领域。


背景技术：

2.目前在汽车制造业，制动盘装配虽然广泛采用工业机器人代替工人工作，但传统的装配机器人基本上依靠死板编程完成特定的装配任务，这种工作模式存在巨大的短板，智能化程度极低。
3.伴随着计算机视觉定位技术的发展，现如今，我们可以将视觉传感器集成在工业机器人上，提高机器人检测周围环境能力，让它脱离死板的编程，有自主选择的能力，这项技术应用在工厂中价格低廉、易于实现。计算机视觉定位技术和工业机器人的结合，能够提高机器人工作的精准性，减少出错率，同时机器人工作的效率会大大提高。
4.将视觉定位技术与装配机器人相结合，使机器人有了眼睛，可以大大提高智能化程度，减少装配机器人在生产过程中出错的概率，提高企业效益，具有非常广阔的应用前景。基于计算机视觉定位技术，是制动盘轴孔装配的关键技术。


技术实现要素：

5.本发明的目的在于克服现有技术中的不足，提供一种制动盘轴孔装配视觉系统及其装配控制方法，以解决现有技术中在制动盘轴孔装配过程中，机器人不能定位制动盘，无法实时调整偏差，智能化程度低的技术问题。
6.为解决上述技术问题，本发明是采用下述方案实现的：本发明提供了一种制动盘轴孔装配视觉系统，包括设置在轴孔后面的摄像头、夹取制动盘的机器人；所述摄像头与图像处理装置机电连接。
7.本发明还提供了一种制动盘轴孔装配视觉系统的装配控制方法，其特征在于，包括如下步骤：图像处理装置提取摄像头的图像特征，进行特征描述；对图像特征进行特征检测和特征匹配，判定摄像头动静状态和运动轨迹；基于opencv处理识别图像，定位和装配制动盘。
8.优选的，所述摄像头为kinect摄像头。
9.优选的，所述特征描述采用surf特征。
10.优选的，所述特征检测采用harris算法检测制动盘角点。
11.优选的，所述特征检测还包括对轴孔进行次像素点检测的步骤。
12.优选的，所述特征匹配采用flann算法对制动盘和轴孔相同特征进行特征匹配。
13.优选的，所述处理识别图像包括如下步骤：将图像转化为灰度图；采用均值滤波算法进行图像降噪；对图像进行二值化处理。
14.与现有技术相比，本发明所达到的有益效果是：1、本发明运用多种算法对摄像头拍摄的图像进行处理，识别制动盘特征，准确定
位制动盘，实时调整偏差，智能化完成制动盘轴孔装配。
15.2、本发明摄像头选用kinect摄像头，色彩识别度高，扫描物体获得的数据更加准确。
16.3、本发明特征描述采用surf特征，具有较好稳定性的检测子和描述子，通过有效利用图像卷积积分图减少了计算时间。
17.4、本发明采用harris算法检测制动盘角点，能够快速锁定物体的局部特征，具有良好的稳定性和准确性。
18.5、本发明运用flann算法进行特征匹配，减小了运算量的同时提高了匹配精度。
19.6、本发明处理图像时将采集到的图片转化为灰度图，得到更加纯粹的物体，进一步提高了运算效率。
附图说明
20.图1是本发明实施例提供的一种制动盘轴孔装配视觉系统的装配控制方法流程图。
具体实施方式
21.下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
22.在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以通过具体情况理解上述术语在本发明中的具体含义。
23.实施例1本实施例提供了一种制动盘轴孔装配视觉系统，包括设置在轴孔后面的摄像头、夹取制动盘的机器人；所述摄像头与图像处理装置机电连接。摄像头拍摄制动盘图像，传输给图像处理装置，对图像进行处理识别，识别制动盘特征，进而对制动盘进行定位，完成机器人对制动盘轴孔的精准装配。
24.实施例2本实施例提供了一种制动盘轴孔装配视觉系统的装配控制方法，包括如下步骤：图像处理装置提取摄像头的图像特征，进行特征描述；对图像特征进行特征检测和特征匹配，判定摄像头动静状态和运动轨迹；基于opencv处理识别图像，定位和装配制动盘。
25.摄像头采用微软推出的kinect2.0，为三维视觉摄像头，基于飞行时间法的原理来测量像素距离，采用rgb
‑
d相机直接获取物体的深度信息，因此在测量像素点的深度上更具有优势。kinect2.0相较于上代产品，提高了分辨率和色彩识别度，扫描物体获得的数据更加准确，能够拍摄清晰的制动盘图像，继而将获得的影像信息传输至图像处理装置，对制动盘的图像进行特征分析，完成制动盘精确定位和轴孔装配。
26.在摄像头完成图像特征提取之后，就需要对特征进行描述，反映图像性质，提高特征被检测的成功率。在固定环境里不同物体的轮廓、尺寸、颜色、对光线反射强弱不同，在特
征检测时形成的描述子区别很大。形成特征点时，这种快速获取的描述子有很明显的短板，辨识度很差，对光线的明暗很敏感，易受几何形变，背景干扰等因素的影响，在实际应用中精准度很差。输入本次实验中的kinect2.0生成的两张png图像，用surf检测器检测关键点，用特征向量计算描述器，用暴力匹配法匹配描述器向量，然后绘制两图之间发现的匹配关键点最后显示检测相同的关键点。
27.本发明在特征描述时采用surf特征。surf全称为“加速稳健特征”（speeded up robust feature），这是一种尺度不变特征法，其提供了具有较好稳定性的检测子和描述子，可以用于计算机视觉领域的目标识别或者三维重构等。它的部分灵感来源于sift算法，都采用了局部梯度直方图的方法。不同之处在于计算速度，其通过有效利用图像卷积积分图减少了计算时间。
28.在视觉定位中特征检测是前提条件。点线面三者在级别上依次递进，二维图像本质上是一个众多点构成的面，为了识别图像，可以通过识别与众不同的点来实现，我们把这些特殊的点称为哈瑞斯角点。如果计算机扫描物体所提取的特征点是基于哈瑞斯角点，则会获得较高的稳定性和准确性。通过这种方法定位能够快速锁定物体的局部特征。哈瑞斯角点检测算法有诸多优点：旋转不变性，椭圆转过一定角度但是其形状保持不变（特征值保持不变）。对于图像灰度的仿射变化具有部分的不变性，由于仅仅使用了图像的一介导数，对于图像灰度平移变化不变；对于图像灰度尺度变化不变，进行角点检测是视觉定位必不可少的一步，在哈瑞斯角点检测时会发现相邻的像素点间灰度值存在差异，在灰度图中能够清晰的辨认出物体的轮廓，角点，物体内部光滑区域。哈瑞斯角点检测原理是捕捉像素点间灰度值的变化值，其中关键流程包括转化为灰度图像、计算差分图像、高斯平滑、计算局部极值、确认角点。
29.本发明的特征检测还包括对轴孔进行次像素点检测的步骤，对harris算法进行优化，若两个特征值中较小的一个大于最小阈值，则会得到强角点，在次像素检测角位置。
30.图像匹配就是对不同时间地点事物或者不同格式的两帧或多帧图像进行匹配，使两种不同的物体在轮廓上能够匹配。常见的配准有两种形式：灰度与特征。前者配准算法通过寻找物体图片中对应区域相似像素灰度，当图片的尺寸比较大时运算量会随之增大，为了规避这一缺点，衍生出了基于物体特征点的匹配算法，不论图片中信息量有多大，只针对某些点进行匹配运算，减小了运算量提高了匹配精度。本发明运用优点更多的后者算法对轴孔和制动盘进行特征匹配。
31.先寻找到轴孔和制动盘的的特殊点即描述子，然后对这些描述子进行分析，最后比对这些描述子所描述的区域是否相同。为了快速实现以上过程引入了flann，它是快速最近邻搜索包,它是一个对大数据集和高维特征进行最近邻搜索的算法的集合，而且这些算法都已经被优化过了。在复杂物体匹配过程中具有显著优势。进行flann 匹配,需先设定两个参数并导入。以此来确定算法。第一个是参数是 indexparams，indexparams = dict(algorithm = flannindex k dt ree, trees = 5)；第二个参数是 searchparams，用它来指定递归遍历的次数。值越高结果越准确, 但是消耗的时间也越多。使用一个查询图像,在其中找到一些特征点(关键点),我们又在另一幅图像中也找到了一些特征点,最后对这两幅图像之间的特征点进行匹配。简单来说就是:我们在一张杂乱的图像中找到了一个对象(的某些部分)的位置。这些信息足以帮助我们在目标图像中准确的找到(查询图像)对象。
32.为了最准确的判定摄像头动静状态和运动轨迹，在特征匹配时，去掉两点间匹配的最大值，以达到最大可能保证运动轨迹准确性的目的。在解决该问题的众多方法中，途径其实都大同小异，本质上用最快速的运算剔除掉显而易见的错误匹配结果，然后在匹配在剔除重复多次，最终寻找出需要的内点，消除不需要的外点。一般情况下使用两种精确匹配的方法，一种是筛选点时，要找匹配特征点最近的几个，在这里我们规定一个最近特征点报警阀值，特征点距离不小于该阈值时，则判定其无用将其删去，保留下来的点作为后面计算的数据支撑，这种方法为最小阈值法。第二种途径为ransac法，该方法在计算机视觉定位技术中使用最为频繁，这种方法的关键是判定收集到的数据集间的转换参数关系。经过多次试验发现使用最小二乘法时，可以算出该参数比较准确的数值，降噪是解决该问题的通用方法，该方法经过一次又一次的反复运算，每次运算时先随机选取一个小的样本，根据该样本定义模型。通过定义模型得到的结果判别整个数据集的误差函数，当运算次数达到一定程度后，就能得到一个较为准确的结果，从而判断出摄像头的动静态和运动轨迹。
33.基于opencv处理识别图像，opencv是一个基于bsd许可（开源）发行的跨平台计算机视觉库，轻量级且高效，相机拍摄的图片均为rgb图片，在复杂的环境中，物体的颜色是固定不变的，但光线的强弱却是一个变值，因此，在生成图像时因为光线，每次的结果是不同的，为了能得到物体最原始的信息，必须对rgb图像进行处理。rgb图片是三通道图，在opencv中处理三通道图需要大量的运算，不仅耗时而且容易出错，而且在该软件中的算法基本上只支持灰度图即单通道图，用数字表示像素点的色彩，规定0～255对应像素点的色域，0为黑色，255为白色，两者之间的数值为深浅程度不一的灰色。灰度图也存在三个通道的情况，这种情况下只赋予单一通道数值，其余的则不赋值均为0。rgb图像里，均用三个数值描述像素点，这就是三通道图的定义。同理用四个数值描述像素点则为四通道图。因此为了得到更加纯粹的物体，提高运算效率必须将采集到的rgb图片转化为灰度图。
34.因为外部光源的变化，即使同一物体同一角度在不同时刻拍摄的图片其图像的尖锐程度是不同的。针对这一变量，本文采用均值滤波算法降低其影响，实现图像降噪，信号中并不是每一个波段都是有用的，有些无用波段会对结果产生干扰，必须将其过滤掉。本发明采用均值滤波算法，以图像中每一个像素点为标定物规定范围，在这个范围内对像素点进行运算，规定范围内不可避免的包括像素点周围的像素，整体像素的平均值即为该像素点的像素值。
35.光源作为光信号被镜头捕捉，在加工传输后，呈现出来的图像有时会很糙，这是因为产生了噪点，噪点的产生和生成图形的质量、设备的温度有关，几乎是避免不了的，这对视觉定位会产生误差，为了避免这一问题本文对生成的图像进行二值化处理，二值指的是黑与白，该过程将黑白像素点完全区别开来。将图片中的像素点灰度值要么规定为0要么规定为255，此情况下图片会呈现出黑白的状态。在opencv图像处理过程中，二值图像是最核心的东西，特别在视觉定位中，其处理过的图片是实现定位的基础。完成这一过程的前提是在灰度图的基础上二值化，然后对生成的图像处理分析，定位时没有别的像素值干扰，且数据量大大减少，图片处理效率高定位精度好。
36.质量较高的二值图并不容易获得，本发明采取了如下办法，一幅图片中包含多个物体，因为呈现的状态是二维，物体与物体会出现叠加的状态，剔除叠加的部分，定义剩下完整封闭部分。当灰度阀值不小于像素值时，则该物体为目标物体，将像素值的灰度值赋值
为255，其他情况规定为非目标物体，像素值的灰度值赋值为0。如果目标物体内部灰度值区域较大，与其它图像灰度值区域叠加在一起，阀值法可以将两者区分出来。背景图像在灰度值上呈现不出来特征时，可以将这个特征替换成灰度特征，最后用阈值法来区分图像。用闭运算抹平图片中的粗糙点，平滑接触点，这一过程并不改变图片的面积，然后消除不必要的点和边界点。
37.经过以上的图像处理后就可以对制动盘进行定位了，先将摄像头放在轴孔的后面，调好设备，然后启动机器人开始装配过程。
38.综上所述：现代制造业中的机器人，几乎全是依靠死板的编程完成特定的任务。机器人与工作台都是固定的，两者的交汇是距离设计好，位置固定好然后基于编程实现，但在实际的生产过程中，机器人与工作台的位置随时间的推移难免会发生移动，出现装配偏差问题。本文构建了主动机器视觉系统，用来解决制动盘和轴孔间的装配偏差问题。本文用了surf算法、哈瑞斯算法对制动盘进行特征提取，用flann算法将制动盘和轴孔特征匹配，同时基于opencv对图像分别进行灰度图、均值滤波图、二值图处理达到对图像进行排除颜色干扰、去除干扰波段、降噪的目的。因为引入了机器视觉，能对装配时引起的实时误差进行调整，以达到精准装配。
39.以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。