基于双目视觉的无序抓取方法、系统及存储介质与流程

1.本发明涉及机器视觉技术领域，更具体的说是涉及一种基于双目视觉的无序抓取方法、系统及存储介质。


背景技术：

2.近年来，在新能源汽车大需求的全球环境下，要求汽车零部件制造商不断提高零部件的检测速度和检测质量。我国作为汽车生产制造大国，急需改变传统人工模式，解放和发展生产力，将机器视觉技术应用到汽车零件分拣系统中，相较于人工分拣有着高品质、高效率和高智能等优势，有着十分重要的意义。
3.分拣作业是汽车行业乃至整个工业生产过程中的一个关键环节，但传统的机械手分拣方式一般采用示教或离线编程的方式且对于机械手的引导技术主要基于2d图像，工件的摆放位置和机械手的动作都必须预先设定，难以解决散乱工件的分拣和抓取，当工作环境发生改变便会导致分拣错误。所以分拣方式应该朝着更智能和更柔性化的方向发展。
4.综上所述，对本领域技术人员来说，如何基于双目视觉进行准确的无序分拣是亟待解决的问题。


技术实现要素：

5.有鉴于此，本发明提供了一种基于双目视觉的无序抓取方法、系统及存储介质，能解决传统2d方案单一性处理摆放整齐零件，无法处理复杂无序零件的问题，实现了零件的精确性自动化检测和分拣，提高了分拣效率，节省了人工成本。
6.为了实现上述目的，本发明采用如下技术方案：一方面，提供了一种基于双目视觉的无序抓取系统，包括机械手模块、机器视觉模块、传输模块、激光三角三维检测模块、网络交换机，所述网络交换机与所述机械手模块电性连接，还与所述机器视觉模块电性连接，所述传输模块为传送带，位于所述激光三角三维检测模块下方；其中，
7.所述机器视觉模块，用于获取目标工件的三维信息；
8.所述传输模块，用于进行所述目标工件的输送；
9.所述激光三角三维检测模块，用于判断所述目标工件是否合格；
10.所述机械手模块，用于根据所述三维信息实现目标工件的抓取；
11.所述网络交换机，用于完成pc机、所述机械手模块以及所述机器视觉模块之间的信息交互。
12.可选的，所述机器视觉模块包括依次连接的图像采集单元、图像预处理单元、标定单元、精度检测单元。
13.通过采用上述技术方案，具有以下有益的技术效果：在一堆无序零件中，通过双目标定，手眼标定定位和引导机械臂，通过多传感器与机械臂结合，完成对机械臂的定位，引导和抓取。经过激光三角传感器的高精度三维重建技术，获取零件的三维信息，配合相应的算法处理和运动控制系统完成高度自动化的检测线，该套系统摆脱了人工检测，大大提高
了生产力，对提高生产效率有一定的参考意义。
14.可选的，所述图像采集单元包括双目相机、相机固定架和led光源；所述双目相机固定在所述相机固定架上，用于采集所述目标工件的图像信息，所述led光源，用于为图像采集提供光源。
15.可选的，所述图像预处理单元包括图像滤波子单元、边缘轮廓提取子单元、图像分割子单元；所述图像滤波子单元，用于对所述图像信息进行高斯滤波处理，得到第一图像，所述边缘轮廓提取子单元，用于对所述第一图像进行边缘轮廓提取，得到第二图像，所述图像分割子单元，用于对所述第二图像进行图像分割将所述第二图像从背景图中提取出来。
16.通过采用上述技术方案，具有以下有益的技术效果：图像采集完成后，进行图像预处理，可以避免因为光照等原因造成图像质量较差的问题，消除干扰因素，同时也有利于特征的提取。
17.可选的，所述标定单元包括双目相机标定子单元和手眼标定子单元；所述双目相机标定子单元，用于获取双目相机的内外参数，所述手眼标定子单元，用于获取机械手坐标系和视觉系统坐标系的对应关系。
18.通过采用上述技术方案，具有以下有益的技术效果：进行相机标定，是为了获取相机的内外参数，防止镜筒畸变造成图像失真；进行手眼标定是实现机器人手眼协调的重要前提，所谓的手眼标定就是统一机械手坐标系和视觉系统坐标系，从而可以将视觉系统所确定的物体位姿转化到机械手坐标系下，由机械手驱动末端执行机构去完成对目标工件的作业。
19.可选的，所述精度检测单元用于检测所述双目相机标定子单元的标定精度。
20.另一方面，提供一种基于双目视觉的无序抓取方法，具体步骤包括如下：
21.进行双目相机标定，获得双目相机内外参数；
22.利用标定完成的双目相机采集目标工件图像，获得图像的三维点云数据；
23.进行手眼标定，获取机械手坐标系和视觉系统坐标系的转换关系；
24.根据所述三维点云数据获取所述目标工件的位姿信息；
25.根据所述转换关系，得到机械手坐标系下的第一位姿信息，机械手根据所述第一位姿信息实现目标工件的抓取。
26.可选的，实现目标工件的抓取后，还需要判断所述目标工件是否合格，若不合格，则将所述目标工件放入废料堆，若合格，则进行正确码放。
27.可选的，所述手眼标定的形式为eye_in_hand，所述手眼标定的步骤为：
28.建立机械手局部坐标系，采用homograph变换建立视觉系统坐标系与机械手局部坐标系的映射关系模型；所述机械手局部坐标系的原点在机械手上；
29.设置靶标，在设定范围内多次移动机械手，计算每次移动机械手时靶标在机械手局部坐标系中的坐标，检测每次移动机械手时靶标在视觉系统坐标系中的坐标，将计算出的结果和检测的结果代入视觉系统坐标系与机械手局部坐标系的映射关系模型，得到视觉系统坐标系与机械手局部坐标系的初步映射关系；
30.在视觉系统坐标系中设置多个目标点，并根据视觉系统坐标系与机械手局部坐标系的初步映射关系得到各目标点在机械手坐标系中对应的坐标；控制机械手移动，检测当靶标处于各目标点在机械手局部坐标系中对应的坐标时靶标在视觉系统坐标系中的坐标；
将计算结果和检测结果再次代入视觉系统坐标系与机械手局部坐标系的映射关系模型，得到视觉系统坐标系与机械手局部坐标系的精确映射关系；
31.根据机械手局部坐标系和机械手坐标系之间的对应关系、视觉系统坐标系与机械手局部坐标系的精确映射关系得到机械手坐标系与视觉系统坐标系之间的映射关系。
32.通过采用上述技术方案，具有以下有益的技术效果：首先采用homograph变换建立视觉系统坐标系与机械手局部坐标系之间的映射关系模型，然后根据初级靶标在机械手局部坐标系中的坐标和在视觉系统坐标系中的坐标得到视觉系统坐标系与机械手局部坐标系之间的初步映射关系，然后再得到其精确映射关系，从而解决现有技术中视觉系统坐标系与机械手局部坐标系之间映射关系精确度较低的问题。
33.最后，还提供一种计算机存储介质，所述计算机存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现基于双目视觉的无序抓取方法的步骤。
34.经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种基于双目视觉的无序抓取方法、系统及存储介质，将机器视觉应用到零件分拣系统中，相较于人工分拣有着高品质、高效率、高智能等优势，解决了散乱工件的自动化分拣和抓取问题，除此之外，对采集图像进行预处理，通过滤波处理、边缘轮廓提取处理、图像分割，提高了图像点云数据的精度和完整度，采用高精度手眼标定，使得基于机器视觉的目标工件抓取更加准确。
附图说明
35.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
36.图1为本发明的系统结构示意图；
37.图2为本发明的相机轴线平行搭建方案模型图；
38.图3为本发明的双目相机标定方法流程图；
39.图4为本发明的方法流程示意图。
具体实施方式
40.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
41.本发明实施例1公开了一种基于双目视觉的无序抓取系统，如图1所示，包括机械手模块、机器视觉模块、传输模块、激光三角三维检测模块、网络交换机，网络交换机与机械手模块电性连接，还与机器视觉模块电性连接，传输模块为传送带，位于激光三角三维检测模块下方；其中，
42.机器视觉模块，用于获取目标工件的三维信息；
43.传输模块，用于进行目标工件的输送；
44.激光三角三维检测模块，用于判断目标工件是否合格；
45.机械手模块，用于根据三维信息实现目标工件的抓取；
46.网络交换机，用于完成pc机、机械手模块以及机器视觉模块之间的信息交互。
47.工作原理为：机械手通过tcp/ip通讯和pc机进行连接，通过设定pc机的ip地址和控制器ip地址在同一网段下来实现tcp/ip通信。首先通过机器视觉模块采集图像，获取到目标工件的三维位置以及姿态信息传入pc机，上位机向机械手发送命令并接受返回数据，机械手控制器接收数据后，对数据进行处理后控制机械臂完成相关的运动。
48.进一步的，机器视觉模块包括依次连接的图像采集单元、图像预处理单元、标定单元、精度检测单元。
49.具体的，所述图像采集单元包括双目相机、相机固定架和led光源；双目相机固定在相机固定架上，用于采集目标工件的图像信息，led光源，用于为图像采集提供光源。
50.在图像的采集过程中，会因为光照等原因造成图像质量较差，有较多的干扰因素，同时为了方便特征的提取，需要不断地进行图像处理。
51.具体的，图像预处理单元包括：
52.(1)图像滤波子单元。
53.在本实施例中，采用gauss_filter进行高斯滤波处理。
54.(2)边缘轮廓提取子单元。
55.首先进行阈值处理主要是将灰度图像的灰度直方图生成出来，根据直方图的数据，选择合适的阈值区间通过threshold算子实现，然后通过connection算子进行区域联通处理将相似区域区分开，然后根据目标工件的区域特征，使用select_shape算子来将目标零件提取出来，最后通过fill_up算子对目标工件区域进行填充处理，最后使用boundary算子进行边缘轮廓的提取。
56.(3)图像分割子单元。
57.使用reduce_domain算子实现图像的的分割，将目标工件从背景图中提取出来。
58.进一步的，标定单元包括双目相机标定子单元和手眼标定子单元；双目相机标定子单元，用于获取双目相机的内外参数，手眼标定子单元，用于获取机械手坐标系和视觉系统坐标系的对应关系。
59.具体的，在对双目相机进行标定之前需要搭建双目相机，进行双目相机的搭建，首先要对网络协议进行配置，要将两台相机与上位机网卡的ip配置在同一个局域网下，普通的单目相机由于投影是多点对应一点的关系，投影线上任何一点均对应同一像点，无法获取空间点在相机坐标系中的坐标，因为单目相机缺少了空间点的深度信息，只能得到空间点在相机坐标中所在的直线。而双目相机则可以消除多对一的关系，根据同一空间点在两个相机图像中的坐标计算得到空间点的深度信息，从而确定像点在三维坐标z轴的值。双目相机的搭建方式主要有两种，分别是相机轴线平行式和相机轴线非平行的方式。相机轴线非平行的搭建方式，即只需要两相机轴线相交即可，搭建方式相对简单但其求解空间三维坐标计算量大，故本文采用相机轴线平行式。相机轴线平行的搭建方式，可以得公共视野，几何畸变误差小，计算空间三维坐标也相对容易，且平行的搭建也较为容易安装，让两个相机轴线夹角为0
°
即可，相机轴线平行搭建方案模型如图2所示。
60.在本实施例中，双目相机标定过程如图3所示，具体为：首先左右相机各采集一幅图像为一组，本实施例中为保证结果的可靠性采集了15组图像，采集时要注意：1、标定板的
要有良好的对比度，不能过曝和对比度过低，以免影响对标定板的识别；2、在采集的过程中要注意给标定板一个旋转，同时要保证标定板走过把部分的视野区域；3、标定过程中，标定板要在两个相机的交叉视野中，即保证标定板在一组图像中完整的呈现出来。
61.设置完各个参数的路径后，通过caltab_points算子，读取标定板描述文件，以此来获取标定板的标准信息，通过read_cam_par算子读取上述保存的两个单目相机标定得到的参数。
62.完成上述参数设置完成后读取双目相机拍摄的图片，通过find_caltab算子来找到标定板，分割图像中具有矩形排列标记的标准校准板区域，并提取标定板的边缘轮廓，然后通过find_marks_and_pose函数来查找标定板的圆点与识别标定板的姿态，并将其保存下来，然后通过算子disp_caltab显示出来。
63.上述读取过程要经历15个循环，将每张图片下的标定板姿态与位置信息保存下来。最后输入算子binocular_calibration，以完成双目相机的标定。标定完成后得到了相机的内外参数与两个相机的相对位姿。
64.进一步的，手眼标定用于获取机械手坐标系和视觉系统坐标系的对应关系，在本实施例中手眼标定的形式为eye_in_hand，手眼标定的步骤为：
65.建立机械手局部坐标系，采用homograph变换建立视觉系统坐标系与机械手局部坐标系的映射关系模型；机械手局部坐标系的原点在机械手上；
66.设置靶标，在设定范围内多次移动机械手，计算每次移动机械手时靶标在机械手局部坐标系中的坐标，检测每次移动机械手时靶标在视觉系统坐标系中的坐标，将计算出的结果和检测的结果代入视觉系统坐标系与机械手局部坐标系的映射关系模型，得到视觉系统坐标系与机械手局部坐标系的初步映射关系；
67.在视觉系统坐标系中设置多个目标点，并根据视觉系统坐标系与机械手局部坐标系的初步映射关系得到各目标点在机械手坐标系中对应的坐标；控制机械手移动，检测当靶标处于各目标点在机械手局部坐标系中对应的坐标时靶标在视觉系统坐标系中的坐标；将计算结果和检测结果再次代入视觉系统坐标系与机械手局部坐标系的映射关系模型，得到视觉系统坐标系与机械手局部坐标系的精确映射关系；
68.根据机械手局部坐标系和机械手坐标系之间的对应关系、视觉系统坐标系与机械手局部坐标系的精确映射关系得到机械手坐标系与视觉系统坐标系之间的映射关系。
69.进一步的，精度检测单元用于检测所述双目相机标定子单元的标定精度。在标定完双目相机后，利用校正后的图像进行极线对验证，以此来检测双目标定精度。
70.本发明实施例2公开了一种基于双目视觉的无序抓取方法，如图4所示，具体步骤包括如下：
71.进行双目相机标定，获得双目相机内外参数；
72.利用标定完成的双目相机采集目标工件图像，获得图像的三维点云数据；
73.进行手眼标定，获取机械手坐标系和视觉系统坐标系的转换关系；
74.根据三维点云数据获取目标工件的位姿信息；
75.根据转换关系，得到机械手坐标系下的第一位姿信息，机械手根据第一位姿信息实现目标工件的抓取。
76.更进一步的，实现目标工件的抓取后，还需要判断目标工件是否合格，若不合格，
则将目标工件放入废料堆，若合格，则进行正确码放。
77.本发明方法可以实现较高水平的零件自动化检测和分拣，在重体力，高重复性，高危险性的工作领域方面有良好的替代作用，对降低企业成本，提高产品合格率和改善劳动人员劳动强度有重要的参考价值。
78.除此之外，还提供一种计算机存储介质，计算机存储介质上存储有计算机程序，计算机程序被处理器执行时实现基于双目视觉的无序抓取方法的步骤。
79.本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
80.对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。