本发明涉及图像处理,具体涉及一种基于机器视觉的控制面板区域字符识别方法。
背景技术:
1、新一代科技革命使得全球工业走向智能化,相较于依靠人力加工的传统制造车间,自动化生产效率大大提高。同时,由于人力远离生产线,故有效减少了工人在生产过程中的危险事故数量。但在实际生产过程中,仍然需要依靠工人去现场查看设备运行参数来掌握生产实际情况。这种依靠工人实地查看的方法,不能够在设备运行期间实时观测、记录运行数据。一旦出现问题,异常不能被及时发现并修正,可能会造成产品质量问题,甚至存在安全隐患。
2、因此需要一种在生产车间中用于对仪器的控制面板特定区域定位并且能够识别其中文字信息的技术。使用该技术能够远程操控并记录识别到的信息供人工实时查看。同时该技术还应当具有泛用性,能够应对不同环境、识别不同仪器的控制面板和其中的字符信息。
技术实现思路
1、针对背景技术中存在的问题,本发明的目的在于提供一种基于机器视觉的控制面板区域字符识别方法。
2、为达到上述目的,本发明采用如下技术方案:
3、步骤1:可调节支架夹持相机并安装于工控屏前方,调整可调节支架至合适角度,利用相机对工控屏中的控制面板区域进行拍摄采集获取控制面板原始图像src;
4、步骤2:对控制面板原始图像src进行自适应阈值的二值化处理,得到二值图像bw,再对bw采用中值滤波进行去噪,得到滤波后的图像bwf;
5、步骤3:对步骤2中获得的图像bwf进行轮廓检测,得到轮廓集ck,再对每个轮廓绘制外接矩形,通过限制外接矩形的高宽比和计算各外接矩形内白色像素占比的方法进行筛选,得到控制面板区域轮廓c;
6、步骤4:对步骤3中获得的轮廓c进行多边形拟合,得到拟合多边形l;
7、步骤5:根据步骤4中得到的拟合多边形l提取控制面板区域的四个角点;
8、步骤6:将步骤5中获得的四个角点和控制面板原始图像src的四个顶点作为参照,对src进行透视畸变矫正,得到矫正后的图像img;
9、步骤7:根据待识别字符与控制面板区域相对位置确定感兴趣区域图像roi,具体为:
10、设a、b分别为畸变矫正后图像img的x方向长度和y方向长度,待识别字符感兴趣区域roi左上角点位于图像img的x方向和y方向的1/j和1/k处,roi的宽、高各占整幅图像的1/p和1/q,其中j、k、p、q为已知常数,均由待识别字符与控制面板区域相对位置决定,可得roi的左上角顶点为(a/j,b/k),roi矩形框的宽、高为a/p和b/q,将该矩形从图像img中截取出,得到包含待识别字符的感兴趣区域图像roi;
11、步骤8:对步骤7获得的感兴趣区域图像roi采用ocr技术识别其中的字符信息。
12、进一步地,筛选控制面板区域轮廓c的方法为:对轮廓检测得到的每个轮廓绘制外接矩形,计算每个外接矩形的高宽比rk,通过限制高宽比rk的大小进行初筛,得到符合条件的轮廓集cj,再对cj中每个轮廓对应的外接矩形所包含的白色像素个数进行计数,计算得到相应的白色像素个数占比rj,针对不同控制面板对rj进行限制得到最终控制面板区域轮廓c;
13、其中,白色像素个数占比rj计算公式为:
14、rj=kj/(hj*wj)
15、式中,hj、wj为各矩形的高和宽,kj为各矩形内部的白色像素个数。
16、进一步地,对控制面板区域轮廓c拟合多边形时采用基于道格拉斯-普克的算法实现,具体为:选择轮廓c中两个距离最远的点pj、pk作为端点,连接两点得到直线l1,直线l1将轮廓c分割为ca和cb两部分,对这两部分分别应用道格拉斯-普克算法拟合曲线,再将拟合后的两部分合并为最终的拟合多边形;
17、进一步地,控制面板区域的四个角点提取的方法为:将拟合多边形l作为前景绘制于与控制面板原始图像src大小相同的白色背景中得到拟合多边形图像imgl,设图像imgl的四个顶点坐标为a0、a1、a2和a3,对imgl进行harris角点检测,得到harris角点检测评分结果图,通过设定阈值筛选得到评分较高的角点集pm,计算pm与a0、a1、a2和a3的欧氏距离dm1、dm2、dm3、dm4,得到与a0、a1、a2、a3距离最近的四个点p0、p1、p2、p3为控制面板区域的四个角点。
18、进一步地,对控制面板原始图像src进行透视畸变矫正方法为:将原图中每个像素点iij分别经过透视变换公式计算得到oij后输出新图像img。其中,透视变换计算公式为:
19、
20、
21、
22、式中(u,v)为原图src中各像素点的坐标,(x,y)为变换后图像img中各像素点的坐标,tnm为未知参数,可由p0、p1、p2、p3和a0、a1、a2、a3解得。
23、本发明的有益效果是:
24、(1)本发明所公开的一种基于机器视觉的控制面板区域字符识别方法,使用相机实时采集控制面板图像,快速识别字符信息并记录数据,能够在设备实时运行中持续获取信息,不仅排除了人为因素的干扰,还提高了信息获取的效率。
25、(2)使用道格拉斯-普克算法,通过压缩轮廓点数进而将轮廓拟合成多边形,不仅减少了后续筛选角点操作时的运算量,还能够减少环境光对二值化操作带来的影响,提高算法泛化能力,有利于实际应用。
26、(3)对控制面板区域进行透视畸变矫正,减少图像采集时拍摄角度对字符识别带来的影响,进一步提高字符识别的准确度。
1.一种基于机器视觉的控制面板区域字符识别方法,其特征在于:包括以下步骤:
2.根据权利要求1所述的一种基于机器视觉的控制面板区域字符识别方法,其特征在于:
3.根据权利要求1所述的一种基于机器视觉的控制面板区域字符识别方法,其特征在于:
4.根据权利要求1所述的一种基于机器视觉的控制面板区域字符识别方法,其特征在于:
5.根据权利要求1所述的一种基于机器视觉的控制面板区域字符识别方法,其特征在于: