一种基于图像判别技术的变电站智能巡检方法与流程

专利检索2022-05-10  10



1.本发明涉及变电站巡检技术领域,更具体涉及一种基于图像判别技术的变电站智能巡检方法。


背景技术:

2.随着我国电网规模不断扩大,变电设备数量和种类逐渐增多,组网复杂程度提高,使其运行压力增大,安全隐患也随之增加,对其安全可靠运行提出了更高要求,变电设备巡检和检测是保障变电设备可靠运行的重要手段之一。变电站的设备巡检工作一直以来都是整个变电站在运行过程中的核心工作,这项工作的主要目的是为了对当前设备的运行状态进行检查,从而第一时间发现设备运行过程中所存在的缺陷,促使设备能够安全、可靠、稳定地运行。
3.传统的变电站巡检方式多为人工巡检,需要人工全天候监视,工作量大,人力成本高,巡检效率低下。工作人员能够对巡检记录进行故意篡改,并且工作人员在巡检过程中还会出现各种失误,造成各种无效的巡检。


技术实现要素:

4.本发明需要解决的技术问题是提供一种基于图像判别技术的变电站智能巡检方法,以解决背景技术中的问题,以减轻了人工工作量,提升了巡检效率,避免了潜在的人为因素导致的无效巡检。
5.为解决上述技术问题,本发明所采取的技术方案如下。
6.一种基于图像判别技术的变电站智能巡检方法,获取待巡检区域的实时画面信息并建立巡检任务;在站内各巡检任务开启后对所有巡检区域的一个整体呈现汇总;利用视觉领域中的热图生成与深度学习领域中的语义分割相结合的方式,对实时画面进行智能检测分析,判断画面中是否存在异常;若发现画面中出现异常,则进行即时告警。
7.进一步优化技术方案,获取待巡检区域的实时画面信息并建立巡检任务是通过变电站智能巡检系统终端进行的。
8.进一步优化技术方案,具体包括以下步骤:
9.s1、在巡检区域拍摄的画面,将拍摄的画面作为该区域基准图;
10.s2、将获取的实时图像与步骤s1中的基准图进行图像配准,建立实时图像与基准图的匹配关系;
11.s3、对配准后的图像及基准图进行语义分割,只提取配准后图像及基准图的前景目标区域;
12.s4、将步骤s3中提取的两图中的前景目标区域进行比较,找出两图存在差异的区域;
13.s5、对步骤s4中的区域进行结果筛选,区分该差异区域是否为真实异物入侵所导致的;
14.s6、对于确认的真实异物入侵,将异物信息进行告警,交由现场运维人员确认结果并进行处理。
15.进一步优化技术方案,所述步骤s1中,在需要巡检的场景内架设监控设备,视角覆盖需巡检区域,设定固定焦距与角度作为摄像头预制位,在预制位拍摄画面。
16.进一步优化技术方案,所述步骤s1中,对基准图定时进行更新。
17.进一步优化技术方案,所述步骤s2中,图像配准方法是先训练一个提取图像关键点的模型,再通过关键点匹配,建立实时图像与基准图的匹配关系。
18.进一步优化技术方案,所述步骤s3中,语义分割是通过语义分割模型进行,语义分割模型是由训练所得;语义分割的目的是区分图像中的背景区域以及前景目标,前景目标为重点关注的区域及设备。
19.进一步优化技术方案,所述步骤s4中,图像比较方法遵循以下步骤:计算两图的结构相似度,将数字结果转化为灰度图像,再进行二值化处理,并使用滤波器对二值化图像进行滤波去除噪点,最后从二值化图像中提取差异处轮廓。
20.进一步优化技术方案,所述步骤s5中,结果筛选的方法为:结合步骤s3中语义分割的结果,对差异区域进行类别及msp值确认,差异超出设定阈值时即认为该差异是由异物入侵导致。
21.进一步优化技术方案,所述步骤s6中,在管理人员确认异常处理方式后,自动将检测结果在数据库中进行记录,定期生成巡检报告供相关人士查阅。
22.由于采用了以上技术方案,本发明所取得技术进步如下。
23.本发明以变电站智能巡检系统终端获取待巡检区域的实时画面信息并建立巡检任务。在站内各巡检任务开启后对所有巡检区域的一个整体呈现汇总。利用视觉领域中的热图生成与深度学习领域中的语义分割相结合的方式,对实时画面进行智能检测分析,判断画面中是否存在异常;若发现画面中出现异常,则进行即时告警。在管理人员确认异常处理方式后,自动将检测结果在数据库中进行记录,定期生成巡检报告供相关人士查阅。本发明极大减轻了人工工作量,提升了巡检效率,巡检标准明确统一且有记录可查,避免了潜在的人为因素导致的无效巡检。
附图说明
24.图1为本发明的整体流程图;
25.图2为本发明同一预制位不同时刻的两张图像;
26.图3为本发明对配准后的图像及基准图进行语义分割时的效果图;
27.图4为本发明对提取的两图中的前景目标区域进行比较并找出两图存在差异的区域时的图像;
28.图5为本发明第一时刻图像最左边的区域的图像;
29.图6为本发明第二时刻图像最左边的区域的图像;
30.图7为本发明第一时刻某一差异区域的图像;
31.图8为本发明第二时刻某一差异区域的图像;
32.图9为本发明遍历所有差异区域后筛选出异物导致的差异的图像。
具体实施方式
33.下面将结合附图和具体实施例对本发明进行进一步详细说明。
34.一种基于图像判别技术的变电站智能巡检方法,结合图1所示,以变电站智能巡检系统终端获取待巡检区域的实时画面信息并建立巡检任务。在站内各巡检任务开启后对所有巡检区域的一个整体呈现汇总。利用视觉领域中的热图生成与深度学习领域中的语义分割相结合的方式,对实时画面进行智能检测分析,判断画面中是否存在异常;若发现画面中出现异常,则进行即时告警。在管理人员确认异常处理方式后,自动将检测结果在数据库中进行记录,定期生成巡检报告供相关人士查阅。
35.本发明具体包括以下步骤:
36.s1、实时图像采集:在需要巡检的场景内架设监控设备,视角覆盖需巡检区域,设定固定焦距与角度作为摄像头预制位,在预制位拍摄画面。在巡检区域拍摄的画面,将拍摄的画面作为该区域基准图,对基准图定时进行更新。
37.进行图像采集后还需对图像进行预处理。预处理的主要作用是检测当前输入图像是否正常,具体检测图像的一些属性如:尺寸、图像清晰度、数据是否缺失,对已知的一些异常情况进行筛除。
38.1)异常情况一:输入图像尺寸与基准图尺寸不同
39.处理手段:将输入图尺寸进行变换与基准图保持一致即可。
40.2)异常情况二:输入图像(因传输等问题)数据异常
41.检测及处理手段:当前画面存在大量数据重复,以数据部分缺失和数据全部缺失为例,存在多行数据相同(大于50%),该帧图像直接过滤不进行后续分析,等待下一帧数据。
42.3)异常情况三:输入图像模糊
43.此情况多因光照发生剧烈变化,摄像头重新聚焦的过程中导致图像模糊。
44.检测及处理手段:输入的图像都会进行清晰度检测,如果当前清晰度骤减(即清晰度只为基准图的50%,该数值可根据实际场景进行相应调整50%),该帧会被当作异常帧,直接过滤不作后续分析,等待下一帧数据。
45.s2、图像配准:将摄像头获取的实时图像与步骤s1中的基准图进行图像配准,建立实时图像与基准图的匹配关系。图像配准包括检测关键点、匹配映射、透视变换步骤。
46.图像配准方法是先训练一个提取图像关键点的模型,再通过关键点匹配,建立实时图像与基准图的匹配关系。图像配准方法主要分为四步:特征提取、特征匹配、矩阵计算以及透视变换。
47.s21、特征提取:
48.它是将一些原始的输入的数据维度减少或者将原始的特征进行重新组合,以便于后续的使用。简单来说有两个作用:减少数据维度,整理已有的数据特征。
49.本发明采用的是akaze算法进行特征提取。
50.akaze检测器说明:
51.akaze算法是sift算法之后,具有尺度不变性与旋转不变性算法领域的再一次突破,它是kaze特征提取算法的加速版本;其算法原理有别于前面提到的几种方法,其是通过正则化pm方程与aos(加性算子分裂)方法来求解非线性扩散,从而得到尺度空间的每一层;
采样的方法与sift类似,对每一层实现候选点的定位与过滤,以实现关键点的提取;然后再使用与surf求解方向角度类似的方法实现旋转不变性特征,最终生成akaze描述子。
52.该步骤对基准图和实时图像都进行akaze的特征提取,获取关键点的位置及特征描述子。
53.s22、特征匹配:
54.bfmatcher总是尝试所有可能的匹配,从而使得它总能够找到最佳匹配。这也是brute force(暴力法)的原始含义。方法是计算某一个特征点描述子与其他所有特征点描述子之间的距离,然后将得到的距离进行排序,取距离最近的一个作为匹配点。
55.knnmatch:给定查询集合中的每个特征描述子,寻找k个最佳匹配,knnmatch返回k个好的匹配,k可以自行指定。本发明中实际指定k=2,raw_matches=matcher.knnmatch(desc1,desc2,2),然后每个match得到两个最接近的描述子,再计算最接近距离和次接近距离之间的比值,当比值大于某个设定的值时,才认作匹配成功。
56.经历该步骤后,得到所有匹配成功的特征点对。
57.s23、矩阵计算:
58.计算多个二维点对之间的最优单映射变换矩阵h(3行x3列),使用最小均方误差或者ransac方法。目的是为了找到两个平面之间的转换矩阵。本发明使用的是ransac方法,ransacreprojthreshold阈值设为5。
59.该步骤输入为上阶段匹配成功的所有特征点对,输出为一个3*3的矩阵。
60.s24、透视变换:
61.透视变换是将图片投影到一个新的视平面(viewing plane),也称作投影映射(projective mapping)。
62.该步骤即是将输入的实时图像通过步骤s23计算的转换矩阵进行透视变换到基准图的坐标上,以此保证后续检测到的两幅图之间的差异是真实存在的(后续的图像比较阶段再分析具体是什么原因),而非因摄像头角度/焦距不同所导致。
63.s3、语义分割:对配准后的图像及基准图进行语义分割,只提取配准后图像及基准图的前景目标区域。
64.语义分割是通过语义分割模型进行,语义分割模型是由训练所得;语义分割的目的是区分图像中的背景区域以及前景目标,背景区域为天空、草地、墙壁等,前景目标为重点关注的区域及设备。
65.s4、图像比较:将步骤s3中提取的两图中的前景目标区域进行比较,找出两图存在差异的区域。图像比较的方法为计算结构相似性和寻找差异区域轮廓步骤。
66.图像比较方法遵循以下步骤:计算两图的结构相似度,将数字结果转化为灰度图像,再进行二值化处理,并使用滤波器对二值化图像进行滤波去除噪点,最后从二值化图像中提取差异处轮廓。
67.s5、对步骤s4中的区域进行结果筛选,区分该差异区域是否为真实异物入侵所导致的。区分该差异区域是真实异物入侵导致,还是由光照变化等其他非异物入侵因素所导致。
68.非异物:变电站中的设备箱、各类电力设施,建筑设施,天空、树木草地等自然物体,及其他一系列可能正常出现在变电站场景里的物体。由光照导致的反光或阴影投射在
目标物体上,也仍为非异物。
69.异物:诸如塑料袋、矿泉水瓶等类似生活垃圾,飞鸟、鸟巢等。
70.语义分割模型是由训练所得,训练数据中的标注对象为上述描述的所有非异物。语义分割的目的是区分图像中的背景区域如天空、草地、墙壁等,以及前景目标即重点关注的区域及设备。画面中所有的区域都会划分为不同的非异物区域。
71.ood检测指的是模型能够检测出ood样本,而ood样本是相对于in distribution(id)样本来说的。具体到本发明中,非异物即是id,异物是ood。
72.maximum softmax probability,后面简写为msp。这是一种最简单但强大的ood(out of distribution)检测技术。这种方法背后最直观的原理就是:正确识别的物体往往比错误识别的物体以及识别范围外的物体(在这里可理解为上面描述的异物)具有更大的msp值。具体到语义分割里,事实上小到每个像素都可求得一个msp值。
73.结果筛选的方法为:结合步骤s3中语义分割的结果,对差异区域进行类别及msp值(maximum softmax probability)确认,差异超出设定阈值时即认为该差异是由异物入侵导致。
74.s6、对于确认的真实异物入侵,将异物信息通过系统进行告警,交由现场运维人员确认结果并进行处理。异物信息包括该摄像头所摄信息位置、有异物标记的实时截图、异物区域放大图像等信息。
75.对于确认的非异物入侵,返回实时图像采集步骤。
76.下面结合具体实施例对本发明中步骤s3

步骤s5进行详细说明。
77.如图2所示,是同一预制位不同时刻的两张图像,本发明的目标判断并找出是否存在异物(即横置在刀闸箱上的矿泉水瓶)。
78.首先进行步骤s3,对配准后的图像及基准图进行语义分割,只提取前景目标区域。
79.首先将两图进行语义分割,效果图如图3所示,理论上所有区域(包括右图中的矿泉水瓶)都会被识别为训练中的那些物体,但还要根据msp值来检查该识别结果是否可信(msp值也是后续判断的一个重要指标)。
80.语义分割的结果中,墙、天空、植被等属于背景物,剩余的都是本发明关注的前景目标(直接从原图中分割出来),至此完成步骤s3。
81.接着进行步骤s4,将步骤s3中提取的两图的前景目标区域进行比较,找出两图存在差异的区域,如图4所示。
82.通过图像对比的方法将差异的地方都用红框标出,至此完成步骤s4。
83.最后进行步骤s5,对步骤s4中的区域进行结果筛选,区分该差异区域是真实异物入侵导致,还是由光照变化等其他非异物入侵因素所导致。
84.对于步骤s4中每一个红框圈出的差异区域进行遍历。
85.比如图像最左边的区域,分别分析两个区域中,语义分割识别该区域的类别。
86.图5:语义分割认定类别:“电力设施”,红框区域内msp均值:0.675553;
87.图6:语义分割认定类别:“电力设施”,红框区域内msp均值:0.615358。
88.两区域类别一致且msp值都较高,说明模型的识别结果较为可信。由此可知,两个区域内的物体类别是同类物体“电力设施”,进而推测可能是光照等其他因素造成的视觉上的不同,应予排除。
89.对于图7和图8,分别分析两个区域中,语义分割识别该区域的类别。
90.图7:语义分割认定类别:“电力设施”,红框区域内msp均值:0.556366;
91.图8:语义分割认定类别:“天空”,红框区域内msp均值:0.054315。
92.两区域类别不同且msp值相差很大,直观来看图7里的红框区域:既有墙,也有电力设施,给出“电力设施”结论的原因是区域里大部分区域是电力设施,并非是将墙也识别为电力设施。而图8则非常不确定该区域内的物体,由msp值非常低可知该区域很大可能存在训练数据之外的物体,即异物。进而推出,该区域内的差异大概率是因为异物导致而非光照等其他因素所造成。
93.遍历所有差异区域后,综合遍历结果,筛选出异物导致的差异,如图9所示。图中可看出,最后只剩矿泉水瓶导致的差异区域。
转载请注明原文地址:https://win.8miu.com/read-325957.html

最新回复(0)