一种入侵目标检测模型及其在输电线路巡检中的检测方法

专利检索2025-05-17  9


本发明属于深度学习下的目标检测,具体涉及在输电线路场景下检测并框出塔吊、起重机、打桩机、工程卡车和挖掘机等入侵目标的一种检测模型及检测方法。


背景技术:

1、随着国家电网的不断发展,输电杆、输电线等输电设施的数量日益增加,并且相互之间的联系日益紧密。一旦某处设施出现问题,会导致该处附近大面积停电,进而造成严重的经济损失。因此,需要实时监测输电线路的状态,保障输电线路安全、平稳地运行。然而,输电线路常常被挖掘机、打桩机等施工设备和工程卡车等运输设备入侵,导致输电线折断或者输电杆倒塌。此类入侵事故不仅造成经济上的重大损失,还会引发大量触电事故,危及行人和电网工作人员的生命安全。因此,研究面向输电线路的入侵目标检测是非常有必要的,它不仅是电力网络日常巡检的基础组成部分,还可以辅助后续针对入侵目标是否接近输电线路的预警工作。目前,针对入侵目标的检测主要是通过人工进行定期巡检,这种方式不适应输电设施日渐增多的现实,并且效率低、实时性差。

2、针对上述问题,一些研究提出使用深度学习相关的方法对输电线路附近的入侵目标进行检测。基于深度学习的目标检测方法通常是通过一个骨干网络提取出图像的特征,然后通过特征金字塔模块将骨干网络提取的特征进行融合与增强,最后输出目标框的坐标(即左上顶点的坐标和右下顶点的坐标)和目标框的类别。通常情况下,目标检测算法通常会结合一系列预先设置好的先验框,针对先验框,预测偏移量和先验框的类别,最终得出结果。这类目标检测方法可分为一阶段方法和二阶段方法。其中,一阶段方法,如ssd、yolov3和retinanet 算法等,不经过筛选,直接对先验框进行预测。二阶段方法会额外使用一个区域建议网络,以筛选出更有可能是目标的先验框。如faster r-cnn,首先通过骨干网络和特征金字塔提取特征,然后通过区域建议网络判断先验框是物体还是背景,若为背景,则通过回归的方式进行边框的修正,得出候选框。针对输电线路附近的入侵目标,现有的方法主要通过在成熟的目标检测方法,例如ssd、yolov3、faster r-cnn等,基础上进行微调,实现入侵目标的检测。

3、虽然上述方法相对人工定期巡检而言取得了较大的进展,但是仍存在以下问题:能检测的入侵目标种类数较少;输电线路的场景中存在较为密集或者尺度较小的入侵目标,而上述方法对这些目标的定位不准确,同时漏检率较高;对数据集中数量较少的入侵目标的检测效果大幅下降;以faster r-cnn为基础的二阶段方法虽然能够取得较好的检测效果,但是检测速度慢,远远达不到实时性的要求。


技术实现思路

1、本发明提出了一种入侵目标检测模型,包括三个模块:骨干网络、特征金字塔和级联区域建议网络;所述骨干网络采用多层的mobilenetv2实现,对输入图像提取出特征,得到多层的特征图;所述特征通过所述特征金字塔进行特征融合后输入到所述级联区域建议网络,所述特征融合是将所述多层的mobilenetv2中高层的特征图经过上采样后逐元素相加融合到低一层的特征图上得到;所述级联区域建议网络包含一个区域建议网络和n个级联的检测头,每个检测头即为一级,所述区域建议网络依据融合后的特征生成可能为入侵目标的若干候选框,再从第一级开始通过逐级提升iou阈值的方式精细化,最后由第n个检测头输出入侵目标检测分类和边框回归的结果。作为优选,n=3。

2、进一步的,所述mobilenetv2有9层,从低层到高层分别为conv1、layer-i和conv2,i =1,2,..,7,其中,conv1和conv2是带批归一化和relu6激活函数的3*3卷积层,layer-i由倒残差块组成,所述特征是layer-2、layer-3、layer-5和conv2层得到的特征图。

3、再进一步的,所述倒残差块先对输入进行1*1卷积提升通道数,然后进行3*3分组卷积,其中分组卷积的分组数为当前的通道数,最后再进行1*1卷积降低通道数。

4、再进一步的,所述mobilenetv2有两个,二者结构相同、参数不共享,其中一个为辅助骨干,另一个为输出骨干,对于所述输出骨干的layer2及以上的每层,将辅助骨干中不低于 layer2层的每层的特征与输出骨干的特征相加。

5、再进一步的,所述辅助骨干和输出骨干的layer-7层仅由一个倒残差块a组成,在倒残差块a的3*3分组卷积以后插入se模块;所述se模块首先对输入的特征图进行平均池化,然后通过两次全连接操作和sigmoid函数得到特征图每个通道的权重,最后与特征图相乘得到加权后的特征图。

6、再进一步的,在融合的过程中,对所述辅助骨干的特征图进行上采样操作,使得所述辅助骨干的特征图大小与所述输出骨干的特征图大小相同;将所述辅助骨干对应层的特征图也输入到与所述特征金字塔参数共享的特征金字塔中,与所述输出骨干一同参与损失函数的计算。

7、进一步的,所述特征融合在将所述多层的mobilenetv2中高层的特征图经过上采样后逐元素相加融合到低一层的特征图后,还自底层向上再进行一轮融合,即低层的特征图经过下采样操作与高一层的特征图进行逐元素相加,相加后的特征图再进行3*3的卷积,然后输出再与高一层的特征图进行同样的操作;在最后一次自底层向上的融合中,下采样卷积和步长为1的3*3卷积均采用可变形卷积。

8、再进一步的,所述可变形卷积在传统的3*3卷积核的基础上额外学习每个采样点在x和 y方向上的偏移量以及权重,并使用新的采样点和权重进行卷积计算。

9、再进一步的,对所述可变形卷积的输出特征图使用最大值池化,作为特征金字塔的另一个输出。

10、本发明的另一方面,一种入侵目标检测模型在输电线路巡检中的检测方法,包括步骤:获取电网场景图像,构建数据集;设计并训练所述的入侵目标检测模型,保存模型参数;将实时获取的电网场景图像输入保存模型参数所述入侵目标检测模型,得到检测结果。

11、有益效果:输电线路是国家智慧电网的重要组成部分,对国民经济和生活具有重要的意义。然而,输电线路容易遭受工程车辆、塔吊、挖掘机等的入侵,并且传统的巡检方式实时性差、准确率低,无法很好地应对上述入侵的情况。本发明基于深度学习,提出了一种轻量化的基于mobilenetv2的入侵目标检测模型及其在输电线路巡检中的检测方法。通过复合的 mobilenetv2骨干网络、自底向上结合自顶向下的特征金字塔网络和级联区域建议网络,在由监控摄像机收集到的8177张电网场景图像的数据集上取得了74.60的map-50值,在对比算法中最高。同时,上述算法的参数数量和计算量最少,确保了算法的实时性。



技术特征:

1.一种入侵目标检测模型,其特征在于,所述入侵目标检测模型包括三个模块:骨干网络、特征金字塔和级联区域建议网络;所述骨干网络采用多层的mobilenetv2实现,对输入图像提取出特征,得到多层的特征图;所述特征通过所述特征金字塔进行特征融合后输入到所述级联区域建议网络,所述特征融合是将所述多层的mobilenetv2中高层的特征图经过上采样后逐元素相加融合到低一层的特征图上得到;所述级联区域建议网络包含一个区域建议网络和n个级联的检测头,每个检测头即为一级,所述区域建议网络依据融合后的特征生成可能为入侵目标的若干候选框,再从第一级开始通过逐级提升iou阈值的方式精细化,最后由第n个检测头输出入侵目标检测分类和边框回归的结果。

2.如权利要求1所述的入侵目标检测模型,其特征在于,所述mobilenetv2有9层,从低层到高层分别为conv1、layer-i和conv2,i=1,2,..,7,其中,conv1和conv2是带批归一化和relu6激活函数的3*3卷积层,layer-i由倒残差块组成,所述特征是layer-2、layer-3、layer-5和conv2层得到的特征图。

3.如权利要求2所述的入侵目标检测模型,其特征在于,所述倒残差块先对输入进行1*1卷积提升通道数,然后进行3*3分组卷积,其中分组卷积的分组数为当前的通道数,最后再进行1*1卷积降低通道数。

4.如权利要求2所述的入侵目标检测模型,其特征在于,所述mobilenetv2有两个,二者结构相同、参数不共享,其中一个为辅助骨干,另一个为输出骨干,对于所述输出骨干的layer2及以上的每层,将辅助骨干中不低于layer2层的每层的特征与输出骨干的特征相加。

5.如权利要求4所述的入侵目标检测模型,其特征在于,所述辅助骨干和输出骨干的layer-7层仅由一个倒残差块a组成,在倒残差块a的3*3分组卷积以后插入se模块;所述se模块首先对输入的特征图进行平均池化,然后通过两次全连接操作和sigmoid函数得到特征图每个通道的权重,最后与特征图相乘得到加权后的特征图。

6.如权利要求4所述的入侵目标检测模型,其特征在于,在融合的过程中,对所述辅助骨干的特征图进行上采样操作,使得所述辅助骨干的特征图大小与所述输出骨干的特征图大小相同;将所述辅助骨干对应层的特征图也输入到与所述特征金字塔参数共享的特征金字塔中,与所述输出骨干一同参与损失函数的计算。

7.如权利要求1所述的入侵目标检测模型,其特征在于,所述特征融合在将所述多层的mobilenetv2中高层的特征图经过上采样后逐元素相加融合到低一层的特征图后,还自底层向上再进行一轮融合,即低层的特征图经过下采样操作与高一层的特征图进行逐元素相加,相加后的特征图再进行3*3的卷积,然后输出再与高一层的特征图进行同样的操作;在最后一次自底层向上的融合中,下采样卷积和步长为1的3*3卷积均采用可变形卷积。

8.如权利要求7所述的入侵目标检测模型,其特征在于,所述可变形卷积在传统的3*3卷积核的基础上额外学习每个采样点在x和y方向上的偏移量以及权重,并使用新的采样点和权重进行卷积计算。

9.如权利要求7所述的入侵目标检测模型,其特征在于,对所述可变形卷积的输出特征图使用最大值池化,作为特征金字塔的另一个输出。

10.一种入侵目标检测模型在输电线路巡检中的检测方法,其特征在于,包括步骤:


技术总结
一种入侵目标检测模型及其在输电线路巡检中的检测方法,属于深度学习下的目标检测领域。包括三个模块:骨干网络、特征金字塔和级联区域建议网络;骨干网络采用多层的MobileNetV2实现,对输入图像提取出特征,得到多层的特征图;特征通过特征金字塔进行特征融合后输入到级联区域建议网络,特征融合是将所述多层的MobileNetV2中高层的特征图经过上采样后逐元素相加融合到低一层的特征图上得到;级联区域建议网络包含一个区域建议网络和N个级联的检测头,每个检测头即为一级,区域建议网络依据融合后的特征生成可能为入侵目标的若干候选框,再从第一级开始通过逐级提升IoU阈值的方式精细化,最后由第N个检测头输出入侵目标检测分类和边框回归的结果。

技术研发人员:张海军,欧阳超
受保护的技术使用者:哈尔滨工业大学(深圳)
技术研发日:
技术公布日:2024/5/29
转载请注明原文地址:https://win.8miu.com/read-1153738.html

最新回复(0)