基于添加注意力机制改进检测网络模型的方法

专利检索2025-01-09  29


本发明属于神经网络,涉及一种基于添加注意力机制改进检测网络模型的方法。


背景技术:

1、人类的视觉系统能够在每次的识别任务中,通过自身选择性获取信息机制,抑制视野中其他不感兴趣区域,快速的在复杂的环境中聚焦于目标,获取到所需有效信息,有效的将有限的神经计算能力分配给视野中目标所在的关键感兴趣区域。基于人类视觉系统的这一特性,注意力机制相关算法被不断推出,其核心就是是模仿人类视觉系统,通过对图像中不同区域的关注程度进行加权,让算法更加聚焦于重要的特征区域,从而提高目标检测的准确度和鲁棒性。随着深度学习技术的发展,该机制算法在图像分类、目标检测、语义分割等计算机视觉任务中得到了越来越广泛的应用。

2、se(squeeze-and-excitation network)注意力机制模块算法,其算法主要原理是通过基于loss损失函数来控制算法学习网络模型中不同权重的重要程度,从而将目标图像的特征图中的目标特征权重进行增强,并通过特殊算法通道建立特征之间的相互连接关系。总的来说,se注意力模块通过学习的方式自动获取每个特征通道的重要程度,并利用得到的重要程度来增强有用特征并抑制对当前任务不重要的特征,以提升原网络对于图像处理的提取性能。

3、cbam(convolutional block attention)注意力机制模块算法[68],与此前的注意力模块有所不同,此前的注意机制往往仅对图像特征图中各像素点间的关系进行注意力机制控制,而cbam模块在此同时还强调了对图像特征图的空间信息的注意力机制控制。正是基于此项特性,cbam模块在注意力机制方面呈现成更好的效果,能够有效的强化有用特征并抑制对当前任务不重要的特征,以提升原网络对于图像处理的提取性能。

4、se注意力机制模块算法仅关注通道信息特征,cbam注意力模块算法需要更多的计算资源,计算复杂度更高。


技术实现思路

1、鉴于以上问题,本发明提供一种基于添加注意力机制改进检测网络模型的方法,包括以下步骤:

2、s10,通过全局平均池化层将图像进行分解,分别沿水平坐标方向及垂直坐标方向对图像进行压缩编码,生成两个不同坐标方向的图像特征编码;

3、s20,将求得的两个不同坐标方向特征编码通过卷积方式进行聚合,生成中间特征图f;

4、s30,基于空间维度将f切分得到两个单独的向量,随后使用两个不同的卷积核将这两个向量的尺寸进行转换,得到与最开始的输入一样的通道数;

5、s40,对尺寸转换过的两个向量gh及gw进行处理即可得到包含位置信息的注意力权重,然后作用于原图像特征图。

6、优选地,所述s10中水平坐标方向及垂直坐标方向的特征编码表达式为:

7、

8、

9、其中,为输出特征图像垂直坐标为h值处的输出值,为输出特征图像水平坐标为w值处的输出值,xc(·)为输入图像在不同坐标点的输入值,h为图像的垂直坐标,w为为图像的水平坐标,h为图像的最大垂直坐标,w为图像的最大垂直坐标,i∈(0,w),j∈(0,h)。

10、优选地,所述s20中f由下式得到:

11、f=δ(f1([zh,zw]))

12、其中,[zh,zw]表示对垂直方向特征图zh以及水平方向特征图zw进行合并操作,f1(·)表示卷积操作,δ(·)表示激活操作,f为操作所得特征图。

13、优选地,所述s30中公式为:

14、gh=σ(fh(fh))

15、gw=σ(fw(fw))

16、其中,fh和fw分别表示垂直方向和水平方向的特征图值,fh和fw均为卷积升维操作,σ(·)表示激活操作,gh和gw分别表示垂直方向和水平方向的注意力向量。

17、优选地,所述s40中输出表达式为:

18、

19、其中,yc(i,j)表示在输出图像在(i,j)坐标处的输出值,xc(i,j)表示在输入图像在(i,j)坐标处的输入值,和分别表示在i坐标处和j坐标处的垂直方向和水平方向的注意力向量值。

20、本发明有益效果至少包括:在原网络模型基础上添加了自适应注意力模块后,相较于原网络模型更加聚焦于化纤丝饼绊丝缺陷所在区域。尤其是最为重要的检测层三,原网络模型在缺陷所在区域外还存在着许多感兴趣区域,但是添加注意力机制后,这些不重要的区域都被抑制住,提高网络模型的训练效果。根据缺陷区域热力对比图效果对比可知,针对本文化纤丝饼绊丝缺陷检测任务而言,ca注意力模块的效果最佳。

21、使用注意力机制对原有网络模型进行改进后具有更好的检测效果,普遍准确率相较于原网络模型都有了不同程度的提升,其中使用ca模块进行改进的网络模型在这四个模块中具有最好的检测效果,对于各个目标的检测精度都能保持在98%以上,整体检测率相较原网络模型提升了1.71。显然,使用注意力模块对原有网络模型进行改进后,能够让网络模型更加聚焦于化纤丝饼绊丝缺陷所在区域,有效的提升了网络的训练效果,提升了最终化纤丝饼绊丝缺陷检测的准确率。



技术特征:

1.一种基于添加注意力机制改进检测网络模型的方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的一种基于添加注意力机制改进检测网络模型的方法,其特征在于,所述s10中水平坐标方向及垂直坐标方向的特征编码表达式为:

3.根据权利要求1所述的一种基于添加注意力机制改进检测网络模型的方法,其特征在于,所述s20中f由下式得到:

4.根据权利要求1所述的一种基于添加注意力机制改进检测网络模型的方法,其特征在于,所述s30中公式为:

5.根据权利要求1所述的一种基于添加注意力机制改进检测网络模型的方法,其特征在于,所述s40中输出表达式为:


技术总结
本发明公开了基于添加注意力机制改进检测网络模型的方法,S10,通过全局平均池化层将图像进行分解,分别沿水平坐标方向及垂直坐标方向对图像进行压缩编码,生成两个不同坐标方向的图像特征编码;S20,通过卷积方式进行聚合,生成中间特征图f;S30,基于空间维度将f切分得到两个单独的向量,随后使用两个不同的卷积核将这两个向量的尺寸进行转换,得到与最开始的输入一样的通道数;S40,对尺寸转换过的两个向量g<supgt;h</supgt;及g<supgt;w</supgt;进行处理即可得到包含位置信息的注意力权重,然后作用于原图像特征图。本发明使用注意力模块对原有网络模型进行改进后,更加聚焦于化纤丝饼绊丝缺陷所在区域,有效提升网络训练效果和化纤丝饼绊丝缺陷检测的准确率。

技术研发人员:周柔刚,袁贤琪,李杰,朱俊杰
受保护的技术使用者:杭州电子科技大学
技术研发日:
技术公布日:2024/5/29
转载请注明原文地址:https://win.8miu.com/read-1148399.html

最新回复(0)