本发明涉及图像处理，更具体的说是涉及一种基于层内-层间融合的小目标检测方法及相关产品。
背景技术：
1、当下流行的两类目标检测方法中，一阶段目标检测方法和两阶段目标检测方法绝大部分均需要利用卷积神经网络来提取图像特征。然而实际运用在小目标检测中时，由于小目标物体的边缘信息模糊，语义信息少，大多数情况下人们都很难获得完整的小目标特征信息，小目标物体特征信息受到损失，导致小目标的检测效果不尽人意。
2、卷积神经网络的浅层网络提取空间信息，有利于定位；深层网络提取语义信息，有利于分类。多尺度特征融合是有效提升小目标检测性能的方法之一。目前基于深度卷积神经网络进行特征融合的目标检测方法中，主要集中于层间特征的融合。不同层次特征的感受野之间存在较大差距，通过层间特征融合学习的表征相对粗糙，阻碍了小目标的精确定位。而层内特征的感受野之间的间隙相对较小，融合层内特征可以提取更精细的局部表示，保留更精确的空间信息，这对小目标定位很重要。
3、因此，如何提高小目标位置信息特征提取的完整性是本领域技术人员亟需解决的问题。
技术实现思路
1、有鉴于此，本发明提供了一种基于层内-层间融合的小目标检测方法及相关产品，可实现当面对小目标物体检测任务，准确判断出小目标的位置及类别，并给出小目标物体类别的置信度。
2、为了实现上述目的，本发明采用如下技术方案：
3、本发明首先公开了一种基于层内-层间融合的小目标检测方法，主要由目标检测网络模型训练以及小目标检测两部分构成。
4、具体的，目标检测网络模型训练步骤，包括以下步骤：
5、步骤1：获取包括多种小目标的自然图像，对所述自然图像中的小目标进行类别和位置标记，构建小目标数据集；
6、步骤2：构建目标检测网络模型，所述目标检测网络模型包括依次连接的主干特征提取网络、层内-层间融合模块和预测模块；
7、步骤3：将小目标数据集输入主干特征提取网络中进行特征提取，获取多组多尺度特征图；
8、步骤4：将获取的每一组多尺度特征图输入层内-层间融合模块，进行层内特征融合，得到对应的层内融合特征图；
9、步骤5：将所述层内融合特征图按照层级高低自顶向下进行层间特征融合，生成层内-层间融合特征图；
10、步骤6：将生成的所述层内-层间融合特征图输入预测模块，获得自然图像对应的目标中心点预测热图、目标尺寸预测图和目标中心点偏移量预测图，并得到预测结果；
11、步骤7：通过损失函数对得到的预测结果进行评估，并对所述主干特征提取网络和层内-层间特征融合模块进行训练，得到训练好的目标检测模型；
12、小目标检测步骤，包括：
13、将待检测图像的尺寸大小统一为预设尺寸，输入训练好的目标检测模型，获得待检测图像图像中小目标的位置及类别信息。
14、进一步地，步骤2中，所述主干特征提取网络包括resnet50网络；所述resnet50网络包括卷积模块和恒等映射模块，其中所述卷积模块用于改变特征的维度；所述恒等映射模块用于加深主干特征提取网络的深度。
15、进一步地，所述步骤3中获取多组多尺度特征图，具体包括：
16、将小目标数据集输入resnet50网络，提取出四组尺寸依次减半、通道依次翻倍的不同深度的多尺度特征图t1、t2、t3和t4。
17、进一步地，所述步骤4中，进行层内特征融合，具体包括以下步骤：
18、步骤41：将获取的每一组多尺度特征图ti，i＝1，2，3，4按照通道数均分成四个分支fi1、fi2、fi3、fi4；
19、步骤42：第一个分支fi1执行1×1卷积降维和3×3卷积处理，得到第一个分支fi1的输出
20、步骤43：第二个分支fi2经过1×1卷积降维后与第一个分支fi1的输出l1进行拼接，然后进行3×3卷积处理，得到中间融合特征再次执行3×3卷积，得到第二个分支fi2的输出
21、步骤44：第三个分支fi3经过1×1卷积降维后与第二个分支fi2的中间融合特征进行拼接，然后进行3×3卷积处理，得到中间融合特征中间融合特征与第二个分支fi2的输出进行拼接，再次执行3×3卷积，得到中间融合特征再次执行3×3卷积，融合fi1、fi2与fi3的特征，得到第三个分支fi3的输出
22、步骤45：第四个分支fi4经过1×1卷积降维后与第三个分支fi3的中间融合特征进行拼接，然后进行3×3卷积处理，得到中间融合特征中间融合特征与第三个分支fi3的中间融合特征c3进行拼接，然后进行3×3卷积处理，得到中间融合特征中间融合特征与第三个分支fi3的输出进行拼接，再次执行3×3卷积，得到中间融合特征再次执行3×3卷积，融合fi1、fi2、fi3与fi4的特征，得到第四个分支fi4的输出
23、步骤46：将四个分支的输出特征拼接，执行1×1卷积，得到多尺度特征图ti对应的层内融合特征图zi，i＝1，2，3，4。
24、进一步地，所述步骤5中，将所述层内融合特征图按照层级高低自顶向下进行层间特征融合，包括以下步骤：
25、步骤51：将层内融合特征图z4进行上采样，得到上采样后的特征图，然后与层内融合特征图z3进行拼接，得到融合特征图u1；
26、步骤52：将融合特征图u1进行上采样后与层内融合特征图z2进行拼接，得到融合特征图u2；
27、步骤53：将融合特征图u2进行上采样后与层内融合特征图z1进行拼接，得到融合特征图u3；
28、步骤54：将融合特征图u3经过3×3卷积，得到完全融合后的层内-层间融合特征图。
29、进一步地，步骤6中，所述预测模块具体包括三个分支，分别为：目标热度图预测分支、目标宽高预测分支以及目标中心点偏移量预测分支；
30、其中，所述目标热度图预测分支的输出层数设置为目标类别数；所述宽高预测分支用于输出目标的宽高概率分布向量，所述目标宽高预测分支的输出层数为2*k，k为目标宽高概率分布的向量长度；所述目标中心点偏移量预测分支的输出层数为2。
31、进一步地，所述步骤7具体包括：
32、s71：根据小目标数据集得到训练集，利用标注框标注训练集中的每一张图像的每一个目标，获得训练图像中每一个目标的边界框坐标和类别信息c；
33、s72：计算每一类别c的矩形边界框的中心点坐标p；
34、
35、式中，x1为目标边界框左上角坐标点的横坐标；y1为目标边界框左上角坐标点的纵坐标；x2为目标边界框右下角坐标点的横坐标；y2为目标边界框右下角坐标点的纵坐标；
36、s73：将中心点下采样，以下采样后的中心点坐标为中心生成高斯热图作为gt热图；
37、
38、
39、其中，r是下采样因子，是对应低分辨率的中心点，σp是自适应大小的标准差；
40、s74：对gt热图y和预测热图应用归一化后的高斯wassertein距离损失函数lw；
41、
42、其中，表示二阶wassertein距离；
43、s75：对尺寸预测图和中心点偏移量预测图应用l1损失函数；
44、
45、
46、其中，lsize表示尺寸预测图损失函数，loff表示中心点偏移量预测图损失函数，n是中心点的个数，sk表示第k个目标的尺寸，表示中心点位置为pk的目标尺寸，表示网络预测的偏移量数值。
47、s76：将损失函数相加，得到总损失函数，并通过最小化总损失函数训练模型，所述总损失函数包括：
48、l＝lw+λsizelsize+λoffloff
49、其中，λsize＝0.1，λoff＝1。
50、另一方面，本发明还公开了根据本发明任一项所述的基于层内-层间融合的小目标检测方法的检测系统，包括图像采集模块、图像预处理模块、特征提取模块、特征融合模块、预测模块、评估训练模块和检测模块；
51、图像采集模块，用于采集包括多种小目标的自然图像；
52、图像预处理模块，用于将采集的自然图像调整为统一预设尺度，生成小目标数据集；
53、特征提取模块，用于接收小目标数据集，并进行特征提取，输出多尺度特征；
54、层内-层间融合模块，用于接收多尺度特征进行特征融合，输出融合后的层内-层间融合特征图；
55、预测模块，用于接收生成的层内-层间融合特征图，获得自然图像对应的目标中心点预测热图、目标尺寸预测图和目标中心点偏移量预测图，并得到预测结果；
56、评估训练模块，用于通过损失函数对得到的预测结果进行评估，并对所述主干特征提取网络和层内-层问特征融合模块进行训练，得到训练好的目标检测模型；
57、检测模块，用于利用训练好的目标检测模型对待检测图像进行检测，获得待检测图像图像中小目标的位置及类别信息。
58、本发明还公开了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现本发明任意一项所述的方法的步骤。
59、经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种基于层内-层间融合的小目标检测方法、系统、存储介质及产品，包括：将数据集图像重叠切割为统一尺寸，进行数据预处理；将预处理后的数据集图像输入特征提取网络中，提取出图像的多尺度特征；将提取到的多尺度特征进行层内-层间特征融合，生成融合特征图；将融合特征图输入centernet模型中的head层，获得待检测图像对应的中心点预测热图、尺寸预测图和中心点偏移量预测图；通过改进的损失函数对得到的预测结果进行评估，并训练模型。基于层内-层间特征融合的特征融合模块，可以提取更精细的局部表示，尽可能更精确的提取出小目标的空间特征信息，本发明可实现当面对需要检测目标的图片时，准确判断出图像的中的目标的个数以及类别(尤其是小目标)，并给出目标分类的预测分数。
1.一种基于层内-层间融合的小目标检测方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的一种基于层内-层间融合的小目标检测方法，其特征在于，步骤2中，所述主干特征提取网络包括resnet50网络；所述resnet50网络包括卷积模块和恒等映射模块，其中所述卷积模块用于改变特征的维度；所述恒等映射模块用于加深主干特征提取网络的深度。
3.根据权利要求2所述的一种基于层内-层间融合的小目标检测方法，其特征在于，所述步骤3中，获取多组多尺度特征图具体包括：
4.根据权利要求1所述的一种基于层内-层间融合的小目标检测方法，其特征在于，所述步骤4中，进行层内特征融合，具体包括以下步骤：
5.根据权利要求4所述的一种基于层内-层间融合的小目标检测方法，其特征在于，所述步骤5中，将所述层内融合特征图按照层级高低自顶向下进行层间特征融合，包括以下步骤：
6.根据权利要求1所述的一种基于层内-层间融合的小目标检测方法，其特征在于，步骤6中，所述预测模块具体包括三个分支，分别为：目标热度图预测分支、目标宽高预测分支以及目标中心点偏移量预测分支；
7.根据权利要求1所述的一种基于层内-层间融合的小目标检测方法，其特征在于，所述步骤7具体包括：
8.一种根据权利要求1-7任一项所述的基于层内-层间融合的小目标检测方法的检测系统，其特征在于，包括图像采集模块、图像预处理模块、特征提取模块、特征融合模块、预测模块、评估训练模块和检测模块；
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1-7任一所述的基于层内-层间融合的小目标检测方法。
