本发明设计一种遥感图像场景分类系统，特别设计一种用于多尺度卷积和多层融合的遥感森林树种分类的方法。
背景技术：
1、在当前环境保护和生态研究领域，森林树种的准确识别和分类已成为重要且富有挑战性的任务。这对于生态保护、资源管理、林业规划和生物多样性研究具有重要意义。然而，传统的树种识别方法主要依靠人工观察和专家经验，在处理大面积林区和复杂的生态系统时，效率和准确性受到限制。随着遥感和深度学习技术的快速发展，从遥感影像中提取树种特征已成为当前遥感研究的热点。由于遥感图像视场大、全局特征强，树木分类可以更加全面、有效。以卷积神经网络为代表的深度学习算法在遥感图像分类方面显示出强大的潜力。然而，由于物种的多样性和相似性，当前的树种分类方法仍然面临着一些挑战。最具挑战性的方面在于森林树种的多样性和相似性。森林包含多种树种，每种树种都具有独特的形态、纹理和颜色特征。然而，某些树种可能表现出视觉上相似的属性，因此很难在遥感图像中区分它们。这些树种的整体枝叶纹理以及叶子颜色具有惊人的相似性，对肉眼区分提出了重大挑战。这种复杂性强调了在树种分类任务中需要更精确、更稳健的特征表示和分类模型。
2、如何提高森林树种的分类效果，必须采用更为有效的特征提取表示方法和分类算法。目前，大部分的方法都是基于全局特征的学习，忽视了区域性细节的特点，难以很好地处理类之间的相似度，同时由于单一尺度的特征难以有效地表示出森林树种枝叶的属性，影响了分类效果。因此，通过提取更丰富的图像特征信息并更加关注图像中最显著的区域，构建一个高精度的图像识别系统变得至关重要。
技术实现思路
1、本发明的目的在于针对在复杂遥感森林图像提供一种用于多尺度卷积和多层融合遥感森林树种分类的方法，命名为multi-scale convolution and multi-level fusionnetwork(mcmfn)多尺度卷积和多层融合网络，可确保mcmfn网络经过数据训练后，对复杂遥感森林树种分类取得较高的精度。
2、一种用于多尺度卷积和多层融合遥感森林树种分类的网络，其算法流程如图2所示。该方法包含下列步骤。
3、(1)由于数据集的多波段性质以及每类图像数量的不平衡，应用了预处理步骤来促进训练并减少错误，如图2所示。具体来说，采用split函数来提取原始图像的四个波段。随后，使用合并功能合并近红外(nir)、绿色和蓝色波段，以创建新的合成图像。然后，对于获得的数据集中的每个类别，随机采样500个图像作为该数据集的一部分(如果一个类别的图像少于500个，则包括所有可用图像)。如图3所示，为流程步骤。
4、(2)首先获取更多的数据集，针对数据不足采用如图4所示的数据增强策略；翻转变化：沿水平方向和垂直方向翻转图像；随机旋转图像；随机裁剪：通过对图像进行随机裁剪，可以获得不同位置的局部图像。
5、对于一张长为w，宽为h的图像，原图中某一点(x0,y0)，经过水平变换后，坐标点为(x1,y1)，两者关系为：
6、x1＝w-x0
7、y1＝y0
8、矩阵表达式为：
9、
10、矩阵的逆表达式为：
11、
12、表达变为：
13、x0＝w-x1
14、y0＝y1
15、同理垂直变换后，表达式为：
16、x0＝x1
17、y1＝h-y0
18、随机旋转需要选择随机角度θ(以弧度为单位)，图像进行旋转变换，得到旋转后的像素位置(x′,y′)，表达式为：
19、
20、
21、随机裁剪需要设置最小、最大比例记为rmin,rmax和随机比例记为r，随机窗口大小为s，其表达式为：
22、s＝rmin+r*(rmax-rmin)
23、最新的图片的wn和hn，其表达式为：
24、wn＝w*s,hn＝h*s
25、随机裁剪图片的左距离为x，下边距为y，表达式为：
26、x∈(0,w-wn),y∈(0,h-hn)
27、最后裁剪完的图片坐标，(左上、右上、左下和右下)其表达式为：
28、(x,y+hn),(x+wn,y+hn),(x,y),(x+wn,y)
29、通过上述表达式，生成图像的像素点都可以在原图中找到。从而生成水平垂直翻转、随机旋转和随机裁剪。
30、(3)使用残差网络模型resnet-50作为基准网络来获取图像特征。为了有效地提高提取浅层特征的能力、获得更丰富的树木纹理、形状等局部特征信息，resnet-50网络中的7×7卷积被shallow multiscale contextual attention combination(smcac)浅层多尺度上下文注意组合模块，使用不同卷积获取不同的感受野。该模块多尺度组件包含普通卷积、全局平均池化。该模块利用具有不同内核大小的卷积金字塔进行特征提取，并结合全局平均池化来捕获全局特征。该金字塔由三个具有不同内核大小(1×1、3×3和5×5)的并行卷积层组成，分别表示为“w1,w3,w5”。这种安排能够捕获不同尺度的不同特征结构和上下文信息，从而产生具有多个感受野的特征图。在这种情况下，输入特征图表示为“x”，输出特征图表示为“y”。“gap”表示全局平均池化操作。“·”运算代表标准卷积运算。“cat”表示特征图拼接。
31、y＝cat(w1·x,w3·x,w5·x,gap(x))，
32、最后，为了在丰富的特征图中提取更有效的特征信息，我们引入了acmix注意力机制来增强对重要信息的关注，实现局部和全局方面的平衡，进一步提高模型的识别性能。最后，将两次操作的特征值相加，得到最终的特征图。最后，通过1×1卷积改变通道数，标记为“w11”，恢复到原始输入特征大小。“fa”表示acmix注意力机制。“y′”对应smcac模块的输出特征图。
33、y′＝y·fa·w11，
34、(4)为了提升中深层特征选择能力，提高分类精度。使用multi-layer selectionfeature fusion(msff)多层选择特征融合模块添加到resnet-50网络中的最后一个残差块后。如图5所示的maf模块主要是在中级和深层特征图上执行特征融合，因为这些层拥有不同级别的抽象和语义信息。通过自动从多层中选择信息量最大的特征，msff模块增强了中层和深层特征之间的层间相关性。原始输入特征图表示为由维度c(通道)、h(高度)和w(宽度)组成。首先，特征图p经过一系列卷积运算，产生三个特征图：大小为的“a”，大小为的“b”和大小为的“c”。然后，使用1×1卷积c1将a和b转换为与“c”相同的大小，并将它们加在一起以融合特征，从而产生一个新的特征图，表示为“o”，大小为接下来，通过全局平均池化和两个全连接层对特征图“o”进行特征提取。重塑并应用softmax操作后，获得大小为“q”的特征图3×8c×1。基于高度平均将特征图分成三个相等的部分，每个部分在与特征图o相乘之前进行空间变换以进行融合。该融合过程选择大小为的不同特征信息，并将不同尺度的特征信息相加和融合，得到一个新的特征图，表示为“d”与特征图“c”的大小相同。表示为特征信息相加融合符号。
35、
36、q＝softmax(reshape(fc2(fc1(gap(o)))))，
37、
38、在分类阶段，msff模块通过应用平均池化和全连接层操作来处理提取的特征信息。随后，这些处理后的特征与从特征图“c”的全连接(fc)层获得的特征图融合。最后一步涉及应用softmax函数来实现森林树种的最终分类。“fc”表示全连接操作；“avgpool”表示平均池化操作；“d”对应于从msff模块获得的特征图，“c”表示从最后一个残差块获得的特征图。“e”表示输出分类。
39、e＝softmax(fc(avgpool(d))+fc(avgpool(c)))，
40、经过上述的处理，mcmfn网络经过训练后保存了每个训练后的权重模型结果。通过更改网络模型中的参数，用户可以自定义的来更新训练新的数据。用户也可以使用训练好的权重模型来预测识别遥感图像。
41、本发明具有以下特点：
42、1.本发明提出了一种用于遥感森林树种分类的网络结构，它是以resnet为基准网络，添加smcac模块和msff模块结构，进一步增强了模型的识别性能。本发明提出的smcac模块通过不同感受野提取全局特征和采用注意力机制着重关注有效区域特征。
43、2.用msff模块添加到最后特征层的最后一个残差块，msff模块是将中层和深层特征图进行融合，既拥有不同级别的抽象和语义信息，又增强了中层和深层特征之间的层间相关性，提取更全面、更稳健的特征表示。
44、3.本方法实现简单，核心算法部分只需要一台计算机就可以完成。系统开始运行后只需要加载训练好的权重就可以使用遥感森林树种分类功能。
1.一种用于多尺度卷积和多层融合的遥感森林树种分类系统，命名为multi-scaleconvolution and multi-level fusion network(mcmfn)多尺度卷积和多层融合网络，其特征在于，采用了图像预处理、resnet网络、浅层多尺度卷积注意力组合和多层选择特征融合方法对遥感森林树种图像进行分类。
2.如权利要求1所述的遥感森林树种图像分类系统图像预处理方法，其特征在于，对输入网络的图像进行尺寸大小归一化处理，将图像尺寸缩放至224×224像素大小；图像扩增方法为将划分好的图像进行水平翻转、垂直翻转、随机旋转和随机裁剪操作进行扩增；将每批次输入网络中的数据进行打包，并对批次内的数据z进行层归一化操作，具体公式为：
3.如权利要求1所述的resnet网络，其特征是以resnet-50为mcmfn网络的基准网络；resnet-50网络有5个特征提取阶段；第1阶段仅包含一层7×7卷积层，提取初步特征，其余4个阶段分别由含有3、4、6、3个残差块的卷积层组成；每个残差块由卷积核大小是1×1的两个卷积层之间连接一个3×3卷积层串联在一起组成；在mcmfn网络中残差块布局为3、4、6、3。
4.如权利要求1所述的多尺度特征融合模块，该模块名为shallow multi-scaleconvolution attention combination(smcac)浅层多尺度卷积注意力组合模块，其特征是将其替换掉如权利要求3所述的7×7卷积层；该模块包含卷积、全局平均池化、普通卷积；金字塔是由3个不同卷积核的卷积层和1个全局平均池化并行组成，将卷积核尺寸设置为1×1、3×3和5×5大小，标记为w1×1,w3×3,w5×5，其中输入特征图表示为x，输出特征图表示为y，×表示的运算是指标准的卷积运算，cat为卷积拼接；该过程的公式表示如下：
5.如权利要求4所述的acmix注意力机制，其特征在于，acmix过程首先对输入特征图应用三个1×1卷积；然后使用内核大小为k的卷积和自注意力对生成的特征图进行特征提取；最后，将两个操作的特征值相加以获得最终的特征图。
6.如权利要求1所述的多层特征融合模块，该模块名为multi-layer selectionfeature fusion(msff)多层选择特征融合模块，输入的特征图由通道维度c、高度h和宽度w组成；中深层的特征，标记为a、b和c，先使用1×1卷积c1，将中深层变为大小一样的特征图，并将它们相加融合；接下来通过全局平均池化和两个全连接层进行特征提取，标记为o；经过重塑并使用softmax操作获得的特征图，标记为q，再按照h分成三个部分，每个部分再与特征图o进行空间变换之后进行相乘融合；最后将三个特征图进行相加融合获得最终的特征图，标记为d；其公式为：
