本申请涉及遥感图像处理技术，尤其涉及一种利用不完整多视角图像的土地利用分类方法。
背景技术：
1、以往研究大多集中在土地覆盖分类上，这与土地利用分类密切相关。而在早期研究中，土地覆盖信息是通过人为调查获得的。但这种方法费时费力，而且难以大规模利用。随着对地观测技术的发展，应用遥感数据获取土地覆盖信息变得越来越广泛。利用原始光谱特征来获取土地覆盖信息非常简单和方便。(riggan jr and weih jr 2009)，但其性能有限。更复杂的利用光谱信息的方法是将多个光谱特征结合起来，形成一个针对某种地物的光谱指数(zhang,du et al.2022)，显著提高了性能。为避免椒盐现象，影像分割被用来聚集局部像素以形成地理对象(blaschke 2010,zhao,meng et al.2020)。除光谱特征外，还可以使用地理对象的空间和纹理信息。
2、与像素级或对象级的土地覆盖解译相比，土地利用分类还考虑了不同对象的空间分布及其组合模式(zhu,zhong et al.2018)。在本研究中，土地利用分类是指区分语义类别，如学校、公园等。而土地利用分类是遥感领域的一个基本课题，可以广泛应用于热岛领域(huang and wang 2019,hu,meng et al.2022)，以及城市功能区/气候区分类(zhang,duet al.2020,du,liu et al.2021)及其它领域。近年来，遥感大数据的发展(如landsat和sentinel提供了丰富的长时序和大面积的观测数据)促进了时间序列影像(ting,xin etal.2018,huang,cao et al.2020,guo,du et al.2021)和多视角(多源)影像(huang,yanget al.2021,yu,she et al.2022)在土地覆盖和土地利用方面的应用。
3、此外，高分辨率对地观测技术和深度学习在土地利用分类方面取得了巨大进展。一方面，高分辨率卫星观测系统(如worldview和gaofen)的不断完善和无人机的发展，使得高分辨率影像越来越容易获得。与中低分辨率影像相比，高分辨率影像包含更多的空间信息和纹理信息，更有利于土地利用分类任务。另一方面，早期的土地利用分类利用手工特征，如颜色直方图(swain and ballard 1992)、局部二值模式(ahonen,hadid etal.2004)、尺度不变特征转换(lowe 2004)和其它低层次特征(li and bretschneider2004)。而低层次的特征可以通过编码方法进一步组合成中层次的特征，如视觉池袋模型(li,mei et al.2010)。然而，由于手工特征表现不佳，土地利用分类的性能受到很大限制。近年来，深度学习中的影像处理技术，特别是卷积神经网络，如vgg(simonyan andzisserman 2014)和resnet(he,zhang et al.2016)在各种遥感任务中取得了优异成绩，如图像分类(meng,zhao et al.2022)、目标检测(yu and ji 2022)、土地覆盖和土地利用分类(cao and huang 2022,shi,meng et al.2022)、图像融合(diao,zhang et al.2022)、图像修复(ma,wang et al.2022)和变化检测(fang,du et al.2022,wang,wang etal.2022)。基于深度学习的特征包含更丰富的语义信息，并逐渐被用于土地利用分类。
4、虽然基于深度学习的方法已经取得了成功，但高分辨率影像中有限的语义属性限制了性能的进一步提高。目前主要存在三方面的问题：1)高分辨率影像的获取成本很高。它往往依赖商业卫星数据；2)高分辨率影像往往只包含红、绿、蓝三波段。所以与常见的中等分辨率卫星如sentinel和landsat相比，波段的数量明显减少。虽然高分辨率影像中包含的丰富空间信息对土地利用分类更有用，但更多的光谱信息也更有利于分类任务；3)高分辨率影像只提供俯视信息，但俯视影像在某些类别中呈现类似的特征或空间模式。这从根本上决定了只用俯视影像很难充分挖掘土地利用分类所需的特征。
5、手持式便携相机和街景影像的发展使地面影像更容易获得。地面影像为语义识别提供了重要信息，这些信息被隐藏在高空影像中(qiao and yuan 2021,fang,zeng etal.2022)。因此，融合中分辨率多光谱卫星影像(卫星视角图像)、高分辨率航空影像(航空视角图像)和地面影像(地面视角图像)进行土地利用分类至关重要。
6、然而，在实际应用中，往往会出现某一视角图像缺失。这主要是由于以下原因：1)航空和地面视角图像仍然需要比卫星视角图像更多的采集成本。此外，在郊区，地面视角图像(如街景图像)经常缺失；2)可见光卫星数据可能因天气原因而缺失，特别是在一些多云地区。目前融合多视角图像的方法假定可以获得完整的视角图像(sankey,sankey etal.2021,hosseinpour,samadzadegan et al.2022,li,zhou et al.2022)。但当任何视角图像不可用时，它可能导致模型崩溃。
7、目前方法很难用于现实世界应用中可能缺少任一视角图像的情况。常见的解决方案是通过训练多个模型来处理多种输入情景，但这很复杂，而且成本高。因此，研究一种统一的方法对完整的视角图像和缺失的视角图像进行建模非常必要。
技术实现思路
1、本发明的目的在于，解决现有实际应用中缺少任一视角图像时所存在的上述问题。
2、为实现上述目的，本发明提出了一种利用不完整多视角图像的土地利用分类方法，该方法包括如下步骤：
3、步骤一、将多视角图像分别输入不同的编码器，并获取相应的图像特征，每个编码器都嵌入了无参数通道和空间注意力模块；所述编码器包括：卫星图像编码器、航空图像编码器和地面图像编码器，相应的图像特征分别为卫星图像特征、航空图像特征和地面图像特征；
4、步骤二、利用跨注意力融合机制对卫星图像特征与航空图像特征融合形成天顶视角特征，天顶视角特征与地面特征通过跨注意力融合模块caf融合形成最终特征；
5、步骤三、基于教师模型和学生模型进行互相学习，其中教师模型只利用完整的多视角图像作为输入，而学生模型额外则采用了强增强后的输入。
6、本发明为土地利用分类中的卫星-航空-地面图像提出了一个多视角不完整学习框架。它可以形成一个统一的模型，同时处理完整或缺失的多视角图像，并在模型效率和性能方面优于其它比较方法。
1.一种利用不完整多视角图像的土地利用分类方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的方法，其特征在于，注意力机制包含提取、转换和融合；其中，提取是用来汇总输入特征的信息，并利用空间维度和通道维度分别对通道特征和空间特征进行平均池化，如下所示：
3.根据权利要求1所述的方法，其特征在于，跨注意力融合模块caf模块有效捕捉跨视角图像特征的相关性，并利用多视角图像信息；对于给定特征向量xkv和xq，首先使用不同的线性层将xk)投影到和向量中，将xq投影到向量中；为了获得跨视角的注意力，q和k相乘，如下：
4.根据权利要求1所述的方法，其特征在于，学生模型采用反向传播算法来学习知识，而教师模型则通过指数移动平均更新权重。
5.根据权利要求4所述的方法，其特征在于，学生模型的知识主要来源包括：1)教师模型对完整多视角图像输入下的学生模型产生一致性约束2)教师模型对强增强输入下的学生模型产生强约束3)基于标签的约束学生模型在训练时基于两个预测之间的一致性约束kullback leibler散度被用来定量地匹配教师预测和学生预测，因此可以表示如下：
6.根据权利要求4所述的方法，其特征在于，学生模型额外输入了强增强后的数据，因此表示为：
7.根据权利要求1所述的方法，其特征在于，为避免教师模型产生的不正确预测的负面影响，使用了基于标签的监督学习；交叉熵损失被用于学生模型基于完整多视角图像的预测和标签，因此，优化学生模型的表示为：
8.根据权利要求1所述的方法，其特征在于，通过获取学生模型的知识使教师模型产生更精确的预测；通过采用指数移动平均ema来逐步更新教师模型的权重，表示如下：
