本发明属于sar影像分割，具体涉及一种基于颜色匹配cam模型的弱监督sar影像水体语义分割方法、系统、设备及介质。
背景技术：
1、合成孔径雷达(synthetic aperture radar,sar)利用雷达的合成孔径原理成像，是遥感领域的重要技术，它可以进行全天时、全天候的对地遥感观测，在灾害防控、国土规划等诸多方面有着广泛的应用。
2、sar影像水体语义分割旨在按像素提取出影像中水体的区域，可以用于水体监测、水灾防控、水域面积分析等方面。水体通常是质地均匀的面状区域，它的后向散射系数较小，雷达回波较弱，所以水体通常在sar影像中呈暗黑色。不同于被动成像的光学遥感影像，微波主动成像获取的sar影像中水体的颜色特征更加一致。
3、现有遥感水体语义分割方法通常基于更加容易获取和处理的光学遥感影像。然而，光学遥感影像中水体复杂多变的颜色特征让水体提取变得十分困难。基于sar影像的水体语义分割能够天然地解决这一问题，然而现有技术通常需要大量的人工标注，并且没有考虑到sar影像中水体的一致性颜色特征，导致sar影像水体语义分割性能受限。
4、现有基于深度学习的方法在训练sar水体语义分割模型时通常需要像素级的水体标注，这通常需要耗费大量的人力和物力。基于类别激活图(class activation map,cam)的弱监督方法可以解决这一问题，它可以仅仅利用代价更小的图像级水体标注就能训练出一个像素级的sar水体语义分割模型。然而现有方法没有考虑到水体的一致性颜色特征，从而导致水体分割精度较低。同时，由于sar影像中道路、建筑阴影等目标的特征与水体十分相似，所以现有方法通常存在类间混淆的问题，导致水体分割精度较低。
5、公开号：cn113743383a的专利申请文件，公开了一种sar影像水体提取方法、装置、电子设备及存储介质，该方法利用通过包含sar影像和dem数据的样本集训练得到的增加双注意力机制的deeplabv3+语义分割模型，提高sar影像水体分割的精度和效率。但该方法的不足之处是基于deeplabv3+的予以分割模型的训练需要大量的人工标注数据，成本较高。增加双注意力机制能够更好地提升水体特征的提取性能，但是没有考虑到水体在sar影像中独特的颜色特征，存在类间混淆的问题。
6、公开号：cn116129430a的专利申请文件，公开了供一种自适应环境水位识别方法、装置及设备，该方法对已获取的多种水域环境的水位监测图像进行标注以构建大数据集，然后构建多个水体分割模型。在进行sar影像分割时，通过目标类别自选择模型来选择适合的分割模型来进行分割，利用自适应模型的方式来提高分割精度。但该方法的不足之处在于构建大数据集需要大量的像素级标注，人工成本较高。同时多模型训练较为繁琐，推理效率较低。
技术实现思路
1、为了克服上述现有技术的不足，本发明的目的在于提供一种基于颜色匹配cam模型的弱监督sar影像水体语义分割方法、系统、设备及介质，仅利用水体的图像级标签就可以实现像素级语义分割，通过颜色匹配cam模型和非水体目标一致性损失得到水体类别激活图，利用水体类别激活图进行弱监督学习，减少模型对于像素级数据标注的依赖，提高sar影像水体分割的精度和效率。
2、为了实现上述目的，本发明采取的技术方案为：
3、一种基于颜色匹配cam模型的弱监督sar影像水体语义分割方法，包括以下步骤：
4、步骤1，采集sar影像，将sar影像进行裁剪得到图像块，将图像块作为样本组成数据集，随机选取数据集中的部分数据作为训练集，对训练集数据设置水体二分类图像级标签；
5、步骤2，构建水体二分类模型，水体二分类模型包括特征编码模块和分类模块，将步骤1数据集中的训练集数据输入到特征编码模块，得到中间特征图f1,f2,f3,f4，将中间特征图f4输入到分类模块中，得到预测的二分类结果；根据预测的二分类结果、步骤1设置的水体二分类图像级标签和中间特征图f2,训练水体二分类模型，直到满足训练终止条件，得到训练好的水体二分类模型；
6、步骤3，将步骤1中的数据集输入到步骤2训练好的水体二分类模型中的特征编码模块中，得到水体特征集合f；
7、步骤4，构建颜色匹配cam模型，将步骤3中得到的水体特征集合f和步骤1中采集得到的数据集输入到颜色匹配cam模型中，得到水体类别激活图集合m；
8、步骤5，利用步骤4中得到的水体类别激活图集合m，通过阈值法得到像素级水体伪标签集合p；
9、步骤6，选取水体分割模型，利用步骤5中得到的像素级水体伪标签集合p和步骤1中采集的数据集训练水体分割模型，直到满足训练终止条件，得到训练好的水体分割模型；
10、步骤7，将步骤1中采集得到的数据集输入到步骤6训练好的水体分割模型，得到最终的水体像素级分割结果。
11、所述步骤2中的特征编码模块：用于对输入的sar图像块进行特征编码，得到不同尺度的中间特征图f1,f2,f3,f4，特征编码模块由骨干网络resnet101构成，它由33个瓶颈块组成，每个瓶颈块由2个1×1卷积层和1个3×3卷积层组成，中间特征图f1,f2,f3,f4分别来自特征编码模块的第3、7、30、33个瓶颈块的输出结果；特征编码模块提取sar影像的不同深度特征，用于挖掘图像中的空间信息和语义信息；
12、分类模块：用于输出最终的二分类结果，它由两个mlp层组成；
13、水体二分类模型的具体训练过程为：
14、步骤2.1，根据预测的二分类结果、设置的二分类标签和中间特征图f2计算损失l；
15、所述损失l包括水体二分类损失lcls和非水体目标一致性损失lntc，具体如下：
16、l＝lcls+αlntc
17、其中，α为损失权重，水体二分类损失和目标一致性损失具体如下：
18、水体二分类损失lcls：
19、
20、其中，yi表示第i类设置的真实标签，si表示第i类的预测结果；
21、非水体目标一致性损失lntc：
22、
23、其中，b表示训练时一个批次数据的数量，b表示当前批次的第b个数据，gate(·)表示一门函数，mse(·)表示mse函数，y表示设置的真实标签；门函数和mse函数具体如下：
24、门函数：
25、
26、mse函数：
27、
28、步骤2.2，根据损失l更新水体二分类模型的参数；
29、步骤2.3，重复步骤2.1和步骤2.2，直到满足训练终止条件，进入步骤2.4；
30、步骤2.4，得到训练好的水体二分类模型。
31、所述步骤3中的水体特征集合f包括步骤1中采集的数据集经过步骤2中的特征编码模块得到的特征，具体表示为：
32、
33、其中，n表示步骤1采集数据集中的sar图像块的总数量。
34、所述步骤4中的颜色匹配cam模型由水体颜色匹配权重生成模块、颜色匹配激活图生成模块和最大化激活图模块组成；水体颜色匹配权重生成模块：用于生成水体颜色匹配权重w；颜色匹配激活图生成模块：用于生成水体多级类别激活图集合m'；最大化激活图模块：用于生成水体类别激活图集合m；水体类别激活图集合m的具体获取过程为：
35、步骤4.1，将步骤1中采集的数据集记作集合i进行反相，得到i'，对于集合i中的一个元素i，反相得到i'的具体计算过程如下：
36、i'x,y＝255-ix,y
37、其中，ix,y表示i的坐标为(x,y)位置上的像素值；
38、步骤4.2，将步骤4.1得到的i'进行归一化，然后进行4种不同尺度的插值，插值的尺寸分别对应水体特征集合f中的特征的尺寸，得到颜色匹配权重集合w；
39、步骤4.3，将步骤4.2得到的颜色匹配权重集合w中的每个元素与步骤3中得到的水体特征集合f中的对应位置的元素进行点乘，得到颜色修正特征集合f'；
40、步骤4.4，利用gradcam方法，将步骤4.3中得到的颜色修正特征集合f'转换为水体多级类别激活图集合m'；
41、步骤4.5，将步骤4.4中得到的水体多级类别激活图集合m'按组取像素最大值，得到水体类别激活图集合m。
42、所述步骤5得到的像素级水体伪标签集合p中的每个元素p是对应sar图像块的像素级语义标签；
43、所述阈值法的具体过程为：将水体类别激活图集合m中的每个类别激活图m中的每个像素均通过限制阈值的方式转换为0或1，转换后的集合即为p，限制阈值的具体计算方式如下：
44、
45、其中，θ表示阈值，下标(x,y)表示像素值的坐标。
46、所述步骤6中选取的水体分割模型为deeplabv3+模型或segformer模型或u-net模型。
47、所述步骤6中水体分割模型的具体训练过程如下：
48、步骤6.1，利用步骤1中采集的数据集输入到选取的水体分割模型中，得到像素级水体分割结果；
49、步骤6.2，利用步骤6.1中的像素级水体分割结果和步骤5中的像素级水体伪标签集合p中对应的伪标签p来计算交叉熵损失lcro，具体计算如下：
50、
51、其中，pi表示第i类伪标签，si表示第i类的预测结果；
52、步骤6.3，利用步骤6.2中计算得到的交叉熵损失lcro更新水体分割模型的参数，重复步骤6.1和步骤6.2，直到满足训练终止条件，得到训练好的水体分割模型。
53、本发明还提供了一种基于颜色匹配cam模型的弱监督sar影像水体语义分割系统，包括：
54、数据集处理模块，用于采集sar影像，将sar影像进行裁剪得到图像块，将图像块作为样本组成数据集，随机选取数据集中的部分数据作为训练集，对训练集数据设置水体二分类图像级标签；
55、水体二分类模型训练模块，用于构建水体二分类模型，水体二分类模型包括特征编码模块和分类模块，将训练集数据输入到特征编码模块，得到中间特征图f1,f2,f3,f4，将中间特征图f4输入到分类模块中，得到预测的二分类结果；根据预测的二分类结果、设置的水体二分类图像级标签和中间特征图f2,训练水体二分类模型，直到满足训练终止条件，得到训练好的水体二分类模型；
56、水体特征集合f获取模块，用于将采集的数据集输入到训练好的水体二分类模型中的特征编码模块中，得到水体特征集合f；
57、水体类别激活图集合m获取模块，用于构建颜色匹配cam模型，将得到的水体特征集合f和采集得到的数据集输入到颜色匹配cam模型中，得到水体类别激活图集合m；
58、像素级水体伪标签集合p获取模块，用于利用得到的水体类别激活图集合m，通过阈值法得到像素级水体伪标签集合p；
59、水体分割模型训练模块，用于选取水体分割模型，利用得到的像素级水体伪标签集合p和采集的数据集训练水体分割模型，直到满足训练终止条件，得到训练好的水体分割模型；
60、水体像素级分割结果获取模块，用于将采集得到的数据集输入到训练好的水体分割模型，得到最终的水体像素级分割结果。
61、本发明还提供了一种基于颜色匹配cam模型的弱监督sar影像水体语义分割设备，包括：
62、存储器：存储上述一种基于颜色匹配cam模型的弱监督sar影像水体语义分割方法的计算机程序，为计算机可读取的设备；
63、处理器：用于执行所述计算机程序时实现所述的一种基于颜色匹配cam模型的弱监督sar影像水体语义分割方法。
64、本发明还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时能够实现所述的一种基于颜色匹配cam模型的弱监督sar影像水体语义分割方法。
65、与现有技术相比，本发明具有以下优点：
66、第一，发本明设计了一个基于颜色匹配cam模型的sar影像弱监督水体语义分割方法，能够仅仅利用水体的图像级标签来实现像素级语义分割，解决了现有方案需要耗费大量的人力和物力进行像素级标注的问题，减少标注成本的同时，也实现了较高的水体分割精度。
67、第二，本发明设计了颜色匹配cam模型，能够利用sar影像中水体的一致性颜色特征来修正特征提取网络提取到的多级特征，并且利用修正的多级特征生成准确完整的水体cam，最终生成高质量的水体像素级伪标签，让水体分割模型能够更好地学习水体特征，提高水体分割的准确度。
68、第三，本发明设计了非水体目标一致性损失，能够在训练水体二分类模型时减少类间混淆，增加水体目标的类内一致性，从而提高水体二分类模型的水体特征捕捉性能，以生成更准确的cam和伪标签，最终减少了水体分割模型的误分，提高水体分割性能。
69、综上，本发明通过设计一种基于颜色匹配cam模型的弱监督sar影像水体语义分割方法，能够在仅使用图像级标签的情况下，实现较高精度的sar影像像素级语义分割，具有标注成本低和分割精度高的优点。
1.一种基于颜色匹配cam模型的弱监督sar影像水体语义分割方法，其特征在于：包括以下步骤：
2.根据权利要求1所述的一种基于颜色匹配cam模型的弱监督sar影像水体语义分割方法，其特征在于：所述步骤2中的特征编码模块：用于对输入的sar图像块进行特征编码，得到不同尺度的中间特征图f1,f2,f3,f4，特征编码模块由骨干网络resnet101构成，它由33个瓶颈块组成，每个瓶颈块由2个1×1卷积层和1个3×3卷积层组成，中间特征图f1,f2,f3,f4分别来自特征编码模块的第3、7、30、33个瓶颈块的输出结果；特征编码模块提取sar影像的不同深度特征，用于挖掘图像中的空间信息和语义信息；
3.根据权利要求1所述的一种基于颜色匹配cam模型的弱监督sar影像水体语义分割方法，其特征在于：所述步骤3中的水体特征集合f包括步骤1中采集的数据集经过步骤2中的特征编码模块得到的特征，具体表示为：
4.根据权利要求1所述的一种基于颜色匹配cam模型的弱监督sar影像水体语义分割方法，其特征在于：所述步骤4中的颜色匹配cam模型由水体颜色匹配权重生成模块、颜色匹配激活图生成模块和最大化激活图模块组成；水体颜色匹配权重生成模块：用于生成水体颜色匹配权重w；颜色匹配激活图生成模块：用于生成水体多级类别激活图集合m'；最大化激活图模块：用于生成水体类别激活图集合m；水体类别激活图集合m的具体获取过程为：
5.根据权利要求1所述的一种基于颜色匹配cam模型的弱监督sar影像水体语义分割方法，其特征在于：所述步骤5得到的像素级水体伪标签集合p中的每个元素p是对应sar图像块的像素级语义标签；
6.根据权利要求1所述的一种基于颜色匹配cam模型的弱监督sar影像水体语义分割方法，其特征在于：所述步骤6中选取的水体分割模型为deeplabv3+模型或segformer模型或u-net模型。
7.根据权利要求1或6所述的一种基于颜色匹配cam模型的弱监督sar影像水体语义分割方法，其特征在于：所述步骤6中水体分割模型的具体训练过程如下：
8.基于权利要求1至7任一项所述的一种基于颜色匹配cam模型的弱监督sar影像水体语义分割系统，其特征在于：包括：
9.一种基于颜色匹配cam模型的弱监督sar影像水体语义分割设备，其特征在于：包括：
10.一种计算机可读存储介质，其特征在于：计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时能够实现权利要求1-7任一项所述的一种基于颜色匹配cam模型的弱监督sar影像水体语义分割方法。
