本发明属于图像处理,进一步涉及图像分类技术,具体为一种基于均匀图引导融合的极化sar图像分类方法,可用于在均匀区域和复杂区域实现高精度图像分类。
背景技术:
1、极化合成孔径雷达(polarimetric synthetic aperture radar,polsar)是遥感成像领域一项重要的技术,与普通sar不同,其电磁波发射和接收有四种极化组合方式,可以在全天时、全天候的条件下提供更加丰富的地表信息。因此,polsar图像被广泛应用于目标识别、图像分类、图像变化检测等领域。其中,图像分类作为图像解译方向的基础技术,在遥感领域也受到了广泛的关注。目前,polsar图像分类任务的难点聚焦于噪声污染、小目标检测和人工标注样本数量较少等问题,多数方法的研究基于特征提取和分类器设计两个方面。传统的分类方法使用wishart分布、极化k分布等极化统计分布方法对polsar图像进行建模,或使用svm、稀疏表示、决策树等机器学习方法进行分类器设计。
2、由于地球表面不同目标物体的反射特性不同,在polsar图像上成像后不同区域的复杂度也不同。例如水体、道路等镜面反射占比较多的地表物体在polsar图像上的像素值较均匀,而建筑、森林等地表物体则会呈现出不均匀的像素值分布。基于cnn的方法由于卷积核空间大小的限制,只能提取目标一定范围内的局部信息,对于polsar图像高复杂度区域中分布较散的同一目标,cnn无法提取出目标非欧式空间上的结构特征,因此在这些复杂区域的分类结果也容易产生噪声和空洞。图卷积网络gcn可以很好的解决这一问题,gcn作为一种节点分类算法,一方面能够利用节点之间的相似度聚合任意形状的同质节点,提取出原数据在非欧式空间的特征信息,另一方面能够与超像素方法相结合,有效的挖掘丰富的无标注样本之间的关联。j.cheng等人在ieee transactions on geoscience andremote sensing,60(2022),1-14上发表了论文"polsar image classification withmultiscale superpixel-based graph convolutional network",该论文提出了一种基于多尺度超像素的图卷积网络mssp-gcn,其首先使用小尺度超像素分割图像并分类后,再使用大尺度超像素修正分类结果,利用超像素的边界信息提高了分类结果的精度。然而在水体、道路等目标分布集中或复杂度低的区域以及一些小目标点区域,该方法在受超像素分割精度和分类精度的双重影响下,难以提取精细特征。
3、由于极化sar图像不同区域的复杂度不同,简单的卷积神经网络难以提取非欧式的异构特征,图卷积网络可以提取复杂区域的异构特征,但受超像素分割精度和分类精度的双重影响,却又难以提取精细特征。而现有的混合网络方法在将cnn或gcn提取出的特征进行融合时,使用手动设定的权重参数进行加权融合,或是在通道维度进行简单的连接,并未考虑到不同网络对图像上不同区域的特征提取能力不同。随着现代社会对polsar图像变化检测要求的提高,现有方法所得到的变化检测结果已不能满足实际应用需求。
技术实现思路
1、本发明目的在于针对上述现有技术的不足,提出一种基于均匀图引导融合的极化sar图像分类方法,用于解决现有技术在均匀区域和复杂区域分类效果不佳的问题。本发明能够自适应的区分polsar图像中不同复杂度的区域,让不同网络提取的特征所侧重的区域不同,从而更充分的利用cnn与gcn网络优势特征,且利用其兼顾精细特征和异构特征的特点,在保持复杂区域分类效果的同时,对于小目标点和纤细区域达到较好的分类效果。
2、实现本发明的技术思路是:首先,为了同时提取出polsar图像中的精细特征与异构特征,本发明将主干网络设计成双分支结构,一个分支结合注意力嵌入层和空洞卷积提高cnn网络对精细特征的提取能力,另一个分支构造了一种均匀权重矩阵降低误分割超像素对gcn节点聚合的影响。其次,为了根据polsar图像不同复杂度区域自适应的融合两种特征,使用三种卷积核从不同维度提取复杂度特征,并通过耦合算子生成了一种均匀图,可以自动区分polsar图像不同区域像素分布的复杂程度。最后,为了充分发挥两种分支网络在不同复杂度区域提取特征的能力,本发明在混合卷积网络的末端构建了一种融合算子,利用均匀图引导融合精细特征和异构特征。实现均匀区域和复杂区域分类效果的提升。
3、本发明实现上述目的具体步骤如下:
4、(1)输入一幅待分割的极化sar图像及其相干矩阵t;
5、(2)计算平均相干矩阵并对进行卷积操作获取复杂度特征,包括基于数据同质性测量估计的复杂度特征kenl(t,w)、基于图像边缘强度的复杂度特征以及基于图像熵的复杂度特征
6、(3)根据复杂度特征,利用耦合算子计算均匀度权重:
7、
8、其中,m(x,y)为在rw区域内中心像素(x,y)的均匀度权重;n(·)表示归一化操作,w为卷积核大小;
9、(4)对相干矩阵t使用极化分解方法扩充极化特征,得到网络输入的图像数据令k=h×w表示总像素数;
10、(5)使用简单线性迭代聚类slic对图像数据x进行超像素分割,得到尺寸为s的超像素,并生成x的归一化映射矩阵,将第i个像素和第j个超像素的映射矩阵表示为qij;使用分割后的超像素生成节点数据表示图g,g=(v,a),其中节点v通过归一化映射矩阵构建并编码,邻接矩阵a使用节点间的欧式距离生成:
11、
12、其中,n(·)表示归一化操作,xi表示图像数据x的第i个像素,sj表示第j个超像素;
13、(6)计算图像数据x的超像素均匀度向量e,并根据e构造均匀度权重矩阵o,实现如下:
14、
15、其中,ei为第i个超像素si的均匀度,i=1,...,n,l为自由度,xi为第i个节点的特征矩阵;
16、
17、其中,broadcast(·)为广播矩阵乘法,i为单位矩阵,e=[n(e1),n(e2),...,n(en)]为归一化的超像素均匀度向量;
18、(7)由卷积神经网络cnn与图卷积神经网络gcn构建两个并行分支,其输入均为待分割的极化sar图像,分别经过cnn和gcn处理得到两种特征图,再通过均匀度权重指导生成融合后特征图,其后连接全连接层与softmax激活函数,搭建混合网络模型;
19、(8)设置最大迭代次数、训练集比例及学习率,将图像数据x、映射矩阵qij、均匀度权重矩阵o和均匀度权重m输入到混合网络模型中预测分类结果;计算交叉熵损失函数,用于更新均匀度权重m,完成模型训练;
20、(9)将待测图像输入到训练好的模型中进行分类,获取待测图像的最终分类预测概率yc。
21、本发明与现有技术相比具有以下优点:
22、第一、由于本发明利用通道-空间的特征去噪和超像素均匀度权重搭建了一种polsar混合网络分类框架,从而更精确的提取出欧式空间和非欧式空间的特征,相比于现有技术中使用单独的cnn或gcn算法,该方式融合了cnn与gcn的优势,能够有效提高分类的精度。
23、第二、本发明通过构建耦合算子将三种复杂度特征进行融合,设计了一种均匀图生成方式,将polsar不同区域的复杂度量化为权重,克服了现有技术中难以提取均匀区域和小目标区域精细特征的问题,能够更好的区分出polsar图像的均匀区域和复杂区域,提升分类效果。
24、第三、本发明提出了自适应区分polsar图像中不同复杂度的区域方法,与现有技术中使用手动设定的权重参数进行加权融合,或是在通道维度进行简单的连接算法相比,可以让不同网络提取的特征所侧重的区域不同,从而更充分的利用cnn与gcn网络优势特征。
1.一种基于均匀图引导融合的极化sar图像分类方法,其特征在于,包括如下步骤:
2.根据权利要求1所述的方法,其特征在于:步骤(2)中基于数据同质性测量估计的复杂度特征kenl(t,w)、基于图像边缘强度的复杂度特征以及基于图像熵的复杂度特征具体根据如下计算得到:
3.根据权利要求1所述的方法,其特征在于:步骤(7)中所述均匀度权重,在复杂区域的值较低,在均匀区域的值较高;融合时在复杂区域参考gcn分支提取的特征,而在均匀区域参考cnn分支提取的特征。
4.根据权利要求1所述的方法,其特征在于:步骤(8)中将图像数据x、映射矩阵qij、均匀度权重矩阵o和均匀度权重m输入到混合网络模型中预测分类结果,具体是通过分别通过cnn和gcn得到第一特征图f1与第二特征图f2,然后利用均匀度权重m作为网络权重指导f1、f2的融合,最后使用softmax层预测分类结果;实现步骤如下:
5.根据权利要求1所述的方法,其特征在于:步骤(8)中所述损失函数为交叉熵损失函数,公式如下: