本发明属于新一代信息，具体涉及一种基于显著特征提取和残差连接的图像融合方法。
背景技术：
1、红外图像和可见光图像融合技术，已经成为图像融合领域研究和应用的热点。目前，红外图像和可见光图像的融合技术已在军事监控、目标识别、夜间车辆导航等多个领域得到广泛应用。
2、根据融合技术的原理，现有的图像融合方法主要分为两大类：一类是传统的图像融合方法，另一类则是基于深度学习的图像融合方法。目前，像基于自动编码器的图像融合方法、基于卷积神经网络的图像融合方法以及基于生成对抗网络的图像融合方法等这些现有的基于深度学习的图像融合方法也可取得较佳的融合效果。不过，这些基于深度学习的图像融合方法仍面临着一些挑战，比如这些现有的深度学习的图像融合方法不能很好地提取特征图中的显著特征，融合效果不理想。为此，本技术提供了一种基于显著特征提取和残差连接的图像融合方法。
技术实现思路
1、本发明为了弥补现有技术的不足，提供了一种基于显著特征提取和残差连接的图像融合方法。
2、本发明是通过如下技术方案实现的：
3、一种基于显著特征提取和残差连接的图像融合方法，包括如下步骤：
4、步骤s1、构建图像融合神经网络；所述图像融合神经网络包括融合图像生成网络以及与融合图像生成网络连接的融合图像判别网络；其中，融合图像生成网络用于获取初步融合图像，所述融合图像判别网络用于判别初步融合图像与原始可见光图像和原始红外图像之间的差异；
5、步骤s2、构建图像融合神经网络的损失；其中，图像融合神经网络的损失包括融合图像生成网络的损失以及融合图像判别网络的损失；所述融合图像生成网络的损失包括像素损失lp、梯度损失lg、结构损失lscore_ssim；所述融合图像判别网络的损失包括discriminator _vis鉴别器的损失和discriminator_ir鉴别器的损失；
6、步骤s3、在融合图像生成网络的损失以及discriminator_vis鉴别器的损失和discriminator_ir鉴别器的损失的引导下，利用现有的kaist数据集训练融合图像生成网络，得到融合图像生成网络模型；
7、步骤s4、将红外图像和可见光图像输入至步骤s3中得到的融合图像生成网络模型中，前向传播一次，融合图像生成网络模型输出的结果即为图像融合结果。
8、优选地，融合图像生成网络包括依次连接的通道拼接层、前期处理模块、第一个重点特征提取模块、第一个深层特征提取模块、第二个深层特征提取模块、第二个重点特征提取模块以及卷积块；其中，通道拼接层的通道维度为一维，通道拼接层用于在通道维度中将输入至融合图像生成网络的原始可见光图像和原始红外图像进行拼接，得到信息更加全面的双通道图像；前期处理模块用于对通道拼接层输出的双通道图像中的浅层特征进行提取，得到具有浅层特征的特征图；第一个重点特征提取模块用于对前期处理模块输出的特征图中的显著特征进行提取并突出，得到具有突出显著特征的特征图，该突出显著特征的特征图具有丰富的重点信息；第一个深层特征提取模块用于对第一个重点特征提取模块输出的特征图中的深层特征进行提取，得到具有深层特征的特征图，该深层特征的特征图中包含了丰富的全局信息；第二个深层特征提取模块用于对第一个深层特征提取模块输出的特征图中的深层特征进行提取，得到具有深层特征的特征图，该深层特征的特征图中包含了丰富的全局信息；第二个重点特征提取模块用于对第二个深层特征提取模块输出的特征图中的显著特征进行提取并突出，得到具有突出显著特征的特征图，该突出显著特征的特征图具有丰富的重点信息；卷积块用于对第二个重点特征提取模块输出的特征图降低维度，输出具有全局信息和重点信息的特征图。
9、优选地，本技术中卷积块包括一个卷积核大小为1×1的卷积层以及与其连接的tanh激活层。
10、优选地，前期处理模块包括依次连接的卷积核大小为5×5的卷积层、批量归一化层以及relu激活层；该卷积核大小为5×5的卷积层用于对前期处理模块输出的特征图进行卷积操作，输出具有浅层特征的特征图，批量归一化层用于对输入其中的特征图进行批量归一化操作，输出具有浅层特征的特征图，批量归一化操作能够有效减少过拟合，提高前期处理模块的泛化能力，relu激活层用于relu激活操作，提高具有浅层特征的特征图的鲁棒性和稳定性；
11、优选地，本技术中第一个重点特征提取模块和第二个重点特征提取模块的结构相同、功能也相同；所述重点特征提取模块包括残差块、通道注意力块、空间注意力块、矩阵逐元素相乘操作单元、concat层以及relu激活层；其中，残差块分别连接通道注意力块和空间注意力块，通道注意力块和空间注意力块分别连接矩阵逐元素相乘操作单元，残差块还分别连接两个矩阵逐元素相乘操作单元，两个矩阵逐元素相乘操作单元的输出端以及残差块的输入端均与concat层的输入端连接，concat层与relu激活层连接。本技术中残差块分别连接通道注意力块和空间注意力块、通道注意力块和空间注意力块分别连接矩阵逐元素相乘操作单元、残差块分别连接两个矩阵逐元素相乘操作单元、两个矩阵逐元素相乘操作单元的输出端以及残差块的输入端均与concat层的输入端连接，该上述设置实现了残差连接，而残差连接在残差块、通道注意力块和空间注意力块对特征图进行处理的过程中能够传递一部分特征图中的原始信息，从而避免在在特征提取过程中丢失关键信息，同时，上述残差连接的设置还可以有效缓解融合图像生成网络在训练过程中的梯度消失问题。
12、优选地，本技术重点特征提取模块中残差块包括依次连接的卷积层、批量归一化层、relu激活层、卷积层和批量归一化层，其中，残差块中的两个卷积层的卷积核大小均为3×3；本技术中残差块用于对输入重点特征提取模块的特征图提取基础特征，得到具有基础特征的特征图。
13、优选地，重点特征提取模块中通道注意力块包括依次连接的全局最大池化层、全连接层、relu激活层、全连接层和sigmoid激活层；通道注意力块用于对残差块输出的特征图调整不同通道的特征响应，使得重点特征提取模块能够更加关注通道层面显著特征；具体来说，全局最大池化层用于对输入其中的特征图进行全局最大池化操作来获取每个通道的全局信息，全连接层用于对输入其中的特征图进行非线性变换，relu激活层用于对输入其中的特征图进行relu激活操作，另一个全连接层用于对输入其中的特征图进行非线性变换，sigmoid激活层用于对输入其中的特征图生成通道注意力权重参数，并将这些通道注意力权重参数输入至特征图的通道中用于加权，以突出重要的通道特征并抑制不重要的通道特征，其中，所述重要的通道特征即为通道层面显著特征。
14、优选地，重点特征提取模块中空间注意力块包括依次连接的卷积层、relu激活层、卷积层和sigmoid激活层，其中，空间注意力块中的两个卷积层的卷积核大小均为3×3；空间注意力块用于对残差块输出的特征图的重要空间区域进行关注，使得重点特征提取模块能够更加关注空间层面的显著特征；具体来说，所述空间注意力块中两个的卷积层均用于提取特征图中的空间信息，relu激活层用于对输入其中的特征图进行relu激活操作，sigmoid激活层用于对输入其中的特征图进行生成空间注意力权重参数，并将这些空间注意力权重参数输入特征图的空间位置用于加权，以强调特征图中包含有空间层面显著特征的重要区域。
15、优选地，本技术中第一个深层特征提取模块和第二个深层特征提取模块的结构相同、功能也相同，其中，深层特征提取模块采用的是现有的stm模块，现有的stm模块采用的是cn116258658a公开的stm模块，本技术中深层特征提取模块的功能也与上述现有的stm模块相同。
16、优选地，本技术中融合图像判别网络包括discriminator_ vis鉴别器和discriminator_ir鉴别器。
17、优选地，步骤s3具体包括如下步骤：将kaist数据集中配对的红外图像和可见光图像输入至图像融合神经网络中，并在计算得到的融合图像生成网络的损失以及discriminator_vis鉴别器的损失和discriminator_ir鉴别器的损失的引导的引导下进行反向传播，更新融合图像生成网络的权重参数，直到融合图像生成网络的损失、discriminator_vis鉴别器的损失和discriminator_ir鉴别器的损失均收敛，图像融合过程结束，得到训练好的图像融合神经网络模型。
18、与现有技术相比，本技术的有益技术效果为：
19、本技术所述的图像融合方法能够获得像素级特征信息和边缘信息更为丰富的融合图像，而且获得的融合图像与原始图像之间存在更高的结构相似性。本技术中设计的通道拼接层能够在通道维度中将输入至融合图像生成网络的原始可见光图像和原始红外图像进行拼接，得到信息更加全面的双通道图像，前期处理模块能够对通道拼接层输出的双通道图像中的浅层特征进行提取，得到具有浅层特征的特征图，第一个重点特征提取模块能够对前期处理模块输出的特征图中的显著特征进行提取并突出，得到具有突出显著特征的特征图，该突出显著特征的特征图具有丰富的重点信息，而显著特征是指纹理细节、人物轮廓以及特定物体轮廓等特征，第一个深层特征提取模块能够对第一个重点特征提取模块输出的特征图中的深层特征进行提取，得到具有深层特征的特征图，该深层特征的特征图中包含了丰富的全局信息，第二个深层特征提取模块能够对第一个深层特征提取模块输出的特征图中的深层特征进行提取，得到具有深层特征的特征图，该深层特征的特征图中包含了丰富的全局信息，第二个重点特征提取模块能够对第二个深层特征提取模块输出的特征图中的显著特征进行提取并突出，得到具有突出显著特征的特征图，该突出显著特征的特征图具有丰富的重点信息，卷积块能够对第二个重点特征提取模块输出的特征图降低维度，最终输出具有全局信息和重点信息的特征图。
1.一种基于显著特征提取和残差连接的图像融合方法，其特征在于：包括如下步骤：
2.根据权利要求1所述的基于显著特征提取和残差连接的图像融合方法，其特征在于：所述融合图像生成网络包括依次连接的通道拼接层、前期处理模块、第一个重点特征提取模块、第一个深层特征提取模块、第二个深层特征提取模块、第二个重点特征提取模块以及卷积块；其中，通道拼接层的通道维度为一维，通道拼接层用于在通道维度中将输入至融合图像生成网络的原始可见光图像和原始红外图像进行拼接，得到信息更加全面的双通道图像；前期处理模块用于对通道拼接层输出的双通道图像中的浅层特征进行提取，得到具有浅层特征的特征图；第一个重点特征提取模块用于对前期处理模块输出的特征图中的显著特征进行提取并突出，得到具有突出显著特征的特征图，该突出显著特征的特征图具有丰富的重点信息；第一个深层特征提取模块用于对第一个重点特征提取模块输出的特征图中的深层特征进行提取，得到具有深层特征的特征图，该深层特征的特征图中包含了丰富的全局信息；第二个深层特征提取模块用于对第一个深层特征提取模块输出的特征图中的深层特征进行提取，得到具有深层特征的特征图，该深层特征的特征图中包含了丰富的全局信息；第二个重点特征提取模块用于对第二个深层特征提取模块输出的特征图中的显著特征进行提取并突出，得到具有突出显著特征的特征图，该突出显著特征的特征图具有丰富的重点信息；卷积块用于对第二个重点特征提取模块输出的特征图降低维度，输出具有全局信息和重点信息的特征图。
3.根据权利要求2所述的基于显著特征提取和残差连接的图像融合方法，其特征在于：所述卷积块包括一个卷积核大小为1×1的卷积层以及与其连接的tanh激活层。
4.根据权利要求2所述的基于显著特征提取和残差连接的图像融合方法，其特征在于：所述前期处理模块包括依次连接的卷积核大小为5×5的卷积层、批量归一化层以及relu激活层；该卷积核大小为5×5的卷积层用于对前期处理模块输出的特征图进行卷积操作，输出具有浅层特征的特征图，批量归一化层用于对输入其中的特征图进行批量归一化操作，输出具有浅层特征的特征图，而relu激活层用于对批量归一化层输出的具有浅层特征的特征图进行relu激活操作。
5.根据权利要求2所述的基于显著特征提取和残差连接的图像融合方法，其特征在于：所述重点特征提取模块包括残差块、通道注意力块、空间注意力块、矩阵逐元素相乘操作单元、concat层以及relu激活层；其中，残差块分别连接通道注意力块和空间注意力块，通道注意力块和空间注意力块分别连接矩阵逐元素相乘操作单元，残差块还分别连接两个矩阵逐元素相乘操作单元，两个矩阵逐元素相乘操作单元的输出端以及残差块的输入端均与concat层的输入端连接，concat层与relu激活层连接。
6.根据权利要求5所述的基于显著特征提取和残差连接的图像融合方法，其特征在于：所述残差块包括依次连接的卷积层、批量归一化层、relu激活层、卷积层和批量归一化层，其中，残差块中的两个卷积层的卷积核大小均为3×3；所述残差块用于对输入重点特征提取模块的特征图提取基础特征，得到具有基础特征的特征图。
7.根据权利要求5所述的基于显著特征提取和残差连接的图像融合方法，其特征在于：所述通道注意力块包括依次连接的全局最大池化层、全连接层、relu激活层、全连接层和sigmoid激活层；全局最大池化层用于对输入其中的特征图进行全局最大池化操作来获取每个通道的全局信息，全连接层用于对输入其中的特征图进行非线性变换，relu激活层用于对输入其中的特征图进行relu激活操作，另一个全连接层用于对输入其中的特征图进行非线性变换，sigmoid激活层用于对输入其中的特征图生成通道注意力权重参数，并将这些通道注意力权重参数输入至特征图的通道中用于加权，以突出重要的通道特征并抑制不重要的通道特征，其中，所述重要的通道特征即为通道层面显著特征。
8.根据权利要求5所述的基于显著特征提取和残差连接的图像融合方法，其特征在于：所述空间注意力块包括依次连接的卷积层、relu激活层、卷积层和sigmoid激活层，其中，空间注意力块中的两个卷积层的卷积核大小均为3×3；所述空间注意力块中两个的卷积层均用于提取特征图中的空间信息，relu激活层用于对输入其中的特征图进行relu激活操作，sigmoid激活层用于对输入其中的特征图进行生成空间注意力权重参数，并将这些空间注意力权重参数输入特征图的空间位置用于加权，以强调特征图中包含有空间层面显著特征的重要区域。
9.根据权利要求2所述的基于显著特征提取和残差连接的图像融合方法，其特征在于：所述深层特征提取模块采用的是现有的stm模块，所述深层特征提取模块的功能也与上述现有的stm模块相同。
10.根据权利要求1所述的基于显著特征提取和残差连接的图像融合方法，其特征在于：步骤s3具体包括如下步骤：将kaist数据集中配对的红外图像和可见光图像输入至图像融合神经网络中，并在计算得到的融合图像生成网络的损失以及discriminator_vis鉴别器的损失和discriminator_ir鉴别器的损失的引导下进行反向传播，更新融合图像生成网络的权重参数，直到融合图像生成网络的损失、discriminator_vis鉴别器的损失和discriminator_ir鉴别器的损失的引导均收敛，图像融合过程结束，得到训练好的图像融合神经网络模型。
