本说明书涉及计算机,尤其涉及一种模型训练方法、装置、存储介质以及电子设备。
背景技术:
1、近年来,随着航空航天行业的迅速发展,遥感卫星得到了广泛的应用,可以根据遥感卫星所拍摄的遥感图像来执行农业估产、土地覆盖分类等任务。
2、目前,遥感卫星的内部包含有多种不同的传感器,不同的传感器来对应不同的图像采集模式,在不同的图像采集模式下所拍摄的图像的特性不同,可以通过切换不同的图像采集模式来采集具有不同特性的图像。例如,当切换成采集空间纹理信息(如区域内的物体的纹理结构)的图像的模式时,遥感卫星可以拍摄出包含有较多空间纹理信息的图像。又例如,当切换成采集光谱信息(如区域内的物体所反射的光在其波长上的分布信息)的图像的模式所对应的传感器时,遥感卫星可以拍摄出包含有较多光谱信息的图像。
3、但是,由于土地覆盖分类、农业估产等任务需要对地面上的物体的细节进行区分与识别,因此,需要所拍摄的遥感图像中既包含丰富的空间纹理信息又包含丰富的光谱信息。而由于通过切换图像采集模式的方式只能获取到具有单一特性的图像,因此,现有技术可以将针对同一区域的采集空间纹理信息的图像的模式下所拍摄的包含有较多空间纹理信息的图像与采集光谱信息的图像的模式下所拍摄的包含有较多光谱信息的图像进行简单的叠加,并根据叠加后的图像来执行农业估产、土地覆盖分类等任务。
4、但是,往往采用上述简单叠加的方式所得到的图像的视觉效果较差(如边缘模糊),从而导致执行土地覆盖分类、农业估产等任务的效果不理想。
技术实现思路
1、本说明书提供了一种模型训练方法、装置、存储介质以及电子设备,以部分的解决现有技术存在的上述问题。
2、本说明书采用下述技术方案:
3、本说明书提供了一种模型训练方法,包括:
4、获取目标区域的全色图像、所述目标区域的多光谱图像,以及获取所述目标区域的标准融合图像;
5、将所述全色图像以及所述多光谱图像输入到目标模型中,以使所述目标模型从所述全色图像中提取出所述全色图像的频域特征,以及从所述多光谱图像中提取出所述多光谱图像的频域特征,并将所述全色图像的频域特征以及所述多光谱图像的频域特征进行特征融合,以根据融合后的特征确定出第一特征图像,以及,对所述全色图像以及所述多光谱图像进行图像融合,以根据融合后的图像中包含的各像素点的像素信息,确定出自适应权重,并根据所述自适应权重对所述融合后的图像进行处理,以得到第二特征图像,将所述第一特征图像与所述第二特征图像进行叠加,并根据叠加后的图像,确定输出的预测融合图像;
6、以最小化所述预测融合图像与所述标准融合图像之间的偏差为优化目标,对所述目标模型进行训练。
7、可选地,频域特征包括:相位特征;
8、将所述全色图像的频域特征以及所述多光谱图像的频域特征进行特征融合,以根据融合后的特征确定出第一特征图像,具体包括:
9、将所述全色图像的相位特征以及所述多光谱图像的相位特征进行特征融合,以根据融合后的特征确定出第一特征图像。
10、可选地,频域特征包括:幅度特征;
11、将所述全色图像的频域特征以及所述多光谱图像的频域特征进行特征融合,以根据融合后的特征确定出第一特征图像,具体包括:
12、将所述全色图像的幅度特征以及所述多光谱图像的幅度特征进行特征融合,以根据融合后的特征确定出第一特征图像。
13、可选地,将所述全色图像的频域特征以及所述多光谱图像的频域特征进行特征融合,以根据融合后的特征确定出第一特征图像,具体包括:
14、将所述全色图像的相位特征以及所述多光谱图像的相位特征进行特征融合,以得到第一融合特征,以及将所述全色图像的幅度特征以及所述多光谱图像的幅度特征进行特征融合,以得到第二融合特征;
15、将所述第一融合特征与所述第二融合特征进行特征融合,以根据融合后的特征,确定出第一特征图像。
16、可选地,对所述全色图像以及所述多光谱图像进行图像融合,以根据融合后的图像中包含的各像素点的像素信息,确定出自适应权重,具体包括:
17、通过预设的卷积核对所述融合后的图像进行采样,以得到采样后的特征图像;
18、根据所述采样后的特征图像中各特征元素之间的关联关系,确定出所述采样后的特征图像对应的自适应空间权重,以及根据所述采样后的特征图像中各特征元素在不同通道中的像素强度信息,确定出所述采样后的特征图像对应的自适应通道权重;
19、根据所述自适应空间权重以及所述自适应通道权重,确定出自适应权重。
20、可选地,根据所述采样后的特征图像中各特征元素之间的关联关系,确定出所述采样后的特征图像对应的自适应空间权重,具体包括:
21、从所述采样后的特征图像中提取出部分特征图像,作为子特征图像,所述子特征图像指所述采样后的特征图像中的一行或者一列的特征元素的集合;
22、针对每一个子特征图像,将该子特征图像按照指定方式进行重新排列,并根据预设的卷积滑窗对重新排列后的特征图像进行卷积操作,以确定出该子特征图像中各特征元素之间的关联关系,并根据该子特征图像中各特征元素之间的关联关系,确定出该子特征图像对应的自适应空间权重;
23、根据每个子特征图像对应的自适应空间权重,确定出所述采样后的特征图像对应的自适应空间权重。
24、可选地,根据所述采样后的特征图像中各特征元素在不同通道中的像素强度信息,确定出所述采样后的特征图像对应的自适应通道权重,具体包括:
25、根据所述采样后的特征图像中各特征元素在不同通道中的像素强度信息,确定出各通道对应的目标权重;
26、根据所述目标权重,对所述采样后的特征图像中的各特征元素进行卷积操作,以得到通道特征图像,并根据所述通道特征图像中各特征元素在不同通道中的像素强度信息,重新确定目标权重,直至满足预设的迭代条件,将满足预设的迭代条件时的目标权重作为所述采样后的特征图像对应的自适应通道权重。
27、可选地,根据叠加后的图像,确定输出的预测融合图像,具体包括:
28、针对每轮迭代,将上一轮迭代所得到的叠加后的图像作为本轮迭代的过渡图像,并将本轮迭代的过渡图像以及所述全色图像重新输入到所述目标模型中,以使所述目标模型从所述全色图像中提取出所述全色图像的频域特征,以及从本轮迭代的过渡图像中提取出本轮迭代的过渡图像的频域特征,并将所述全色图像的频域特征以及本轮迭代的过渡图像的频域特征进行特征融合,以根据融合后的特征确定出本轮迭代的第一特征图像,以及,对所述全色图像以及本轮迭代的过渡图像进行图像融合,以根据本轮迭代的融合后的图像中包含的各像素点的像素信息,确定出本轮迭代的自适应权重,并根据本轮迭代的自适应权重对本轮迭代的融合后的图像进行处理,以得到本轮迭代的第二特征图像,将本轮迭代的第一特征图像与本轮迭代的第二特征图像进行叠加,得到下一轮迭代的过渡图像;
29、将迭代结束后所得到的过渡图像,作为输出的预测融合图像。
30、本说明书提供了一种计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述模型训练方法。
31、本说明书提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述模型训练方法。
32、本说明书采用的上述至少一个技术方案能够达到以下有益效果:
33、本说明书提供的模型训练方法,首先获取目标区域的全色图像、多光谱图像以及标准融合图像,而后,将全色图像以及多光谱图像输入到目标模型中,以提取出全色图像的频域特征以及多光谱图像的频域特征,并将全色图像的频域特征以及多光谱图像的频域特征进行特征融合,以确定出第一特征图像,以及,对全色图像以及多光谱图像进行图像融合,以根据融合后的图像中包含的各像素点的像素信息,确定出自适应权重,并根据自适应权重对融合后的图像进行处理,以得到第二特征图像,将第一特征图像与第二特征图像进行叠加,以确定输出的预测融合图像,以最小化预测融合图像与标准融合图像之间的偏差为优化目标,对目标模型进行训练。
34、从上述方法中可以看出,可以将全色图像和多光谱图像在频率域下的对应的第一特征图像以及全色图像和多光谱图像在空间域下对应的第二特征图像进行叠加来作为预测融合图像,并根据预测融合图像来对目标模型进行训练。该训练方式中通过将频率域下的特征与空间域下的特征进行融合,可以实现对频率域下的特征信息与空间域下的特征信息的互补,从而使训练后的模型可以获取到全色图像和多光谱图像的更加全面的信息,进而使输出的融合图像的效果更好,同时,也避免了现有技术中采用简单叠加的方式所得到的图像视觉效果较差的情况,大大提升了土地覆盖分类、农业估产等任务的执行效果。
1.一种模型训练方法,其特征在于,包括:
2.如权利要求1所述的方法,其特征在于,频域特征包括:相位特征;
3.如权利要求2所述的方法,其特征在于,频域特征包括:幅度特征;
4.如权利要求3所述的方法,其特征在于,将所述全色图像的频域特征以及所述多光谱图像的频域特征进行特征融合,以根据融合后的特征确定出第一特征图像,具体包括:
5.如权利要求1所述的方法,其特征在于,对所述全色图像以及所述多光谱图像进行图像融合,以根据融合后的图像中包含的各像素点的像素信息,确定出自适应权重,具体包括:
6.如权利要求5所述的方法,其特征在于,根据所述采样后的特征图像中各特征元素之间的关联关系,确定出所述采样后的特征图像对应的自适应空间权重,具体包括:
7.如权利要求5所述的方法,其特征在于,根据所述采样后的特征图像中各特征元素在不同通道中的像素强度信息,确定出所述采样后的特征图像对应的自适应通道权重,具体包括:
8.如权利要求1所述的方法,其特征在于,根据叠加后的图像,确定输出的预测融合图像,具体包括:
9.一种计算机可读存储介质,其特征在于,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述权利要求1~8任一项所述的方法。
10.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现上述权利要求1~8任一项所述的方法。