本发明涉及图像处理,具体涉及一种小样本语义分割模型的训练方法、装置、设备及介质。
背景技术:
1、图像语义分割是计算机视觉的基本任务之一,旨在利用图像的信息,实现像素级前景和背景的区分,即像素级语义理解。图像语义分割是图像识别和定位的基础,对于包括智慧教育、辅助医疗、虚拟现实图像识别、自动驾驶等在内的诸多领域具有重要的意义。然而,全监督语义分割需要大量像素级标注,数据集的制作比较困难,获取这些标注非常耗时且代价高昂,此外,训练好的模型只能在一组预定义的类别中进行预测,即对于新的类别的泛化能力极差。
2、现有技术中,各种用于小样本语义分割的深度学习方法仅利用支持图像和支持掩膜的信息作为查询图像预测的指导,而没有充分利用查询图像自身的信息。此外,在小样本语义分割领域的一些特征融合方法,如金字塔池化模型ppm或空洞空间金字塔池化aspp等特征融合方法只是简单地融合不同尺度的信息,不同尺度之间的特征信息交流不够充分,而且在特征融合过程中所产生的一些中间信息也没有合理的利用。因此,存在待改进之处。
技术实现思路
1、鉴于以上现有技术的缺点,本发明提供一种小样本语义分割模型的训练方法、装置、设备及介质,以解决上述技术问题。
2、本发明提供的一种小样本语义分割模型的训练方法,包括:
3、获取图像数据集,所述图像数据集中包括多个支持图像和多个查询图像;
4、基于自相关先验引导及自增强特征融合网络结构,构建初始小样本语义分割模型;
5、对所述图像数据集进行特征提取处理,以生成图像特征信息;
6、基于所述图像特征信息,对所述初始小样本语义分割模型进行训练,生成目标小样本语义分割模型。
7、在本发明的一个实施例中,所述对所述图像数据集进行特征提取处理,以生成图像特征信息的步骤包括:
8、通过第一卷积神经网络,对所述支持图像和所述查询图像进行特征提取处理,以生成支持特征和查询特征;
9、通过第二卷积神经网络,对所述查询图像进行特征提取处理,以生成辅助特征;
10、利用支持掩膜对所述支持特征进行掩膜平均池化处理,以生成支持原型;
11、将所述支持特征、所述查询特征、所述辅助特征以及所述支持原型保存为所述图像特征信息。
12、在本发明的一个实施例中,所述利用支持掩膜对所述支持特征进行掩膜平均池化处理,以生成支持原型的步骤包括:
13、对所述支持特征的中层特征进行上采样处理,并在通道方向上进行拼接处理;
14、对拼接后的所述中层特征进行降维处理,并将其与所述支持掩膜进行逐像素点相乘,以生成标记特征信息;
15、对所述标记特征信息进行全局平均池化处理,以生成所述支持原型。
16、在本发明的一个实施例中,所述基于所述图像特征信息,对所述初始小样本语义分割模型进行训练,生成目标小样本语义分割模型的步骤包括:
17、计算查询特征与辅助特征之间相近关系,以生成所述查询图像的每一层特征的先验预测特征;
18、将图像特征信息与所述先验预测特征进行特征融合处理,并将融合后的特征进行多层卷积处理,以生成初始分割预测结果;
19、将所述初始分割预测结果与基类分割结果进行组合,以生成最终分割结果;
20、对所述初始分割预测结果与所述最终分割结果进行交叉熵损失函数处理,以对所述初始小样本语义分割模型进行优化,生成所述目标小样本语义分割模型。
21、在本发明的一个实施例中,所述计算查询特征与辅助特征之间相近关系,以生成所述查询图像的每一层特征的先验预测特征的步骤包括:
22、对所述查询特征进行掩膜平均池化处理,以生成查询原型,所述查询原型包含所述查询图像的前景信息;
23、将所有所述查询原型与对应的所述辅助特征进行相似性度量匹配,以生成查询特征图,所述查询特征图包含所述查询图像的先验信息;
24、在通道维度将所述查询特征图进行拼接和卷积操作,以生成所述先验预测特征,所述先验预测特征包含所述查询图像从浅层到深层的特征。
25、在本发明的一个实施例中,所述将图像特征信息与所述先验预测特征进行特征融合处理,并将融合后的特征进行多层卷积处理,以生成初始分割预测结果的步骤包括:
26、将支持原型、所述查询特征、所述查询图像的先验掩膜及所述先验预测特征进行通道拼接和卷积降维操作,以生成初始化特征;
27、对所述初始化特征进行池化处理,以生成多尺度特征;
28、对所述多尺度特征进行增强与拼接处理,以生成增强融合特征;
29、将所述增强融合特征输入至分割模块进行处理,以生成所述初始分割预测结果。
30、在本发明的一个实施例中,所述对所述初始分割预测结果与所述最终分割结果进行交叉熵损失函数处理,以对所述初始小样本语义分割模型进行优化,生成所述目标小样本语义分割模型的步骤包括:
31、对所述初始分割预测结果与所述最终分割结果进行交叉熵损失函数处理,生成训练损失值;
32、根据所述训练损失值对所述初始小样本语义分割模型进行更新优化处理,生成所述目标小样本语义分割模型。
33、本发明还提供一种小样本语义分割模型的训练装置,包括:
34、数据集获取模块,用以获取图像数据集,所述图像数据集中包括多个支持图像和多个查询图像;
35、模型构建模块,用以基于自相关先验引导及自增强特征融合网络结构,构建初始小样本语义分割模型;
36、特征提取模块,用以对所述图像数据集进行特征提取处理,以生成图像特征信息;
37、模型训练模块,用以基于所述图像特征信息,对所述初始小样本语义分割模型进行训练,生成目标小样本语义分割模型。
38、本发明还提供一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如上述任一项所述小样本语义分割模型的训练方法的步骤。
39、本发明还提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如上述任一项所述小样本语义分割模型的训练方法的步骤。
40、综上所述,本发明的一种小样本语义分割模型的训练方法、装置、设备及介质,具有以下有益效果:本发明采用自相关先验引导的结构,可以充分利用查询图像本身提供的信息来辅助分割,提高网络模型的分割性能以及泛化能力。另外,本发明还采用了自增强特征融合的结构,实现了包含不同语义信息的特征的充分融合,网络的分割性能进一步提高。
41、应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本发明。
1.一种小样本语义分割模型的训练方法,其特征在于,包括:
2.根据权利要求1所述的小样本语义分割模型的训练方法,其特征在于,所述对所述图像数据集进行特征提取处理,以生成图像特征信息的步骤包括:
3.根据权利要求2所述的小样本语义分割模型的训练方法,其特征在于,所述利用支持掩膜对所述支持特征进行掩膜平均池化处理,以生成支持原型的步骤包括:
4.根据权利要求1所述的小样本语义分割模型的训练方法,其特征在于,所述基于所述图像特征信息,对所述初始小样本语义分割模型进行训练,生成目标小样本语义分割模型的步骤包括:
5.根据权利要求4所述的小样本语义分割模型的训练方法,其特征在于,所述计算查询特征与辅助特征之间相近关系,以生成所述查询图像的每一层特征的先验预测特征的步骤包括:
6.根据权利要求4所述的小样本语义分割模型的训练方法,其特征在于,所述将图像特征信息与所述先验预测特征进行特征融合处理,并将融合后的特征进行多层卷积处理,以生成初始分割预测结果的步骤包括:
7.根据权利要求4所述的小样本语义分割模型的训练方法,其特征在于,所述对所述初始分割预测结果与所述最终分割结果进行交叉熵损失函数处理,以对所述初始小样本语义分割模型进行优化,生成所述目标小样本语义分割模型的步骤包括:
8.一种小样本语义分割模型的训练装置,其特征在于,包括:
9.一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述小样本语义分割模型的训练方法的步骤。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述小样本语义分割模型的训练方法的步骤。