本技术涉及计算机,具体涉及一种基于数据可靠性加权的多阶段半监督分割模型的构建方法。
背景技术:
1、语义分割作为经典的计算机视觉问题,涉及将一些图像作为输入并将它们转换为具有突出显示的感兴趣区域的掩膜,其中图像中的每个像素根据其所属的对象被分配类别id。在训练时需要大量带像素级标注的样本,但是获取像素级的注释是一件非常耗时的任务。半监督学习(semi-supervisedlearning,ssl)是应对这一挑战的方法之一,它使用大量未标记数据和少量标记数据来进行模式识别工作。
2、目前,半监督语义分割常用的范式包括两种:熵最小化和一致性正则化。自训练(self-training)是ssl中熵最小化的一种形式。传统的self-training存在如下问题:教师模型与学生模型之间存在严重的耦合,学生模型容易与教师模型做出相似的判断,难以学到额外的信息;学生模型对伪标签中的噪声过拟合;不同未标记图像的伪标签质量和可靠性不同,不加选择地全部直接使用会错误诱导模型的训练。以往的工作只基于图像级别或像素级别设计伪标签的遴选方案,且在方案设计中只使用单个模型很难抵消其自身的误差。
技术实现思路
1、鉴于此,本技术实施例提供一种基于数据可靠性加权的多阶段半监督分割模型的构建方法,该方法能够减少噪声标签的过拟合、对伪标签的可靠性进行了全面的评估。
2、根据本技术实施例的第一方面,提供一种基于数据可靠性加权的多阶段半监督分割模型的构建方法,包括:
3、获取图像数据集,将所述图像数据集划分为标记数据和未标记数据,并选取部分数据作为验证数据;
4、使用所述标记数据训练两个用于语义分割的教师模型,再对所述未标记数据进行预测,得到两种伪标签;
5、在图像级层面对所述伪标签进行可靠性评估,将所述未标记图像及其伪标签进行排序;
6、在像素级层面对所述伪标签进行可靠性评估,获得所述伪标签对应权重图;
7、根据所述未标记图像及其伪标签的排序,依次选取前α%、100%的图像进行学生模型的多阶段训练,在训练时对未标记的图像使用强数据增强处理并加入所述权重图对损失值加权,α为小于100的正数。
8、可选的,获取图像数据集,并将所述图像数据集划分为标记数据和未标记数据,并选取部分数据作为验证数据,包括:
9、获取图像数据集,按照比例随机划分为标记数据和未标记数据,并选取部分数据作为验证数据,其中所述标记数据和验证数据需要有对应语义分割标签。若所述数据集没有对应标签,则需使用标注工具为其标注。
10、可选的,使用所述标签数据训练两个用于语义分割的教师模型,再对所述未标记数据进行预测,得到两种伪标签,包括:
11、使用两种不同的语义分割模型,记为第一教师模型和第二教师模型,分别在所述标记数据上迭代训练;
12、使用平均交并比对模型的性能进行评估,平均交并比表示网络模型分割图像的精度,平均交并比值越高则表示图像分割效果越好;
13、每轮训练完后使用所述验证数据对网络模型进行评估,按照平均交并比最优结果进行模型的保存,直至迭代次数达到设定值后停止训练,保存训练好的模型;
14、使用训练后的第一教师模型和第二教师模型分别对所述未标记数据预测,每一张所述未标记图像都会得到两个伪标签,记为第一种伪标签和第二种伪标签。
15、可选的,在图像级层面对所述伪标签进行可靠性评估,将所述未标记图像及其伪标签进行排序,包括:
16、对每一张所述未标记图像,计算其两个伪标签的平均交并比,在图像级层面,两个伪标签的平均交并比越高,则两个伪标签的总体预测正确的可能性越高,伪标签越可靠、该图像越好预测;
17、根据所述平均交并比对所有所述未标记图像进行排序,排序方式为平均交并比由高到低。
18、可选的,在像素级层面对所述伪标签进行可靠性评估,获得所述伪标签对应权重图,包括:
19、对于某个像素点,在第一种伪标签中其所属类别为y1,第二教师模型在该像素位置输出的class_num个通道中,y1通道的值由大到小处于第x位;则该像素点处,第一种伪标签的权重为:
20、w=e-ax
21、式中,a为预定义参数;x=0,1,…,class_num-1;
22、对所有所述未标记图像的像素点都进行所述权重计算,得到所述未标记图像的权重图并保存。
23、可选的,根据所述未标记图像及其伪标签的排序,依次选取前α%、100%的图像进行学生模型的多阶段训练,在训练时对未标记的图像使用强数据增强处理并加入所述权重图对损失值加权,包括:
24、对所述未标记的图像使用强数据增强处理;
25、从所述排序中选取前α%的所述未标记图像及其第一种伪标签,结合所述标记数据共同训练第一学生模型,在训练中,引入所述未标记图像的权重图,对损失值加权,所述第一学生模型与第一个教师模型结构相同;
26、利用训练后的所述第一学生模型对后(1-α%)的所述未标记图像进行重新标记,得到第三种伪标签;前α%的所述未标记图像及其第一种伪标签、后(1-α%)的所述未标记图像及其第三种伪标签,结合所述标记数据共同训练第二学生模型,在训练中,引入所述未标记图像的权重图,对损失值加权,所述第二学生模型与第一个教师模型结构相同。
27、根据本技术实施例的第二方面,提供一种基于数据可靠性加权的多阶段半监督分割模型的构建装置,包括:
28、获取划分模块,用于获取图像数据集,并将所述图像数据集划分为标记数据和未标记数据,并选取部分数据作为验证数据;
29、训练预测模块,用于使用所述标签数据训练两个用于语义分割的教师模型,再对所述未标记数据进行预测,得到两种伪标签;
30、评估排序模块,用于在图像级层面对所述伪标签进行可靠性评估,将所述未标记图像及其伪标签进行排序;
31、评估模块,用于在像素级层面对所述伪标签进行可靠性评估,获得所述伪标签对应权重图;
32、多阶段训练模块,用于根据所述未标记图像及其伪标签的排序,依次选取前α%、100%的图像进行学生模型的多阶段训练,在训练时对未标记的图像使用强数据增强处理并加入所述权重图对损失值加权,α为小于100的正数。
33、根据本技术实施例的第三方面,提供一种电子设备,包括:
34、一个或多个处理器;
35、存储器,用于存储一个或多个程序;
36、当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如第一方面所述的方法。
37、根据本技术实施例的第三方面,提供一种计算机可读存储介质,其上存储有计算机指令,该指令被处理器执行时实现如第一方面所述方法的步骤。
38、本技术的实施例提供的技术方案可以包括以下有益效果:
39、由上述实施例可知,本技术使用双教师模型结构,克服了单个模型纠正自身错误的能力有限的局限性,能够更好地辨别伪标签中的噪声;设计了一种对伪标签可靠性的全面、准确的挑选方案。根据伪标签之间的相似度设计了图像和像素可靠性的评价标准。图像可靠性引导多阶段训练,像素可靠性对损失函数加权,使得训练中能够专注于更加可靠的知识。
1.一种基于数据可靠性加权的多阶段半监督分割模型的构建方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,获取图像数据集,并将所述图像数据集划分为标记数据和未标记数据,并选取部分数据作为验证数据,包括:
3.根据权利要求1所述的方法,其特征在于,使用所述标签数据训练两个用于语义分割的教师模型,再对所述未标记数据进行预测,得到两种伪标签,包括:
4.根据权利要求1所述的方法,其特征在于,在图像级层面对所述伪标签进行可靠性评估,将所述未标记图像及其伪标签进行排序,包括:
5.根据权利要求1所述的方法,其特征在于,在像素级层面对所述伪标签进行可靠性评估,获得所述伪标签对应权重图,包括:
6.根据权利要求1所述的方法,其特征在于,根据所述未标记图像及其伪标签的排序,依次选取前α%、100%的图像进行学生模型的多阶段训练,在训练时对未标记的图像使用强数据增强处理并加入所述权重图对损失值加权,包括:
7.一种基于数据可靠性加权的多阶段半监督分割模型的构建装置,其特征在于,包括:
8.一种电子设备,其特征在于,包括:
9.一种计算机可读存储介质,其上存储有计算机指令,其特征在于,该指令被处理器执行时实现如权利要求1-6中任一项所述方法的步骤。
