本申请涉及图像处理,特别是涉及一种基于目标分类的模型训练方法、目标分类方法、目标分类装置以及计算机存储介质。
背景技术:
1、目标分类是计算机视觉领域常用的技术领域,近年来由于深度学习的发展,用神经网络做目标特征提取,然后用于目标类别判断。目标分类往往关注目标的一些表观特征,如形状、大小、物体上的图案、颜色、亮度等等。在目标分类的算法开发过程中,发现目标的类别容易受到其他信息的干扰,而导致判错。
2、例如,车牌的分类,容易受到白光、灯光颜色的干扰,使得车牌会偏色,或者偏亮,或者在红外相机下呈现黑白色,且车牌可能受到其他物体的遮挡,使得部分车牌呈现出的表观特征是其他背景或者物体的特征,使得现有的网络分类性能受到极大影响。
技术实现思路
1、为解决上述技术问题,本申请提出了一种基于目标分类的模型训练方法、目标分类方法、目标分类装置以及计算机存储介质。
2、为解决上述技术问题,本申请提出了一种基于目标分类的模型训练方法,所述模型训练方法包括:
3、获取待训练图像;
4、将所述待训练图像输入待训练的目标分类模型,提取所述待训练图像的掩码特征;
5、获取所述掩码特征中的目标特征与相关掩码特征的相关性向量;
6、将所述目标特征和所述相关性向量输入所述目标分类模型的分类器,获取所述目标特征的预测分类结果;
7、基于所述目标特征的预测分类结果和真实分类结果对所述目标分类模型进行训练。
8、其中,所述提取所述待训练图像的掩码特征,包括:
9、通过图像分割提取所述待训练图像中所有目标的掩码图像;
10、对所述掩码图像进行位置编码,得到所述待训练图像的掩码特征。
11、其中,所述通过图像分割提取所述待训练图像中所有目标的掩码图像,包括:
12、通过图像分割提取所述待训练图像中所有目标的目标轮廓;
13、获取所述目标轮廓的外接矩形框从所述待训练图像裁切出原始掩码图像,其中,所述原始掩码图像中目标轮廓以外的区域像素值设置为预设像素值;
14、将所述原始掩码图像按照预设尺寸处理,得到所述掩码图像。
15、其中,所述获取所述掩码特征中的目标特征与相关掩码特征的相关性向量,包括:
16、基于所述目标特征的目标信息,获取所述目标信息的相关性目标;
17、获取所述相关性目标的相关掩码特征;
18、将所述目标特征分别与所述相关掩码特征进行特征融合,得到所述目标特征的相关性向量。
19、其中,所述将所述目标特征分别与所述相关掩码特征进行特征融合,得到所述目标特征的相关性向量,包括:
20、将所述目标特征分别与所述相关掩码特征进行特征融合,得到融合特征;
21、将所述融合特征输入所述目标分类模型的解码器网络,提取所述融合特征的自注意力信息,得到所述目标特征的相关性向量。
22、其中,所述获取所述相关性目标的相关掩码特征之后,所述模型训练方法:
23、屏蔽所述相关掩码特征之外的其他掩码特征。
24、其中,所述目标按照类别划分包括:背景、路灯、车辆,和/或车牌;所述预测分类结果按照类别划分包括:车辆类别,和/或车牌类别。
25、其中,所述获取所述掩码特征中的目标特征与相关掩码特征的相关性向量,包括:
26、获取所述目标特征的查询向量,以及所述目标特征与所述相关掩码特征的键向量;
27、利用所述查询向量与所述键向量,计算每一相关掩码特征与所述目标特征的相关性向量,组成相关性矩阵;
28、其中,所述相关性矩阵中不相关掩码特征与所述目标特征的相关性向量设置为0;
29、所述获取所述掩码特征中的目标特征与相关掩码特征的相关性向量之后,所述模型训练方法还包括:
30、基于所述目标特征和所述相关性矩阵,获取所述目标特征的最终特征表达。
31、为解决上述技术问题,本申请还提出一种目标分类方法,所述目标分类方法包括:
32、将待分类图像输入预先训练的目标分类模型;
33、获取所述目标分类模型输出的所述待分类图像中各目标的分类结果;
34、其中,所述目标分类模型通过上述的模型训练方法训练所得。
35、为解决上述技术问题,本申请还提出一种目标分类装置,所述目标分类装置包括存储器以及与所述存储器耦接的处理器;其中,所述存储器用于存储程序数据,所述处理器用于执行所述程序数据以实现如上述的模型训练方法,和/或目标分类方法。
36、为解决上述技术问题,本申请还提出一种计算机存储介质,所述计算机存储介质用于存储程序数据,所述程序数据在被计算机执行时,用以实现上述的模型训练方法,和/或目标分类方法。
37、与现有技术相比,本申请的有益效果是:目标分类装置获取待训练图像;将所述待训练图像输入待训练的目标分类模型,提取所述待训练图像的掩码特征;获取所述掩码特征中的目标特征与相关掩码特征的相关性向量;将所述目标特征和所述相关性向量输入所述目标分类模型的分类器,获取所述目标特征的预测分类结果;基于所述目标特征的预测分类结果和真实分类结果对所述目标分类模型进行训练。通过上述模型训练方法,利用掩码信息做分类,可以精确地考虑相关影响信息,进而改善他们对目标分类的影响,提高目标分类模型的训练效果。
1.一种基于目标分类的模型训练方法,其特征在于,所述模型训练方法包括:
2.根据权利要求1所述的模型训练方法,其特征在于,
3.根据权利要求2所述的模型训练方法,其特征在于,
4.根据权利要求1所述的模型训练方法,其特征在于,
5.根据权利要求4所述的模型训练方法,其特征在于,
6.根据权利要求4所述的模型训练方法,其特征在于,
7.根据权利要求1所述的模型训练方法,其特征在于,
8.根据权利要求1所述的模型训练方法,其特征在于,
9.一种目标分类方法,其特征在于,所述目标分类方法包括:
10.一种目标分类装置,其特征在于,所述终端设备包括存储器以及与所述存储器耦接的处理器;
11.一种计算机存储介质,其特征在于,所述计算机存储介质用于存储程序数据,所述程序数据在被计算机执行时,用以实现如权利要求1至8任一项所述的模型训练方法,和/或权利要求9所述的目标分类方法。