本发明涉及计算机视觉,特别是关于一种基于半监督学习的航空影像有向目标检测方法。
背景技术:
1、对物体进行识别和定位是计算机视觉一项重要的任务之一,随着gpu硬件条件的提高和海量数据的增长,基于深度学习的目标检测方法取得了巨大的进步。
2、然而,在处理航空影像等大规模、复杂场景的目标检测问题时,仍存在一些挑战:
3、(1)传统的监督学习方法在面对有向目标时效果有限。由于俯视的拍摄视角,航空影像中的目标可能以多个不同的方向和角度出现,传统的监督学习模型很难覆盖所有旋转变化的情况,导致检测性能不稳定。
4、(2)航空影像数据通常规模庞大,但具有标记的训练数据相对较少,这使得监督学习模型的泛化能力受到限制。在实际应用中,获取大规模标注数据的成本较高,而且可能存在标注不准确的问题,进一步影响模型的性能。
5、(3)航空图像中各个类别的实例存在较大的尺寸差异,这种实例级别的尺度差异会给目标检测,尤其是密集小目标检测带来困难。
6、(4)航空图像中的不同数据集之间的图像比例尺分布差异可能会很大,传统半监督检测方法的适应性有限,无法很好地处理不同尺度下目标的检测。
7、综合上述分析,研究一种能够有效解决大规模、复杂场景航空图像目标检测中的尺度变化和半监督学习问题的方法,显得尤为重要。因此,亟需一种新的方法来进一步提升航空图像目标检测的性能,以应对现有方法的局限性。
技术实现思路
1、针对上述问题,本发明的目的是提供一种基于半监督学习的航空影像有向目标检测方法,其技术方案利用基于航空图像比例尺的教学策略进行尺度自适应学习,通过多视图尺度一致性学习强化半监督学习,并采用软标签变焦损失优化分类损失,提高模型的性能,能克服传统方法在有向目标检测、缺乏大规模标注数据、实例级别尺度多样性以及数据集级别图像大尺度差异等方面的局限性。
2、为实现上述目的,本发明采取以下技术方案:
3、第一方面,本申请提供一种基于半监督学习的航空影像有向目标检测方法,所述方法,包括:
4、(1)获取有标注训练图像和无标注的原始图像,并对所述无标注的原始图像进行离线处理,得到预设数目的不同比例尺的无标注训练图像;
5、(2)半监督学习框架中的学生模型和教师模型的权重初始化;
6、(3)利用有标注图像进行第一阶段的训练,得到第一阶段训练完成的学生模型;
7、(4)利用有标注图像和预设数目的不同比例尺的无标注训练图像,并且不同比例尺的无标注图像需要在不同的时间点分批次引入训练,进入第二阶段的训练,得到训练后的学生模型和教师模型;
8、(5)利用完成第二阶段训练的教师模型,对待检测的航空影像进行有向目标的检测。
9、在本申请的一种实现方式中,在第二阶段的每一个迭代中,依次执行:
10、利用当前迭代初始的学生模型,更新教师模型的权重;
11、利用有标注训练图像,计算有监督分支的学生模型的有监督部分损失函数;
12、利用无标注训练图像,进行弱数据增强,输入教师模型产生伪标签,并利用弱数据增强的图像和所述伪标签,训练学生模型,计算学生模型的回归损失函数;
13、利用无标注训练图像,进行强数据增强,对其上采样产生双视图图像对,利用所述双试图图像对和所述伪标签,进行多视图尺度不变性的学生模型的训练,并计算学生模型的软标签变焦分类损失函数;
14、根据所述有监督部分损失函数、回归损失函数和所述软标签变焦分类损失函数,计算整体的损失函数;
15、进行下一次迭代,直至整体的损失函数达到收敛状态。
16、在本申请的一种实现方式中,所述预设数目的不同尺度的无标注训练图像,具体包括图像集i1、i2和i3,其比例尺的比值为4:2:1。
17、在本申请的一种实现方式中,所述半监督学习框架初始化后的学生模型和教师模型为相同网络架构和相同权重的卷积神经网络模型。
18、在本申请的一种实现方式中,所述第一阶段的训练,利用有标注图像进行预设次数的有监督训练,得到第一阶段训练完成的学生模型。
19、在本申请的一种实现方式中,整体的损失函数计算公式为:
20、
21、其中,为有监督部分损失函数;为回归损失函数;为软标签变焦分类损失函数,β用于衡量无标签数据的贡献。
22、在本申请的一种实现方式中,所述教师模型产生伪标签,经过τ-前景分数过滤,满足以下条件:
23、
24、其中,tc为教师检测结果对应在第c类的sigmoid分数,为所有前景类别的集合。
25、在本申请的一种实现方式中,为软标签变焦分类损失函数,具体为:
26、
27、
28、
29、其中为二元交叉熵函数,sc为学生模型在第c类的sigmoid分数,为所有前景类别的类别个数,α和γ为超参数。
30、在本申请的一种实现方式中,所述利用当前迭代初始的学生模型,更新教师模型的权重,具体计算方式为:
31、
32、其中,λ是一个超参数,θt-1为在第t-1个迭代时教师模型的权重,为在第t个迭代时学生模型的权重。
33、第二方面,本申请提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,所述计算机程序运行时控制所述计算机可读存储介质所在设备执行第一方面所述的基于半监督学习的航空影像有向目标检测方法。
34、本发明由于采取以上技术方案,其具有以下优点:
35、(1)基于比例尺的训练策略:创新采用基于航空图像比例尺的教学策略,通过离线图像分割实现尺度自适应学习,避免了在线图像级处理和标签级别转换,减少了计算资源消耗,并且引入了时间策略,在不同的训练阶段引入尺度合适的无标注训练图像,提高了模型对不同空间尺度的图像的适应能力。
36、(2)多视图尺度不变性学习:引入了多视图尺度不变性学习机制,通过从不同尺度和视角获取数据,提高了模型对尺度变异和目标形状的鲁棒性,有效解决了传统方法在小目标和大目标检测方面的不足。
37、(3)软标签变焦损失函数:采用软标签变焦损失函数优化分类损失设计,利用教师模型的后sigmoid分类分数作为软伪标签,通过非对称权重机制引导学生模型的分类,抑制了伪标签噪声对损失回归的干扰,提高了模型对高精度检测的性能。
38、(4)半监督学习框架:提出了一个简单有效的半监督学习框架,通过学生模型和教师模型在有标注和无标注数据上的协同训练,充分利用了有限的标注数据,提高了模型的泛化能力。
39、(5)适应性和鲁棒性:本发明的方法更具适应性和鲁棒性,能够应对大规模、复杂场景的航空图像目标检测问题,克服了现有方法的局限性。
1.一种基于半监督学习的航空影像有向目标检测方法,其特征在于,所述方法,包括:
2.根据权利要求1所述的基于半监督学习的航空影像有向目标检测方法,其特征在于,在第二阶段的每一个迭代中,依次执行:
3.根据权利要求2所述的基于半监督学习的航空影像有向目标检测方法,其特征在于,所述预设数目的不同尺度的无标注训练图像,具体包括图像集i1、i2和i3,其比例尺的比值为4:2:1。
4.根据权利要求3所述的基于半监督学习的航空影像有向目标检测方法,其特征在于,所述半监督学习框架初始化后的学生模型和教师模型为相同网络架构和相同权重的卷积神经网络模型。
5.根据权利要求4所述的基于半监督学习的航空影像有向目标检测方法,其特征在于,所述第一阶段的训练,利用有标注图像进行预设次数的有监督训练,得到第一阶段训练完成的学生模型。
6.根据权利要求5所述的基于半监督学习的航空影像有向目标检测方法,其特征在于,整体的损失函数计算公式为:
7.根据权利要求6所述的基于半监督学习的航空影像有向目标检测方法,其特征在于,所述教师模型产生伪标签,经过τ-前景分数过滤,满足以下条件:
8.根据权利要求7所述的基于半监督学习的航空影像有向目标检测方法,其特征在,为软标签变焦分类损失函数,具体为:
9.根据权利要求8所述的基于半监督学习的航空影像有向目标检测方法,其特征在,所述利用当前迭代初始的学生模型,更新教师模型的权重,具体计算方式为:
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机程序,所述计算机程序运行时控制所述计算机可读存储介质所在设备执行权利要求1至9任一项所述的基于半监督学习的航空影像有向目标检测方法。
