本发明涉及目标检测,具体涉及一种基于交通场景的半监督视频目标检测方法及系统。
背景技术:
1、目前基于路侧的监控摄像头实现对交通场景的解析任务中,一方面,大多以基于图像实现对目标的检测的方法为主,但是,基于单帧图像的目标检测,无法实现帧间在时间上的特征共享和融合,导致在某些交通情况下如行人车辆等被遮挡,车辆速度过快等,对于车辆的跟踪、行人的行人预测等任务容易判断出错;另一方面,对于少部分应用视频目标检测算法的,沿用通用的视频目标检测算法,没有考虑到交通场景视频与普通视频场景的特点,交通场景的视频会天然的带有目标运动的先验知识,即目标在短时间间隔内在某一特定方向上的可能运动情况。对于基于完全监督的视频目标检测算法,需要大量的标注数据,需要对视频的每一帧图像都进行人工标注,非常耗费人力物力。
技术实现思路
1、本申请通过提供了一种基于交通场景的半监督视频目标检测方法,旨在解决现有技术中,视频目标检测的标注数据往往是有限的,而构建大规模标注数据集需要耗费大量的时间和人力成本,并且模型在面对新的场景或者数据分布时,泛化能力不足,导致性能下降的技术问题。
2、鉴于上述问题,本申请提供了一种基于交通场景的半监督视频目标检测方法及系统。
3、本申请公开的第一个方面,提供了一种基于交通场景的半监督视频目标检测方法,所述方法包括:构建基于交通场景的视频目标检测数据集;基于多维数据扩增指标对所述视频目标检测数据集进行数据扩增,获得扩增目标检测数据集;基于完全监督学习,构建有标签的视频目标检测模型;基于所述视频目标检测模型对所述扩增目标检测数据集进行伪标签标识过滤,获得伪标签数据;提取所述扩增目标检测数据集中的标注数据集;基于所述标注数据集和所述伪标签数据对所述视频目标检测模型进行重新训练,生成半监督视频目标检测模型;基于损失函数对所述半监督视频目标检测模型进行训练和迭代,获得优化半监督视频目标检测模型。
4、本申请公开的另一个方面,提供了一种基于交通场景的半监督视频目标检测系统,所述系统用于上述一种基于交通场景的半监督视频目标检测方法,所述系统包括:数据集构建模块,所述数据集构建模块用于构建基于交通场景的视频目标检测数据集;数据扩增模块,所述数据扩增模块用于基于多维数据扩增指标对所述视频目标检测数据集进行数据扩增,获得扩增目标检测数据集;模型构建模块,所述模型构建模块用于基于完全监督学习,构建有标签的视频目标检测模型;伪标签标识过滤模块,所述伪标签标识过滤模块用于基于所述视频目标检测模型对所述扩增目标检测数据集进行伪标签标识过滤,获得伪标签数据;标注数据集提取模块,所述标注数据集提取模块用于提取所述扩增目标检测数据集中的标注数据集;模型重新训练模块,所述模型重新训练模块用于基于所述标注数据集和所述伪标签数据对所述视频目标检测模型进行重新训练,生成半监督视频目标检测模型;模型迭代优化模块,所述模型迭代优化模块用于基于损失函数对所述半监督视频目标检测模型进行训练和迭代,获得优化半监督视频目标检测模型。
5、本申请中提供的一个或多个技术方案,至少具有如下技术效果或优点:
6、通过利用半监督学习的方法,结合已标注的有限数据和通过数据扩增得到的伪标签数据,充分利用未标注数据来提高模型性能,从而缓解了有限标注数据带来的问题;通过引入多维数据扩增指标,如旋转、亮度变换、随机裁剪、随机擦除和随机增加文字等,对视频目标检测数据集进行扩增,增加了数据的多样性,提高了模型的泛化能力和鲁棒性;通过将提取的标注数据集和伪标签数据结合,重新训练视频目标检测模型,生成半监督视频目标检测模型,实现了对未标注数据的有效利用,提高了模型的性能和泛化能力;通过基于损失函数对半监督视频目标检测模型进行训练和迭代优化,进一步提升了模型的泛化能力,使其能够更好地适应各种场景和数据分布。综上所述,该基于交通场景的半监督视频目标检测方法通过有效地利用未标注数据、优化数据扩增策略和改进训练方式,解决了现有技术中存在的标注数据有限、数据扩增不足、标签不准确、未标注数据利用不足以及模型泛化能力不足等问题,从而取得了提高模型性能和泛化能力的技术效果。
7、上述说明仅是本申请技术方案的概述,为了能够更清楚了解本申请的技术手段,而可依照说明书的内容予以实施,并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂,以下特举本申请的具体实施方式。
1.一种基于交通场景的半监督视频目标检测方法,其特征在于,所述方法包括:
2.如权利要求1所述的方法,其特征在于,构建基于交通场景的视频目标检测数据集,包括:
3.如权利要求1所述的方法,其特征在于,所述多维数据扩增指标包括旋转、亮度变换、随机裁剪、随机擦除和随机增加文字。
4.如权利要求1所述的方法,其特征在于,基于所述视频目标检测模型对所述扩增目标检测数据集进行伪标签标识过滤,获得伪标签数据,包括:
5.如权利要求4所述的方法,其特征在于,基于所述样本伪标签集进行置信度过滤,获得置信伪标签集,包括:
6.如权利要求4所述的方法,其特征在于,基于运动轨迹对所述置信伪标签集进行类别过滤,获得所述伪标签数据,包括:
7.如权利要求1所述的方法,其特征在于,所述损失函数包括检测框回归损失函数和分类损失函数,所述检测框回归损失函数为平滑l1损失函数,所述分类损失函数为交叉熵损失函数。
8.如权利要求7所述的方法,其特征在于,所述平滑l1损失函数的表达式为:
9.一种基于交通场景的半监督视频目标检测系统,其特征在于,用于实施权利要求1-8任一项所述的一种基于交通场景的半监督视频目标检测方法,包括: