本发明针对地铁站样本数据集缺失限制行人物体目标检测算法发展的情况,提出了一种地铁站行人物体目标检测图像样本仿真构建方法。
背景技术:
1、地铁站场景中的行人物体目标检测算法具有重要的意义,主要体现在以下几个方面:行人物体目标检测算法可用于监测地铁站的安全状况,通过实时检测和跟踪行人,系统可以及时发现异常行为、突发事件或者不寻常的人群聚集,提高地铁站的安全性;地铁站通常有大量的人流,特别是在高峰时段,行人物体目标检测算法可以帮助管理人流,分析拥挤程度,提前预警可能出现的拥堵状况,以优化站点布局和人流引导;在繁忙的地铁站中,人们常常会遗失物品。行人物体目标检测算法可以协助安全监控系统迅速定位并追踪遗失物品,提高失物寻找的效率;行人物体目标检测算法是智能交通系统的重要组成部分,通过对地铁站场景中行人的实时监测,可以更智能地调整交通信号、提高交通效率,减少拥堵。总体而言,地铁站场景中的行人物体目标检测算法对于提高站点的安全性、效率和服务水平都具有重要的意义,有助于构建更智能、安全、便捷的城市交通系统。
2、当涉及到地铁站场景中的行人物体目标检测算法时,一个主要的挑战是缺乏足够的真实样本数据集。由于地铁站属于封闭环境,采集真实数据可能受到隐私和安全等方面的限制。因此,缺乏样本数据可能会限制目标检测算法的性能和泛化能力。
3、近年来,地铁场景图像样本仿真构建方法的研究在计算机视觉领域取得了一些进展。以下是一些通用的地铁场景图像样本仿真构建方法的发展状况:(1)数据增强技术:一种常见的方法是使用数据增强技术,通过对现有真实数据进行旋转、翻转、缩放、亮度调整等操作,生成更多的样本。这有助于增加数据集的多样性,但对于一些复杂场景和目标,可能仍然无法提供足够的样本;(2)图像合成技术:一些研究采用图像合成技术,将现实场景中的元素(例如行人、背景等)合成到虚拟环境中。这可以创建具有多样性的合成图像,用于训练模型。然而,合成图像的真实性和与实际场景的匹配程度是一个需要考虑的挑战;(3)深度生成模型:一些研究利用深度生成模型(如生成对抗网络,gan)来生成逼真的地铁场景图像。这种方法能够学习场景中的特征分布,从而生成具有高度逼真感的图像样本;(4)跨域迁移学习:有研究在地铁场景图像样本仿真中采用跨域迁移学习,将在其他场景中训练得到的模型迁移到地铁场景中,以提高样本数据的利用效率。
4、上述传统的获取图像训练样本的方法还存在着以下问题:(1)数据增强技术通过对真实数据进行变换来生成更多样本,但它的局限性在于无法捕捉真实场景中的新特征。对于复杂场景和目标,简单的变换可能无法提供足够的样本多样性,导致模型在处理新情况时性能下降;(2)图像合成技术可以创建多样性的合成图像,但真实性和与实际场景的匹配程度是关键问题。合成图像可能无法完全模拟真实世界中的光照、阴影和细节,从而影响模型在真实场景中的泛化能力;(3)深度生成模型如生成对抗网络(gan)能够生成逼真的图像,但它们的训练可能相对复杂且需要大量的计算资源。此外,模型的训练过程中可能出现模式崩溃或模糊现象,导致生成的图像失真或不符合真实场景。(4)跨域迁移学习可以提高样本数据的利用效率,但它也可能受到不同场景之间差异的限制。在其他场景中训练得到的模型并不总是能够有效地适应地铁场景,特别是当场景差异较大时,迁移学习的效果可能会受到限制。
技术实现思路
1、为了解决现有技术中存在的上述问题,本发明的目的是:设计一种基于虚拟现实技术的地铁场景图像样本仿真构建方法,利用虚拟现实技术创建合成的地铁站场景图像,包括模拟行人的外观、姿态、动作等各种变化。通过这种方式,可以生成大量具有多样性和复杂性的图像样本,以用于训练和测试行人物体目标检测算法。
2、为了实现上述目的,本发明采用的技术方案为:一种基于虚拟现实技术的地铁场景图像样本仿真构建方法,基于场景建模模块、仿真模块和图像训练样本生成模块,所述场景建模模块用于模拟真实的地铁站现场;所述仿真模块用于以图像形式获取行人过闸机的俯视图;所述图像训练样本生成模块用于对获取的图像训练样本自动标注行人和物体位置;具体包括以下步骤:
3、步骤1、建立虚拟地铁站模型,以及对行人和其随身物品建模;
4、步骤2、建立行人过闸机自动仿真模型,首先对行人过闸机的流程进行蓝图构建,当涉及行人动画时,在虚拟场景中添加行人模型,并为它们创建相应动画;
5、步骤3、生成图像训练样本,首先通过虚拟摄像机在虚拟环境中自动捕捉行人过闸机的俯视图,生成单目和双目rgb图像,再利用双目视差算法恢复深度图,并通过脚本自动对rgbd数据进行标注。
6、进一步的,所述站场景建模采用分割重组的方式,对地铁站内的基本结构和互动元素进行建模,建模过程不仅需要关注外观形状,还需要为模型添加纹理和材质。所述基本结构包括站台、闸机、室内天花板、地板、墙壁、座椅、广告牌、灯具和标识;所述互动元素包括乘客、地铁车辆和自动售票机。
7、进一步的,在对行人建模时需要定义行人通过闸机时展现出的各种动作,包括但不限于行走和停留,通过运用三维建模软件为行人模型应用骨骼动画或者关键帧动画,还原真实的运动状态。
8、进一步的,所述步骤2中,采用虚拟现实技术实现行人过闸机行为的仿真,根据行人过闸机时的人体包围盒与闸机前方和后方的包围盒之间的接触作为触发条件,自动控制闸机的开关。
9、进一步的,所述步骤3具体为:首先在虚拟引擎中设置虚拟相机于闸机顶部,自动获取行人过闸机的图像样本,生成具备单目和双目rgb图像的数据,并利用双目视差算法恢复rgb对应的深度图;最后根据恢复的深度图样本自动标注其中的人物和物体位置,实现行人过闸机图像样本的自动获取以及人物物体位置的自动标注。
10、与现有技术相比,本技术方案的有益效果在于:
11、1、本发明克服了真实数据集受限的问题,提供了更丰富的数据样本,有助于提高目标检测算法在地铁站场景中的准确性和鲁棒性。
12、2、本发明通过虚拟现实技术,研究人员可以精确控制场景的各个方面,从而更好地满足算法训练的需求,这对于加强地铁站安全监控系统等领域的人体检测技术具有积极的推动作用。
13、3、本发明能够获得高质量的带有对象位置检测信息的rgbd数据,整个过程都是自动进行的,能够在节省人力物力的情况下生成所需的训练样本,以满足算法训练和语义标注信息的需要。
14、4、这种自动化的方法不仅提高了效率,还确保了生成的数据质量和一致性,为仿真软件的开发和行人行为分析提供了可靠的基础。
1.一种基于虚拟现实技术的地铁场景图像样本仿真构建方法,其特征在于,包括场景建模模块、仿真模块和图像训练样本生成模块,所述场景建模模块用于模拟真实的地铁站现场;所述仿真模块用于以图像形式获取行人过闸机的俯视图;所述图像训练样本生成模块用于对获取的图像训练样本自动标注行人和物体位置;具体包括以下步骤:
2.根据权利要求1所述的基于虚拟现实技术的地铁场景图像样本仿真构建方法,其特征在于:虚拟地铁站场景建模采用分割重组的方式,对地铁站内的基本结构和互动元素进行建模,建模过程不仅需要关注外观形状,还需要为模型添加纹理和材质。
3.根据权利要求1所述的基于虚拟现实技术的地铁场景图像样本仿真构建方法,其特征在于:在对行人建模时需要定义行人通过闸机时展现出的各种动作,包括但不限于行走和停留,通过运用三维建模软件为行人模型应用骨骼动画或者关键帧动画,还原真实的运动状态。
4.根据权利要求2所述的基于虚拟现实技术的地铁场景图像样本仿真构建方法,其特征在于:所述基本结构包括站台、闸机、室内天花板、地板、墙壁、座椅、广告牌、灯具和标识;所述互动元素包括乘客、地铁车辆和自动售票机。
5.根据权利要求1所述的基于虚拟现实技术的地铁场景图像样本仿真构建方法,其特征在于:所述步骤2中,采用虚拟现实技术实现行人过闸机行为的仿真,根据行人过闸机时的人体包围盒与闸机前方和后方的包围盒之间的接触作为触发条件,自动控制闸机的开关。
6.根据权利要求1所述的基于虚拟现实技术的地铁场景图像样本仿真构建方法,其特征在于,所述步骤3具体为:首先在虚拟引擎中设置虚拟相机于闸机顶部,自动获取行人过闸机的图像样本,生成具备单目和双目rgb图像的数据,并利用双目视差算法恢复rgb对应的深度图;最后根据恢复的深度图样本自动标注其中的人物和物体位置,实现行人过闸机图像样本的自动获取以及人物物体位置的自动标注。