本申请涉及计算机视觉,尤其涉及一种行为类别的识别方法及装置。
背景技术:
1、随着工业化和城市化的快速发展,建筑工地如雨后春笋般遍布各地。然而,与此同时,工地安全事故的频发也引起了广泛关注。特别是在高层建筑和大型基础设施项目中,摔倒是导致工人伤亡的主要原因之一。为了确保工人的生命安全和工程的顺利进行,自动识别和预防不安全行为已经成为建筑行业的一个重要研究方向。
2、传统的工地安全监控主要依赖于人工巡查和闭路电视(cctv)监控。但这些方法存在一些固有的局限性,如人工巡查可能会错过某些关键时刻,而cctv监控则需要人工实时观看,这在大型工地上是不切实际的。因此,亟需一种能够实现自动化的不安全行为识别方法。
技术实现思路
1、本申请提供一种行为类别的识别方法及装置,以实现有效地识别出摔倒等短暂但关键的不安全行为,进而可以进一步提高了识别的准确性,从而更准确地识别摔倒等不安全行为。
2、第一方面,本申请提供了一种行为类别的识别方法,所述方法包括:
3、获取待处理视频;
4、确定所述待处理视频对应的视频帧和光流信息;
5、将所述视频帧输入已训练的第一3d卷积网络,得到所述待处理视频对应的空间特征;
6、将所述光流信息输入已训练的第二3d卷积网络,得到所述待处理视频对应的时间特征;
7、根据所述待处理视频对应的空间特征和所述待处理视频对应的时间特征,确定所述待处理视频对应的行为类别识别结果。
8、第二方面,本申请提供了一种行为类别的识别装置,所述装置包括:
9、视频获取单元,用于获取待处理视频;
10、信息确定单元,用于确定所述待处理视频对应的视频帧和光流信息;
11、第一处理单元,用于将所述视频帧输入已训练的第一3d卷积网络,得到所述待处理视频对应的空间特征;
12、第二处理单元,用于将所述光流信息输入已训练的第二3d卷积网络,得到所述待处理视频对应的时间特征;
13、第三处理单元,根据所述待处理视频对应的空间特征和所述待处理视频对应的时间特征,确定所述待处理视频对应的行为类别识别结果。
14、第三方面,本申请提供了一种可读介质,包括执行指令,当电子设备的处理器执行所述执行指令时,所述电子设备执行如第一方面中任一所述的方法。
15、第四方面,本申请提供了一种电子设备,包括处理器以及存储有执行指令的存储器,当所述处理器执行所述存储器存储的所述执行指令时,所述处理器执行如第一方面中任一所述的方法。
16、由上述技术方案可以看出,本申请可以获取待处理视频;确定所述待处理视频对应的视频帧和光流信息;将所述视频帧输入已训练的第一3d卷积网络,得到所述待处理视频对应的空间特征;将所述光流信息输入已训练的第二3d卷积网络,得到所述待处理视频对应的时间特征;根据所述待处理视频对应的空间特征和所述待处理视频对应的时间特征,确定所述待处理视频对应的行为类别识别结果。可见,本申请通过利用第一3d卷积网络和第二3d卷积网络,确定所述待处理视频对应的空间特征和时间特征,并根据所述待处理视频对应的空间特征和所述待处理视频对应的时间特征,确定所述待处理视频对应的行为类别识别结果;这样,本申请可以利用所述待处理视频中的长期依赖关系和时间序列信息(即空间特征和时间特征),获取到待处理视频中的丰富的动作信息,从而有效地识别出摔倒等短暂但关键的不安全行为,进而可以进一步提高了识别的准确性,从而更准确地识别摔倒等不安全行为。
17、上述的非惯用的优选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
1.一种行为类别的识别方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述第一3d卷积网络和所述第二3d卷积网络的网络结构是相同的。
3.根据权利要求2所述的方法,其特征在于,所述第一3d卷积网络和所述第二3d卷积网络的网络结构均包括:四个卷积层、四个最大池化层、九个深度学习层和一个平均池化层。
4.根据权利要求3所述的方法,其特征在于,所述四个卷积层包括第一卷积层、第二卷积层、第三卷积层、第四卷积层;所述四个最大池化层包括第一最大池化层、第二最大池化层、第三最大池化层和第四最大池化层;所述九个深度学习层包括第一深度学习层、第二深度学习层、第三深度学习层、第四深度学习层、第五深度学习层、第六深度学习层、第七深度学习层、第八深度学习层、第九深度学习层。
5.根据权利要求4所述的方法,其特征在于,所述第一3d卷积网络和所述第二3d卷积网络的网络结构中各个层之间按照以下顺序依次进行连接:所述第一卷积层、所述第一最大池化层、所述第二卷积层、所述第三卷积层、所述第二最大池化层、所述第一深度学习层、所述第二深度学习层、所述第三最大池化层、所述第三深度学习层、所述第四深度学习层、所述第五深度学习层、所述第六深度学习层、所述第七深度学习层、所述第四最大池化层、所述第八深度学习层、所述第九深度学习层、所述平均池化层、所述第四卷积层。
6.根据权利要求3-5中任一所述的方法,其特征在于,所述深度学习层为inceptionmodule。
7.根据权利要求1所述的方法,其特征在于,所述根据所述待处理视频对应的空间特征和所述待处理视频对应的时间特征,确定所述待处理视频对应的行为类别识别结果,包括:
8.根据权利要求1所述的方法,其特征在于,所述方法还包括:
9.一种可读介质,其特征在于,所述可读介质包括执行指令,当电子设备的处理器执行所述执行指令时,所述电子设备执行如权利要求1-8中任一所述的方法。
10.一种电子设备,其特征在于,所述电子设备包括处理器以及存储有执行指令的存储器,当所述处理器执行所述存储器存储的所述执行指令时,所述处理器执行如权利要求1-8中任一所述的方法。