本发明涉及图像识别，尤其涉及一种驾驶员异常行为识别方法、装置、设备及存储介质。
背景技术：
1、随着现代社会的发展，车队管理在运输行业中扮演着至关重要的角色，保障驾驶员的行为符合安全标准，是确保道路交通安全的一个关键环节。通过在车队监管系统中引入异常行为识别的方式，可以有效提升对驾驶员行为的实时监控和管理水平。
2、然而，在传统的车队监管中，对驾驶员的行为监管往往依赖于人工巡查和经验判断，而人工巡查需要耗费大量人力物力，成本较高，而且无法实现全天候、全方位的监管，另外人工判断容易受到主观意识和情绪等因素的影响，从而导致监管的准确性难以得到保证。
3、因此，现有技术还有待于改进和发展。
技术实现思路
1、本发明的主要目的在于解决现有技术中，对驾驶员的行为监管依赖于人工巡查和经验判断，成本较高且准确性难以得到保证的问题。
2、本发明第一方面提供了一种驾驶员异常行为识别方法，包括：获取摄像头采集驾驶室的历史视频数据，根据所述历史视频数据生成视频样本集；对所述视频样本集进行分类并设置标签，生成具有分类标签的视频样本，根据具有分类标签的视频样本创建训练集和测试集，对所述训练集进行数据增广并生成增广训练集；搭建3d resnet网络，将所述增广训练集输入所述3dresnet网络进行模型训练，得到预测模型，并利用所述测试集验证所述预测模型；将实时采集的视频数据输入所述预测模型，生成预测结果，根据所述预测结果识别驾驶员是否存在异常行为。
3、可选的，在本发明第一方面的第一种实现方式中，所述获取摄像头采集驾驶室的历史视频数据，根据所述历史视频数据生成视频样本数据集的步骤包括：利用视频采集软件连接驾驶室摄像头，设置采集参数对驾驶室进行视频数据采集；将采集的驾驶室视频数据集合，生成历史视频样本集，并存储于文件管理器中。
4、可选的，在本发明第一方面的第二种实现方式中，所述对所述视频样本集进行分类并设置标签，生成具有分类标签的视频样本的步骤包括：根据视频数据的内容对所述视频样本集中的视频样本进行分类；为每个分类后的视频样本添加对应的分类标签，包括遮挡摄像头、黑屏以及正常驾驶，生成具有分类标签的视频样本。
5、可选的，在本发明第一方面的第三种实现方式中，所述根据具有分类标签的视频样本创建训练集和测试集的步骤包括：将具有分类标签的视频样本进行顺序随机化；根据预设比例将具有分类标签的视频样本划分并创建训练集和测试集，所述训练集的比例大于所述测试集的比例。
6、可选的，在本发明第一方面的第四种实现方式中，所述对所述训练集进行数据增广并生成增广训练集的步骤包括：对所述训练集进行随机翻转生成随机翻转后的训练集数据；对所述训练集进行随机区域裁剪，将裁剪后的训练集数据固定为裁剪前的训练集数据比例，生成随机裁剪后的训练集数据；将翻转后的训练集数据以及随机裁剪后的训练集数据合并到所述训练集中，生成增广训练集。
7、可选的，在本发明第一方面的第五种实现方式中，所述搭建3d resnet网络，将所述增广训练集输入所述3d resnet网络进行模型训练，得到预测模型，并利用所述测试集验证所述预测模型的步骤包括：定义多个3d卷积模块，通过堆叠多个所述3d卷积模块搭建3dresnet网络；将所述增广训练集输入所述3d resnet网络进行模型训练，通过多次模型迭代生成预测模型；将所述测试集输入所述预测模型并验证模型拟合情况。
8、可选的，在本发明第一方面的第六种实现方式中，所述根据所述预测结果识别驾驶员是否存在异常行为的步骤包括：若所述预测结果为正常驾驶，则表示驾驶员行为正常；若所述预测结果为黑屏或遮挡摄像头，则表示驾驶员行为异常，生成提示信息并触发报警信号。
9、本发明第二方面提供了一种驾驶员异常行为识别装置，包括：数据采集模块，用于获取摄像头采集驾驶室的历史视频数据，根据所述历史视频数据生成视频样本集；数据处理模块，用于对所述视频样本集进行分类并设置标签，生成具有分类标签的视频样本，根据具有分类标签的视频样本创建训练集和测试集，对所述训练集进行数据增广并生成增广训练集；模型训练模块，用于搭建3d resnet网络，将所述增广训练集输入所述3d resnet网络进行模型训练，得到预测模型，并利用所述测试集验证所述预测模型；异常识别模块，用于将实时采集的视频数据输入所述预测模型并生成预测结果，根据所述预测结果识别驾驶员是否存在异常行为。
10、可选的，在本发明第二方面的第一种实现方式中，所述数据采集模块包括：参数设置单元，用于利用视频采集软件连接驾驶室摄像头，设置采集参数对驾驶室进行视频数据采集；数据集成单元，用于将采集的驾驶室视频数据集合，生成历史视频样本集，并存储于文件管理器中。
11、可选的，在本发明第二方面的第二种实现方式中，所述数据处理模块包括：分类单元，用于根据视频数据的内容对所述视频样本集中的视频样本进行分类；标签设置单元，用于为每个分类后的视频样本添加对应的分类标签，包括遮挡摄像头、黑屏以及正常驾驶，生成具有分类标签的视频样本。
12、可选的，在本发明第二方面的第三种实现方式中，所述数据处理模块还包括：第一随机化单元，用于将具有分类标签的视频样本进行顺序随机化；数据划分单元，用于根据预设比例将具有分类标签的视频样本划分并创建训练集和测试集，所述训练集的比例大于所述测试集的比例。
13、可选的，在本发明第二方面的第四种实现方式中，所述数据处理模块还包括：第二随机化单元，用于对所述训练集进行随机翻转生成随机翻转后的训练集数据；第三随机化单元，用于对所述训练集进行随机区域裁剪，将裁剪后的训练集数据固定为裁剪前的训练集数据比例，生成随机裁剪后的训练集数据；数据增广单元，用于将翻转后的训练集数据以及随机裁剪后的训练集数据合并到所述训练集中，生成增广训练集。
14、可选的，在本发明第二方面的第五种实现方式中，所述模型训练模块包括：网络搭建单元，用于定义多个3d卷积模块，通过堆叠多个所述3d卷积模块搭建3d resnet网络；模型生成单元，用于将所述增广训练集输入所述3d resnet网络进行模型训练，通过多次模型迭代生成预测模型；模型验证单元，用于将所述测试集输入所述预测模型并验证模型拟合情况。
15、可选的，在本发明第二方面的第六种实现方式中，所述异常识别模块包括：第一识别单元，用于若所述预测结果为正常驾驶，则表示驾驶员行为正常；第二识别单元，用于若所述预测结果为黑屏或遮挡摄像头，则表示驾驶员行为异常，生成提示信息并触发报警信号。
16、本发明第三方面提供了一种驾驶员异常行为识别设备，包括：存储器和至少一个处理器，所述存储器中存储有计算机可读指令，所述存储器和所述至少一个处理器通过线路互连；所述至少一个处理器调用所述存储器中的所述计算机可读指令，以使得所述驾驶员异常行为识别设备执行如上所述驾驶员异常行为识别方法的各个步骤。
17、本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机可读指令，当其在计算机上运行时，使得计算机执行如上所述驾驶员异常行为识别方法的各个步骤。
18、有益效果：本发明的技术方案中，获取驾驶室摄像头抓取的视频作为样本集，对视频样本进行分类打标签，包括遮挡摄像头、黑屏以及正常驾驶，设置相关参数搭建3dresnet网络，对数据增广将训练集输入至3d resnet网络中进行模型训练，使用测试集进行驾驶员异常行为识别，将驾驶室的视频传入模型，如果画面黑屏或者驾驶员有遮挡摄像头的动作则触发报警，本发明提供的是一种驾驶员异常行为识别方法，通过自动化的异常行为识别系方法可以实时监测驾驶员的状态，如偏离驾驶座、遮挡摄像头等异常行为，并能通过声音、震动等方式及时提醒，保持驾驶员的良好状态，大幅减少人力投入，同时提升监管的效率和准确性。
1.一种驾驶员异常行为识别方法，其特征在于，所述驾驶员异常行为识别方法包括：
2.根据权利要求1所述驾驶员异常行为识别方法，其特征在于，所述获取摄像头采集驾驶室的历史视频数据，根据所述历史视频数据生成视频样本数据集的步骤包括：
3.根据权利要求1所述驾驶员异常行为识别方法，其特征在于，所述对所述视频样本集进行分类并设置标签，生成具有分类标签的视频样本的步骤包括：
4.根据权利要求1所述驾驶员异常行为识别方法，其特征在于，所述根据具有分类标签的视频样本创建训练集和测试集的步骤包括：
5.根据权利要求1或4所述驾驶员异常行为识别方法，其特征在于，所述对所述训练集进行数据增广并生成增广训练集的步骤包括：
6.根据权利要求1所述驾驶员异常行为识别方法，其特征在于，所述搭建3d resnet网络，将所述增广训练集输入所述3d resnet网络进行模型训练，得到预测模型，并利用所述测试集验证所述预测模型的步骤包括：
7.根据权利要求1所述驾驶员异常行为识别方法，其特征在于，所述根据所述预测结果识别驾驶员是否存在异常行为的步骤包括：
8.一种驾驶员异常行为识别装置，其特征在于，包括：
9.一种驾驶员异常行为识别设备，其特征在于，包括存储器和至少一个处理器，所述存储器中存储有计算机可读指令；
10.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机可读指令，其特征在于，所述计算机可读指令被处理器执行时实现如权利要求1-7中任一项所述驾驶员异常行为识别方法的各个步骤。
