本发明涉及深度学习算法和多信息融合技术在实验室环境监测领域的应用。特别是，本发明涉及一种多信息融合的实验室监控系统与方法。
背景技术：
1、开放性实验室是指学生、教师等研究人员可以在任何时间进入实验室进行学习和研究。然而，由于实验室内的设备和仪器通常需要特殊的权限才能够使用，学生等做实验时无人监管，面临着一定的安全隐患。此外，实验室内的环境因素也可能会对实验结果产生影响，例如温度、湿度、光照等。因此，如何有效地监控和管理开放性实验室成为了一个亟待解决的问题。
2、目前虽然一些实验室已经采用了一些传统的监控系统来监测实验室内的安全情况，例如安装摄像头、门禁系统等。然而，这些系统存在着一些问题。首先，传统监控系统的监控范围有限，无法对实验室内的人员和设备进行全面监控；其次，传统监控系统的监控方式单一，只能通过视频监控来实现，且监测内容单一，可能只监测某一部分，无法对实验室内的环境因素进行实时监测；最后，传统监控系统的操作复杂，需要专业人员进行维护和管理且很多潜在可预防的安全隐患未能及时发现。
技术实现思路
1、为了克服上述现有技术的缺点，本发明的目的在于提供一种多信息融合的实验室监控系统与方法，用以解决现有技术中的监控方式及内容单一，监控范围有限，无法实时监测，未及时发现可预防的安全隐患的问题。
2、本发明所述的一种多信息融合的实验室监控系统，基于深度学习算法和多信息融合技术，能够实现实验室实时环境监测和异常事件检测。
3、为了实现上述目的，本发明采用的技术方案是：
4、多信息融合的实验室监控系统，包括：
5、传感器模块，采集实验室环境数据；
6、视频采集模块，采集实验室视频，以捕捉实验室中的动态；
7、yolo模型，接收所述视频采集模块的数据，对实验室视频内容进行深度标注；
8、多模态数据处理模块，接收所述环境数据和所述yolo模型的标注数据，进行异常判断，并在判断结果为异常时得到异常信号；
9、应急响应模块，接收所述异常信号并执行应急响应；
10、网络通信模块，接收所述多模态数据处理模块的所有数据，以实现实验室与远程监控中心之间的数据传输和通信。
11、在一个实施例中，所述传感器模块对实验室环境进行多物理量监测，以准确捕捉到实验室内的各种环境变化，所述传感器模块包括温度传感器、湿度传感器、声音传感器和化学传感器；所述温度传感器，在实验室易发生温度变化的区域部署；所述湿度传感器，在实验室对湿度变化敏感的区域部署；所述化学传感器，在实验室可能出现化学泄露区域部署；所述声音传感器，在实验室易发生声音伴随事故的区域部署；所述视频采集模块，部署在整个实验室，并在实验室门口和试验台单独部署，以准确捕捉到实验室内的各种动态。
12、在一个实施例中，所述yolo模型，将实验室视频截取为图像，并基于不同环境条件下的多种行为视频或图像数据进行深度标注，包括：对目标行为的识别、时间戳记和环境条件的记录；利用标注的图像进行训练，不断调整模型参数，以使得模型能够适用多种多变的实验室场景；模型训练完成后，对每次触发异常信号的图像纳入新采集的数据，进行标注训练，更新迭代模型。
13、在一个实施例中，所述多模态数据处理模块包含数据接口单元、数据预处理单元、数据融合单元、模式识别单元、决策逻辑单元和通信接口单元；
14、所述数据接口单元接收多源数据流，并对每个数据流进行时间戳同步；其中多源数据包括所述环境数据和所述yolo模型的标注数据；
15、所述数据预处理单元对所有数据进行规范化处理，将其转化为统一的数据格式，并进行噪声过滤和异常值检测；
16、所述数据融合单元采用加权平均法、卡尔曼滤波器和神经网络算法对预处理后的数据进行深度整合；
17、所述模式识别单元采用深度学习模型机器算法分析整合的数据，并将数据分为正常和异常；
18、所述决策逻辑单元根据预设的安全阈值和安全规则生成相应的响应信号触发应急响应模块，并通过通信接口单元将数据传给网络通信模块，从而实现对外的警报传递。
19、在一个实施例中，所述yolo模型，对目标行为的识别包括：视频或图像中的设备使用不规范行为或实验操作员的操作不规范行为；并以目标行为出现在视频或图像中的位置坐标和大小为传输数据；
20、所述数据预处理单元，将实验室环境数据转换成统一的数值或文本格式，将yolo模型提供的标注数据转换为统一的图像格式；
21、所述数据融合单元，采用卡尔曼滤波器整合实验室环境数据，并采用加权平均法减少随机误差和偶然误差的影响；采用神经网络算法从yolo模型提供的数据中识别出潜在的异常行为或环境变化，与实验室环境数据结合，以识别是否存在异常行为或环境风险。
22、在一个实施例中于，所述模式识别单元采用深度学习模型机器算法分析整合的数据，包括：
23、实验室环境数据分析：实验室环境数据用于监测实验室的环境条件，训练深度学习模型以识别数据中的异常模式，所述异常模式表明环境条件的显著变化或潜在危险；
24、yolo模型的标注数据分析：训练深度学习模型分析标注数据，以识别潜在的异常行为或环境变化，并结合实验室环境数据分析结果，共同确定是否存在实际的安全威胁。
25、在一个实施例中，所述安全阈值的设定指对特定参数的预设限值，超过所述限值则表明存在安全风险；所述安全规则是所述决策逻辑单元判断是否触发警报的逻辑指导原则；所述安全规则基于实验室环境数据和yolo模型的标注数据的组合。
26、在一个实施例中，所述应急响应模块包括报警机制和自动控制机制，所述应急响应模块的信号接受单元配置用于接受经过决策逻辑单元产生的响应信号，负责解码和确认收到的信号，并确定其优先级和类型；在确认是异常信号后，触发所述报警机制，并启动自动控制机制，实施一系列预定义的安全措施。
27、在一个实施例中，所述网络通信模块配备nb-iot、wifi通信技术和通信安全与协议管理，所述实验室与远程监控中心之间的数据传输和通信，包括：
28、onenet云平台，与网络通信模块相连，用以实现实验室与远程监控中心之间的数据交互和信息共享，包括数据存储和历史数据功能；
29、邮箱提醒，其与网络通信模块相连，当多模态数据处理模块给应急响应模块传入异常信号时，向预设邮箱发送邮件；
30、手机app，其与网络通信模块相连，接受来自网络通信模块的数据，以随时查看实验室状况。
31、在一个实施例中，所述onenet云平台包括数据存储单元和历史数据分析单元，利用存储的历史数据和实时数据通过一个构建在平台上的rbf神经网络模型，进行危险趋势预测；
32、所述数据存储单元，采用分布式数据库架构存储来自多模态数据处理模块的全部数据；
33、所述历史数据分析单元，采用rbf神经网络模型进行数据分析预测，捕捉数据中的复杂关系和潜在的危险信号；所述rbf神经网络模型，首先要进行数据预处理，实时和历史数据经过清洗、归一化和变换处理，以适配模型输入要求；然后进行特征提取，通过统计分析和机器学习算法从预处理后的数据中提取关键特征，这些特征能够代表监控环境的状态和变化趋势；对rbf神经网络模型进行训练，调整网络权重和偏置参数，优化模型的预测准确性；最后输出预测，训练完成的rbf模型对新的数据输入进行分析，预测未来可能出现的危险趋势，并将预测结果反馈给实验室安全监控系统，用于预警和风险管理；
34、所述危险趋势预测包括实验室常见危险物品或动作状态危险行为的趋势预测。
35、本发明还提供了一种基于所述多信息融合的实验室监控系统的监控方法，包括：
36、视频采集模块获取数据，通过采集实验室视频，使用预先训练的yolo模型进行目标检测；同时，通过该传感器模块采集实验室环境数据，并对各项环境数据进行实时监测；
37、通过yolo模型判断实验室视频中是否包含危险动作，若是，首先进行报警，然后将信息传入网络通信模块中的数据通信线程；同时，报警信息进行视频录像，将此危险动作存入素材数据库中，对数据库中的素材进行标注，使用yolo模型训练，不断更新模型，每获取一次图像信息，若是危险动作都会记录对模型进行更新，下次视频采集模块所获取数据将通过新模型进行判断；若否，则将信息直接传入数据中心；实验室环境数据若超过设定阈值，则进行报警，再将数据传入数据中心；若未超过设定阈值，则将数据直接传入数据中心；
38、所有数据传入网络通信模块中的数据通信线程后，直接传输到手机app和onenet物联网云平台，同时对数据进行判断，若有异常数据则在传入手机app和onenet物联网云平台的基础上发送邮件报警信息。
39、与现有技术相比，本发明的有益效果是：
40、本发明实现了多信息融合技术，不仅对实验室人员、设备、温湿度、声音等进行环境全方面监测，还采用yolo模型对采集的像人员、设备等图像进行处理及时发现异常情况进行报警提示，同时，实验室管理人员也可在手机邮箱、云平台、手机随时收到报警信息，便于管理员随时随地查看实验室状况。监控方式多样范围广泛，不仅有针对人员设备等的视频采集图像监测处理，还有针对实验室的物理传感器监测。引入了多种机器学习算法，使系统能根据实验室环境的不断变化自我优化和学习。同时，本发明不仅可以将实验数据和结果进行云端存储和共享，方便随时随地查看和下载实验数据和结果，还可以对报警系统中的数据记录模块中存档的数据采用算法进行分析，及时发现实验室的潜在安全隐患等问题。
1.多信息融合的实验室监控系统，其特征在于，包括：
2.根据权利要求1所述多信息融合的实验室监控系统，其特征在于，所述传感器模块对实验室环境进行多物理量监测，以准确捕捉到实验室内的各种环境变化，所述传感器模块包括温度传感器、湿度传感器、声音传感器和化学传感器；所述温度传感器，在实验室易发生温度变化的区域部署；所述湿度传感器，在实验室对湿度变化敏感的区域部署；所述化学传感器，在实验室可能出现化学泄露区域部署；所述声音传感器，在实验室易发生声音伴随事故的区域部署；所述视频采集模块，部署在整个实验室，并在实验室门口和试验台单独部署，以准确捕捉到实验室内的各种动态。
3.根据权利要求1所述多信息融合的实验室监控系统，其特征在于，所述yolo模型，将实验室视频截取为图像，并基于不同环境条件下的多种行为视频或图像数据进行深度标注，包括：对目标行为的识别、时间戳记和环境条件的记录；利用标注的图像进行训练，不断调整模型参数，以使得模型能够适用多种多变的实验室场景；模型训练完成后，对每次触发异常信号的图像纳入新采集的数据，进行标注训练，更新迭代模型；所述对目标行为的识别包括：视频或图像中的设备使用不规范行为或实验操作员的操作不规范行为；并以目标行为出现在视频或图像中的位置坐标和大小为传输数据。
4.根据权利要求1所述多信息融合的实验室监控系统，其特征在于，所述多模态数据处理模块包含数据接口单元、数据预处理单元、数据融合单元、模式识别单元、决策逻辑单元和通信接口单元；
5.根据权利要求4所述多信息融合的实验室监控系统，其特征在于；
6.根据权利要求4所述多信息融合的实验室监控系统，其特征在于，所述安全阈值的设定指对特定参数的预设限值，超过所述限值则表明存在安全风险；所述安全规则是所述决策逻辑单元判断是否触发警报的逻辑指导原则；所述安全规则基于实验室环境数据和yolo模型的标注数据的组合。
7.根据权利要求4所述多信息融合的实验室监控系统，其特征在于，所述应急响应模块包括报警机制和自动控制机制，所述应急响应模块的信号接受单元配置用于接受经过决策逻辑单元产生的响应信号，负责解码和确认收到的信号，并确定其优先级和类型；在确认是异常信号后，触发所述报警机制，并启动自动控制机制，实施一系列预定义的安全措施。
8.根据权利要求1所述多信息融合的实验室监控系统，其特征在于，所述网络通信模块配备nb-iot、wifi通信技术和通信安全与协议管理，所述实验室与远程监控中心之间的数据传输和通信，包括：
9.根据权利要求1所述多信息融合的实验室监控系统，其特征在于，所述onenet云平台包括数据存储单元和历史数据分析单元，利用存储的历史数据和实时数据通过一个构建在平台上的rbf神经网络模型，进行危险趋势预测；
10.一种基于权利要求1所述多信息融合的实验室监控系统的监控方法，包括：
