本发明涉及智能行为监控,特别是涉及一种智能交互行为监测方法、系统、设备和存储介质。
背景技术:
1、在智能行为监控领域中,计算机视觉和深度学习技术被广泛应用于实时动作识别。通过使用深度学习模型,系统能够学习和理解复杂的人体动作,使其在监测人体姿态、活动和行为方面取得显著的精度和效果。这些智能行为监控系统在安全监控方面可用于检测异常行为,例如盗窃、攻击或突发事件,从而及时采取预防和响应措施。在智能安防应用中,它们还可以与其他安防设备集成,如视频摄像头、传感器和报警系统,形成一个综合的安全解决方案。
2、目前现有技术存在的问题在于,一方面是单一模态数据不足,传统系统通常依赖于单一模态的数据,导致对于多样化场景的理解不足,难以全面把握场景中的细节和复杂性,另一方面是多模态集成不足,多模态系统中存在的数据集成和交互不足的问题,会限制系统在实时动态场景中的适应性和准确性,此外,还存在知识库表达不灵活、缺乏用户交互性以及对于复杂事件建模不足的问题,比如现有系统中的场景知识库往往结构简单,对于动态交互和事件的建模能力有限,无法很好地适应场景的实时变化;在处理未检测到物体或需要更新场景时缺乏用户交互性,使得系统无法充分利用用户的知识和指导,限制了知识库的实时更新和扩展;以及对于场景中复杂的交互事件建模不足,无法准确捕捉人物与物体之间的动态关系和变化。
技术实现思路
1、为了解决上述技术问题,本发明提供了一种智能交互行为监测方法、系统、设备和存储介质,以能够解决现有模型多模态集成不足和知识库表达不灵活等问题,达到提高场景理解的准确性和灵活性,保证行为监测结果准确和高效的效果。
2、第一方面,本发明提供了一种智能交互行为监测方法,所述方法包括:
3、基于监测场景,采用视觉分析和语义提取,构建场景知识库,所述场景知识库包括实体属性数据和实体间关系数据;
4、采用预设更新方式,对所述场景知识库进行动态更新,所述预设更新方式包括自动化捕捉更新和人机交互提示更新;
5、响应于预先设置的监测指令被动态更新结果所触发,发出监测告警。
6、进一步地,所述基于监测场景,采用视觉分析和语义提取,构建场景知识库的步骤包括:
7、获取监测场景的静态图像,采用目标检测与跟踪算法对所述静态图像进行视觉分析,得到监测场景中实体检测结果;
8、将实体检测结果作为提示,采用大模型对实体的属性和实体间的关系进行补充和结构化处理,并采用语言表示方式将实体属性数据和实体间关系数据存储至场景知识库中。
9、进一步地,当采用自动化捕捉更新对所述场景知识库进行动态更新时,所述动态更新的步骤包括:
10、采用视觉算法对所述场景知识库进行实时动态更新;
11、采用大模型对所述场景知识库进行定时动态更新。
12、进一步地,所述采用视觉算法对所述场景知识库进行实时动态更新的步骤包括:
13、采用视觉算法对监测场景内的实体进行实时自动化捕捉,并根据自动化捕捉结果对所述场景知识库中的实体属性数据进行更新,所述实体属性数据包括物体位置数据和人体骨架点数据,所述视觉算法包括目标检测与跟踪算法和人体姿态估计算法;
14、根据人体姿态估计结果获取人体活动范围,得到感兴趣区域;
15、获取所述场景知识库中的物体边界框,根据物体边界框与感兴趣区域的重叠部分,得到感兴趣物体;
16、将所述感兴趣区域和所述感兴趣物体作为上下文,采用关系推理网络对实体间关系数据进行更新,所述实体间关系数据包括物体的位置关系、以及人与物体的交互关系。
17、进一步地,所述采用大模型对所述场景知识库进行定时动态更新的步骤包括:
18、在所述场景知识库的提示下,采用大模型定时对实体间的关系进行判断,根据判断结果对所述实体间关系数据进行更新。
19、进一步地,当采用人机交互提示更新对所述场景知识库进行动态更新时,所述动态更新的步骤包括:
20、根据用户的手指指示,在指示区域内进行物体分割,得到指示物体的视觉特征;
21、对用户的语音指示进行解析,得到指示物体的类别标签;
22、根据指示物体的视觉特征和类别标签,对所述场景知识库进行更新。
23、进一步地,所述响应于预先设置的监测指令被动态更新结果所触发,发出监测告警的步骤包括:
24、通过语言指令,更改并锁定待监测实体在所述场景知识库中的实体属性数据;
25、当锁定的实体属性数据被动态更新结果所触发,则发出监测告警。
26、第二方面,本发明提供了一种智能交互行为监测系统,所述系统包括:
27、场景知识库构建模块,用于基于监测场景,采用视觉分析和语义提取,构建场景知识库,所述场景知识库包括实体属性数据和实体间关系数据;
28、知识库动态更新模块,用于采用预设更新方式,对所述场景知识库进行动态更新,所述预设更新方式包括自动化捕捉更新和人机交互提示更新;
29、行为监测模块,用于响应于预先设置的监测指令被动态更新结果所触发,发出监测告警。
30、第三方面,本发明实施例还提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述方法的步骤。
31、第四方面,本发明实施例还提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述方法的步骤。
32、本发明提供了一种智能交互行为监测方法、系统、设备和存储介质。本发明通过综合利用视觉和语言模态,将场景的语义内涵进行语义提取和结构化组织,来构建多模态场景知识库,相于传统的单一模态方法,提高了场景理解的准确性和灵活性,并且视觉模态和语言模态的结合使得知识库具有自适应性更新的能力,能够实时响应场景的变化,从而更好地适应不同环境和需求,此外,本发明还提供了两种场景知识库的自动更新方式,有效实现了知识库的灵活扩展和更新。
1.一种智能交互行为监测方法,其特征在于,包括:
2.根据权利要求1所述的智能交互行为监测方法,其特征在于,所述基于监测场景,采用视觉分析和语义提取,构建场景知识库的步骤包括:
3.根据权利要求1所述的智能交互行为监测方法,其特征在于,当采用自动化捕捉更新对所述场景知识库进行动态更新时,所述动态更新的步骤包括:
4.根据权利要求3所述的智能交互行为监测方法,其特征在于,所述采用视觉算法对所述场景知识库进行实时动态更新的步骤包括:
5.根据权利要求3所述的智能交互行为监测方法,其特征在于,所述采用大模型对所述场景知识库进行定时动态更新的步骤包括:
6.根据权利要求1所述的智能交互行为监测方法,其特征在于,当采用人机交互提示更新对所述场景知识库进行动态更新时,所述动态更新的步骤包括:
7.根据权利要求1所述的智能交互行为监测方法,其特征在于,所述响应于预先设置的监测指令被动态更新结果所触发,发出监测告警的步骤包括:
8.一种智能交互行为监测系统,其特征在于,包括:
9.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。