本发明涉及视觉目标行为分析，尤其是涉及基于神经网络的全域视联感知系统及控制方法。
背景技术：
1、现有的视频监控系统虽然已经在安全监控、交通管理、公共安全等方面发挥了重要作用，但仍然存在一些缺陷和局限性，主要包括：视野限制：传统的监控系统通常受限于摄像头的安装位置和覆盖范围，无法提供全面的视角，容易产生监控盲区。人工监控效率低：传统的监控系统往往需要人工实时监控多个屏幕，这不仅耗时耗力，而且容易因人为疏忽而错过重要事件。数据处理能力有限：传统的视频监控系统在处理大量视频数据时，往往缺乏高效的数据分析和处理能力，难以快速提取有价值的信息。识别准确性不足：在没有智能分析技术的情况下，监控系统对事件的识别主要依赖于人工判断，这可能导致误报或漏报。响应速度慢：在紧急情况下，传统监控系统可能无法及时响应，因为它们通常需要人工干预来触发警报或采取行动。
技术实现思路
1、为了解决上述技术问题，本发明提供基于神经网络的全域视联感知系统及控制方法。采用如下的技术方案：
2、基于神经网络的全域视联感知系统，包括全域视联单元、行为分析单元、目标展示单元和目标控制器，全域视联单元用于获取目标区域的视觉画面数据和同步音频数据，行为分析单元的数据输入端与全域视联单元通信连接，基于神经网络对目标区域的视觉画面数据和同步音频数据进行目标特征识别和目标行为分析，目标展示单元的数据输入端分别与全域视联单元和行为分析单元的通信连接，将行为分析单元的目标特征识别数据和目标行为预测分析数据与视觉画面数据结合显示，所述目标控制器与目标展示单元通信连接，用于控制目标展示单元的显示内容。
3、通过采用上述技术方案，全域视联感知是指对监控区域的所有目标进行智能化感知，并可以基于感知结果进行控制展示，大幅提升监控系统的智能化程度，可以大幅提升监控区域的检索效率，解决了人工监控效率低的问题，对于明确的目标追踪需求，可以在录入需求后智能化地定位目标，实现目标监控追踪。
4、为了实现全域视联感知，采用全域视联单元来获取目标区域的视觉画面数据和同步音频数据，行为分析单元基于神经网络对目标区域的视觉画面数据和同步音频数据进行目标特征识别和目标行为分析，因为随着监控区域的增加，区域内的目标物可能一直在发生变化，采用神经网络能大幅提升目标特征的匹配速度，尽量减少因数据处理带来的视频流延迟时间，在算力允许的情况下，因目标特征识别和目标行为分析带来的时间延迟会低于0.2-0.5秒，在网络延迟小和合理的算力配置下，正常延迟控制在0.2秒，这在监控领域是被允许的，可以实现在目标控制器的控制下目标展示单元智能化地展示重点目标。
5、可选的，全域视联单元包括摄像头组、收音麦克风和数据处理芯片，所述摄像头组拍摄目标区域的视觉画面数据，收音麦克风收集目标区域的同步音频数据，所述数据处理芯片将视觉画面数据和同步音频数据基于时序打包，数据处理芯片与行为分析单元的数据输入端通信连接。
6、可选的，行为分析单元包括目标性质判断组件、生物行为分析组件和非生物行为分析组件，所述目标性质判断组件包括用于目标性质判断的第一神经网络芯片、第一视觉分析芯片、音频分析芯片和目标性质特征存储器，目标性质特征存储器与全域视联单元的数据处理芯片通信连接，目标性质特征存储器内存储常见目标视觉特征库和常见目标音频特征库，第一视觉分析芯片对摄像头组采集的视觉画面数据进行实时视觉特征提取，音频分析芯片对收音麦克风采集的同步音频数据进行实时音频特征提取，实时视觉特征数据和实时音频特征提取基于时序分别存储在目标性质特征存储器，第一神经网络芯片先基于神经网络、常见目标视觉特征库和音频分析芯片对实时视觉特征数据进行和同步音频数据进行目标特征识别，并将目标特征识别结果与目标展示单元交互，生物行为分析组件和非生物行为分析组件分别与目标性质判断组件交互通信，基于目标特征识别结果进行生物和非生物分类，再基于生物和非生物分类结果和实时视觉特征数据分别进行生物行为预测和非生物行为预测，并将预测结果与目标展示单元交互。
7、通过采用上述技术方案，行为分析单元的行为分析包括两个阶段，先需要对目标性质进行分析，常规场景下，例如市区场景下目标的性质主要包括行人、动物等生物；建筑物、道路、车辆等非生物，
8、对于目标性质的识别基于实时视觉特征数据和实时音频特征进行，第一神经网络芯片先基于神经网络和常见目标视觉特征库来进行第一次目标分类，常见目标视觉特征库内包括行人、动物等生物；建筑物、道路、车辆等非生物等常见的目标特征，采用标注好的目标视觉特征数据集来事先完成对神经网络的训练，再基于神经网络来快速地进行视觉目标特征分类，可以迅速地得到第一次目标特征识别，若第一次目标特征识别属于人、动物、车辆等具有声音特征的目标，还需要再基于同时间戳下的音频特征数据进行第二次音频特征识别，若第二次音频特征识别与第一次目标特征识别一致，则输出目标特征识别结果，再次进行第二次识别，若继续出现两次分类结果一致则输出目标特征识别结果，反之则报错。
9、对于识别的目标进行生物非生物分类能为后续控制显示指定对象提供更加准确的检索项；再对于识别出生物或非生物目标还需要进行行为分析。
10、可选的，生物行为分析组件包括第二视觉分析芯片、第二神经网络芯片和生物行为分析存储器，所述生物行为分析存储器与全域视联单元的数据处理芯片通信连接交互实时视觉特征数据，并与目标性质特征存储器通信连接交互目标特征识别数据，生物行为分析存储器存储生物行为特征数据，生物行为特征数据包括生物动作特征数据库和生物移动特征数据库，第二视觉分析芯片分析实时视觉特征数据得到基于相邻帧的行为特征，所述第二神经网络芯片基于行为特征数据、生物动作特征数据库和生物移动特征数据库得出对应生物目标的行为分析结果，并存储在生物行为分析存储器，生物行为分析存储器与目标展示单元交互生物目标行为分析结果数据。
11、通过采用上述技术方案，生物行为分析组件实际上采用目标特征识别类似的神经网络匹配数据库的解决方案，可以实现对生物行为分析，行为包括特征化的行为，例如对于人有跳舞、行走、慢跑、快跑等行为，对于动物也差不多，这些特征的智能化识别有助于智能监控场景的重点目标应用，例如可以在目标控制器录入查询在区域内快跑的人，生物行为结果就可以辅助实现快速目标。
12、可选的，第一神经网络芯片和第二神经网络芯片均集成基于多层感知器的神经网络，分别基于提前完成标注的数据进行训练，基于训练好的神经网络完成目标特征识别和目标行为特征分析任务。
13、可选的，非生物行为分析组件采用与生物行为分析组件一致的硬件结构，与目标展示单元交互非生物目标行为分析结果数据。
14、通过采用上述技术方案，非生物行为分析组件实现的功能和达到的目的均与生物行为分析组件类似，指标不过针对的是非生物，采用两套组件并行可以提升数据处理效率。
15、可选的，目标展示单元包括音视频处理器、显示器和视频流缓存器，所述视频流缓存器与行为分析单元通信连接，交互目标特征识别结果数据、生物目标行为分析结果数据、非生物目标行为分析结果数据、视觉画面数据和同步音频数据，音视频处理器基于时间流将视觉画面数据和同步音频数据组合形成新视频流记为vs，基于目标特征识别结果数据在vs中对应识别出特征的目标进行目标框处理，目标框记为tb1、tb2、……、tbn，在目标框的上半部划出标注区域，分别记为m1、m2、……、mn，标注区域用于文字标注，n代表识别出的目标数量，按照识别出的顺序标号，并将目标框与标注区域进行关联后再与对应目标进行动作跟踪处理，再基于目标特征识别结果数据、生物目标行为分析结果数据、非生物目标行为分析结果数据对标注区域进行文字标注填充，处理完成的视频流记为vsx存储在视频流缓存器，显示器与视频流缓存器通信连接，显示处理后vsx。
16、通过采用上述技术方案，实现视频流在框选区域加文字标注通常涉及以下几个步骤：视频流获得：首先，需要获得视频流。这可以通过各种库或框架来完成，例如opencv、ffmpeg或directshow，与行为分析单元通信即可获得视频流；
17、目标框和标注区域：接着，需要确定视频流中要框选的区域。这可以通过图像处理技术实现，如边缘检测、颜色识别或运动检测等。
18、添加文字：一旦确定了标注区域，就可以在标注区域上添加文字。这可以通过图形库如opengl、directx或简单的图像库如pillow（python）来完成。
19、渲染和输出：最后，将框选区域和文字渲染到视频流上，并输出结果。输出可以保存为新的视频流vsx，新的视频流vsx为后续的智能控制显示提供数据。
20、在python中，使用opencv库来捕捉和处理视频流，并使用pillow库来添加文字。
21、可选的，标注区域的标注项包括目标种类，目标分类和目标当前动作。
22、通过采用上述技术方案，标注区域尽量能标注出与目标关联度最大的内容，目标种类属于必须标注项目，目标分类和目标当前动作有助于后续录入关键词进行目标检索。
23、可选的，目标控制器包括工控计算机和麦克风，所述工控计算机与目标展示单元的显示器通信连接，控制显示器显示vsx的指定区域，工控计算机预装语音识别软件、语义识别软件和python环境。
24、通过采用上述技术方案，采用工控计算机和麦克风作为工作人员的目标控制器，可以通过键盘等外设录入关键词还可以采用麦克风配合语音识别软件实现语音录入。
25、基于神经网络的全域视联感知系统的控制方法，采用基于神经网络的全域视联感知系统进行全域视联感知，通过工控计算机的输入外设或麦克风录入重点关注目标数据，基于语义识别软件将录入的重点关注目标数据形成关键词，根据重点关注目标的关键词检索vsx中的标注项，检索语义最为接近的标注项作为重点关注目标，控制显示器以重点关注目标为中心显示vsx。
26、通过采用上述技术方案，可以实现区域范围内的智能化监控，对于录入的重点关注目标可以智能化地快速定位并追踪显示。
27、综上所述，本发明包括以下至少一种有益技术效果：
28、本发明能提供基于神经网络的全域视联感知系统及控制方法，采用全域视联单元来获取目标区域的视觉画面数据和同步音频数据，行为分析单元基于神经网络对目标区域的视觉画面数据和同步音频数据进行目标特征识别和目标行为分析，采用神经网络能大幅提升目标特征的匹配速度，尽量减少因数据处理带来的视频流延迟时间，可以实现在目标控制器的控制下实现区域范围内的智能化监控，对于录入的重点关注目标可以智能化地快速定位并追踪显示，实现智能化的全域视联感知。
29、附图说明
30、图1是本发明基于神经网络的全域视联感知系统的部件连接原理示意图；
31、图2是本发明具体实施例的效果示意图；
32、图3是本发明具体实施例的效果示意图。
1.基于神经网络的全域视联感知系统，其特征在于：包括全域视联单元（1）、行为分析单元（2）、目标展示单元（3）和目标控制器（4），全域视联单元（1）用于获取目标区域的视觉画面数据和同步音频数据，行为分析单元（2）的数据输入端与全域视联单元（1）通信连接，基于神经网络对目标区域的视觉画面数据和同步音频数据进行目标特征识别和目标行为分析，目标展示单元（3）的数据输入端分别与全域视联单元（1）和行为分析单元（2）的通信连接，将行为分析单元（2）的目标特征识别数据和目标行为预测分析数据与视觉画面数据结合显示，所述目标控制器（4）与目标展示单元（3）通信连接，用于控制目标展示单元（3）的显示内容。
2.根据权利要求1所述的基于神经网络的全域视联感知系统，其特征在于：全域视联单元（1）包括摄像头组（11）、收音麦克风（12）和数据处理芯片（13），所述摄像头组（11）拍摄目标区域的视觉画面数据，收音麦克风（12）收集目标区域的同步音频数据，所述数据处理芯片（13）将视觉画面数据和同步音频数据基于时序打包，数据处理芯片（13）与行为分析单元（2）的数据输入端通信连接。
3.根据权利要求2所述的基于神经网络的全域视联感知系统，其特征在于：行为分析单元（2）包括目标性质判断组件、生物行为分析组件和非生物行为分析组件（28），所述目标性质判断组件包括用于目标性质判断的第一神经网络芯片（21）、第一视觉分析芯片（22）、音频分析芯片（23）和目标性质特征存储器（24），目标性质特征存储器（24）与全域视联单元（1）的数据处理芯片（13）通信连接，目标性质特征存储器（24）内存储常见目标视觉特征库（241）和常见目标音频特征库（242），第一视觉分析芯片（22）对摄像头组（11）采集的视觉画面数据进行实时视觉特征提取，音频分析芯片（23）对收音麦克风（12）采集的同步音频数据进行实时音频特征提取，实时视觉特征数据和实时音频特征提取基于时序分别存储在目标性质特征存储器（24），第一神经网络芯片（21）先基于神经网络、常见目标视觉特征库（241）和音频分析芯片（23）对实时视觉特征数据进行和同步音频数据进行目标特征识别，并将目标特征识别结果与目标展示单元（3）交互，生物行为分析组件和非生物行为分析组件（28）分别与目标性质判断组件交互通信，基于目标特征识别结果进行生物和非生物分类，再基于生物和非生物分类结果和实时视觉特征数据分别进行生物行为预测和非生物行为预测，并将预测结果与目标展示单元（3）交互。
4.根据权利要求3所述的基于神经网络的全域视联感知系统，其特征在于：生物行为分析组件包括第二视觉分析芯片（25）、第二神经网络芯片（26）和生物行为分析存储器（27），所述生物行为分析存储器（27）与全域视联单元（1）的数据处理芯片（13）通信连接交互实时视觉特征数据，并与目标性质特征存储器（24）通信连接交互目标特征识别数据，生物行为分析存储器（27）存储生物行为特征数据，生物行为特征数据包括生物动作特征数据库（271）和生物移动特征数据库（272），第二视觉分析芯片（25）分析实时视觉特征数据得到基于相邻帧的行为特征，所述第二神经网络芯片（26）基于行为特征数据、生物动作特征数据库（271）和生物移动特征数据库（272）得出对应生物目标的行为分析结果，并存储在生物行为分析存储器（27），生物行为分析存储器（27）与目标展示单元（3）交互生物目标行为分析结果数据。
5.根据权利要求4所述的基于神经网络的全域视联感知系统，其特征在于：第一神经网络芯片（21）和第二神经网络芯片（26）均集成基于多层感知器的神经网络，分别基于提前完成标注的数据进行训练，基于训练好的神经网络完成目标特征识别和目标行为特征分析任务。
6.根据权利要求4所述的基于神经网络的全域视联感知系统，其特征在于：非生物行为分析组件（28）采用与生物行为分析组件一致的硬件结构，与目标展示单元（3）交互非生物目标行为分析结果数据。
7.根据权利要求6所述的基于神经网络的全域视联感知系统，其特征在于：目标展示单元（3）包括音视频处理器（31）、显示器（32）和视频流缓存器（33），所述视频流缓存器（33）与行为分析单元（2）通信连接，交互目标特征识别结果数据、生物目标行为分析结果数据、非生物目标行为分析结果数据、视觉画面数据和同步音频数据，音视频处理器（31）基于时间流将视觉画面数据和同步音频数据组合形成新视频流记为vs，基于目标特征识别结果数据在vs中对应识别出特征的目标进行目标框处理，目标框记为tb1、tb2、……、tbn，在目标框的上半部划出标注区域，分别记为m1、m2、……、mn，标注区域用于文字标注，n代表识别出的目标数量，按照识别出的顺序标号，并将目标框与标注区域进行关联后再与对应目标进行动作跟踪处理，再基于目标特征识别结果数据、生物目标行为分析结果数据、非生物目标行为分析结果数据对标注区域进行文字标注填充，处理完成的视频流记为vsx存储在视频流缓存器（33），显示器（32）与视频流缓存器（33）通信连接，显示处理后vsx。
8.根据权利要求7所述的基于神经网络的全域视联感知系统，其特征在于：标注区域的标注项包括目标种类，目标分类和目标当前动作。
9.根据权利要求8所述的基于神经网络的全域视联感知系统，其特征在于：目标控制器（4）包括工控计算机（41）和麦克风（42），所述工控计算机（41）与目标展示单元（3）的显示器（32）通信连接，控制显示器（32）显示vsx的指定区域，工控计算机（41）预装语音识别软件、语义识别软件和python环境。
10.基于神经网络的全域视联感知系统的控制方法，其特征在于：采用权利要求1-9任一项所述的基于神经网络的全域视联感知系统进行全域视联感知，通过工控计算机（41）的输入外设或麦克风（42）录入重点关注目标数据，基于语义识别软件将录入的重点关注目标数据形成关键词，根据重点关注目标的关键词检索vsx中的标注项，检索语义最为接近的标注项作为重点关注目标，控制显示器（32）以重点关注目标为中心显示vsx。
