本发明属于图像数据处理的,尤其涉及一种基于云边协同的网关数据处理方法及系统。
背景技术:
1、物联网是指物联网(internet of things,简称iot)是一种通过互联网连接各种物理设备,使它们能够收集和交换数据的技术。这些物理设备可以是各种日常用品,如家用电器、汽车、工业机器等,它们通过传感器、软件和网络连接,能够实现相互之间的通信和数据交换,从而实现智能化、自动化的功能。
2、物联网技术的发展使得各种设备能够实现远程监控、自动化控制、数据采集和分析等功能。通过物联网,人们可以更方便地管理和控制各种设备,提高生产效率,改善生活质量,甚至创造全新的商业模式。
3、然而,在大型物联网系统中,例如:智能水务物联网系统或智能充电桩物联网系统中,由于边缘设备数量较大,产生大量的待处理数据,而大量的待处理数据往往容易导致云端设备处理时长较长或宕机,故如何分担云端设备的处理负载,成了一个亟需解决的技术问题。
技术实现思路
1、有鉴于此,本发明实施例提供了一种基于云边协同的网关数据处理方法及系统,以解决大量的待处理数据往往容易导致云端设备处理时长较长或宕机的技术问题。
2、本发明实施例的第一方面提供了一种基于云边协同的网关数据处理方法,所述网关数据处理方法应用于物联网监测系统,所述物联网监测系统包括云端设备、网关设备和摄像头,所述一种基于云边协同的网关数据处理方法包括:
3、获取所述摄像头采集的原始图像和预存的标准图像;
4、将所述原始图像和所述标准图像进行逐像素比对,得到多个连续的差异像素点;所述差异像素点是指所述原始图像和所述标准图像中相同像素位置的像素值差值大于第一阈值的像素点;
5、若多个连续的差异像素点的像素数量大于第二阈值,则提取所述原始图像中的第一平均灰度值和第一灰度值中位数,提取所述标准图像中的第二平均灰度值和第二灰度值中位数;
6、根据所述第一平均灰度值、所述第一灰度值中位数、所述第二平均灰度值、所述第二灰度值中位数和所述像素数量,计算差异评分;
7、若所述差异评分大于第三阈值,则将所述原始图像发送至所述云端设备;所述云端设备用于对所述原始图像进行异常识别,并触发警报流程。
8、进一步地,所述根据所述第一平均灰度值、所述第一灰度值中位数、所述第二平均灰度值、所述第二灰度值中位数和所述像素数量,计算差异评分的步骤包括:
9、将所述第一平均灰度值、所述第一灰度值中位数、所述第二平均灰度值、所述第二灰度值中位数和所述像素数量代入预设公式,得到所述差异评分;
10、所述预设公式为:
11、;
12、其中,,,;
13、其中,表示所述差异评分,表示所述第一平均灰度值,表示所述第一灰度值中位数,表示所述第二平均灰度值,表示所述第二灰度值中位数,表示所述像素数量,表示差异强度权重,和表示调整因子。
14、进一步地,在所述将所述原始图像数据和所述标准图像进行逐像素比对,得到多个连续的差异像素点的步骤之后,还包括:
15、若多个连续的差异像素点的像素数量不大于第二阈值,则返回执行所述获取所述摄像头采集的原始图像和预存的标准图像的步骤以及后续步骤步骤。
16、进一步地,在所述若所述差异评分大于第三阈值,则将所述原始图像发送至所述云端设备的步骤之后,还包括:
17、接收所述网关设备发送的原始图像;
18、将所述原始图像输入异常识别模型,得到由所述异常识别模型输出的识别结果;
19、若所述识别结果为异常,则向所述网关设备发送警报指令,并向用户终端推送警报信息;
20、所述网关设备在接收到警报指令后,向警报装置发送控制指令。
21、进一步地,所述将所述原始图像输入异常识别模型,得到由所述异常识别模型输出的识别结果的步骤包括:
22、将原始图像等分切割为四个分区图像;
23、按照多个分割尺度,分别将所述分区图像等分切割为多个子图像区域,得到多个子图像区域对应的图像坐标;
24、将子图像区域线性转换为嵌入向量,并将四个分区图像各自对应的多个嵌入向量分别输入特征提取层,得到特征提取层输出的特征数据;
25、将同一个特征提取层输出的多个分割尺度各自对应的特征数据进行下采样融合,得到融合特征数据;
26、根据融合特征数据与所述分区图像的对应关系,将多个融合特征数据组合得到目标特征数据;
27、将所述目标特征数据输入全局特征提取层,得到最终特征数据;
28、将所述最终特征数据输入全连接层和分类器,得到所述识别结果。
29、进一步地,所述特征提取层包括多个transformer块,每个transformer块包括多个transformer层,每个所述transformer层用于处理不同的嵌入向量;
30、其中,每个所述transformer块采用残值连接结构。
31、进一步地,所述将子图像区域线性转换为嵌入向量,并将四个分区图像各自对应的多个嵌入向量分别输入特征提取层,得到特征提取层输出的特征数据的步骤包括:
32、将每个分区图像对应的多个嵌入向量输入至第一transformer块,得到多个嵌入向量各自对应的第一特征数据;
33、将多个子图像区域对应的图像坐标向预设方向和预设步长移动,得到多个嵌入向量各自对应的新图像坐标;
34、根据所述第一特征数据和所述嵌入向量之间的对应关系,提取多个所述新图像坐标各自对应的第二特征数据;其中,所述第二特征数据中的空白特征值由特定数值填充;
35、将每个新图像坐标各自对应的第二特征数据输入至第二transformer块,得到多个嵌入向量各自对应的第三特征数据;
36、将第三特征数据作为第一特征数据,重复执行所述将多个子图像区域对应的图像坐标向预设方向和步长移动,得到多个嵌入向量各自对应的新图像坐标的步骤以及后续步骤,直至所有transformer层处理完毕,输出所述特征数据。
37、本发明实施例的第二方面提供了一种基于云边协同的网关数据处理装置,包括:
38、获取单元,用于获取摄像头采集的原始图像和预存的标准图像;
39、比对单元,用于将所述原始图像和所述标准图像进行逐像素比对,得到多个连续的差异像素点;所述差异像素点是指所述原始图像和所述标准图像中相同像素位置的像素值差值大于第一阈值的像素点;
40、提取单元,用于若多个连续的差异像素点的像素数量大于第二阈值,则提取所述原始图像中的第一平均灰度值和第一灰度值中位数,提取所述标准图像中的第二平均灰度值和第二灰度值中位数;
41、计算单元,用于根据所述第一平均灰度值、所述第一灰度值中位数、所述第二平均灰度值、所述第二灰度值中位数和所述像素数量,计算差异评分;
42、发送单元,用于若所述差异评分大于第三阈值,则将所述原始图像发送至云端设备;所述云端设备用于对所述原始图像进行异常识别,并触发警报流程。
43、本发明实施例的第三方面提供了一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述第一方面所述方法的步骤。
44、本发明实施例的第四方面提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述第一方面所述方法的步骤。
45、本发明实施例的第五方面提供了一种物联网监测系统,所述物联网监测系统包括云端设备、网关设备和摄像头;
46、所述摄像头用于采集原始图像;
47、所述网关设备用于获取所述摄像头采集的原始图像和预存的标准图像;
48、所述网关设备用于将所述原始图像和所述标准图像进行逐像素比对,得到多个连续的差异像素点;所述差异像素点是指所述原始图像和所述标准图像中相同像素位置的像素值差值大于第一阈值的像素点;
49、所述网关设备用于若多个连续的差异像素点的像素数量大于第二阈值,则提取所述原始图像中的第一平均灰度值和第一灰度值中位数,提取所述标准图像中的第二平均灰度值和第二灰度值中位数;
50、所述网关设备用于根据所述第一平均灰度值、所述第一灰度值中位数、所述第二平均灰度值、所述第二灰度值中位数和所述像素数量,计算差异评分;
51、所述网关设备用于若所述差异评分大于第三阈值,则将所述原始图像发送至所述云端设备;
52、所述云端设备用于对所述原始图像进行异常识别,并触发警报流程。
53、本发明实施例与现有技术相比存在的有益效果是:本技术通过获取所述摄像头采集的原始图像和预存的标准图像;将所述原始图像和所述标准图像进行逐像素比对,得到多个连续的差异像素点;所述差异像素点是指所述原始图像和所述标准图像中相同像素位置的像素值差值大于第一阈值的像素点;若多个连续的差异像素点的像素数量大于第二阈值,则提取所述原始图像中的第一平均灰度值和第一灰度值中位数,提取所述标准图像中的第二平均灰度值和第二灰度值中位数;根据所述第一平均灰度值、所述第一灰度值中位数、所述第二平均灰度值、所述第二灰度值中位数和所述像素数量,计算差异评分;若所述差异评分大于第三阈值,则将所述原始图像发送至所述云端设备;所述云端设备用于对所述原始图像进行异常识别,并触发警报流程。在上述方案中,由于网关设备无法承担较大算力需求的异常识别,故在将图像数据发送至云端设备前,通过对图像进行预处理,判断异常概率(通过差异评分进行确定)。仅当识别到的差异评分超过设定的阈值时,才会将图像数据发送至云端设备进行进一步的处理。差异评分未超过设定的阈值时,则无需云端设备处理。这种方法不仅减轻了云端设备的处理负载,避免了非必要的数据传输,从而提高了整个系统的响应速度和效率。通过智能化的图像处理和巧妙的负载分配机制,有效提升了监控系统在异常识别准确性、处理效率和响应速度方面的性能。
1.一种基于云边协同的网关数据处理方法,其特征在于,所述网关数据处理方法应用于物联网监测系统,所述物联网监测系统包括云端设备、网关设备和摄像头,所述一种基于云边协同的网关数据处理方法包括:
2.如权利要求1所述的一种基于云边协同的网关数据处理方法,其特征在于,所述根据所述第一平均灰度值、所述第一灰度值中位数、所述第二平均灰度值、所述第二灰度值中位数和所述像素数量,计算差异评分的步骤包括:
3.如权利要求1所述的一种基于云边协同的网关数据处理方法,其特征在于,在所述将所述原始图像数据和所述标准图像进行逐像素比对,得到多个连续的差异像素点的步骤之后,还包括:
4.如权利要求1所述的一种基于云边协同的网关数据处理方法,其特征在于,在所述若所述差异评分大于第三阈值,则将所述原始图像发送至所述云端设备的步骤之后,还包括:
5.如权利要求4所述的一种基于云边协同的网关数据处理方法,其特征在于,所述将所述原始图像输入异常识别模型,得到由所述异常识别模型输出的识别结果的步骤包括:
6.如权利要求5所述的一种基于云边协同的网关数据处理方法,其特征在于,所述特征提取层包括多个transformer块,每个transformer块包括多个transformer层,每个所述transformer层用于处理不同的嵌入向量;
7.如权利要求6所述的一种基于云边协同的网关数据处理方法,其特征在于,所述将四个分区图像各自对应的多个嵌入向量分别输入特征提取层,得到特征提取层输出的特征数据的步骤包括:
8.一种基于云边协同的网关数据处理装置,其特征在于,所述一种基于云边协同的网关数据处理装置包括:
9.一种终端设备,其特征在于,所述设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的电池状态预警程序,所述电池状态预警程序配置为实现如权利要求1至7中任一项所述的电池状态预警方法的步骤。
10.一种物联网监测系统,其特征在于,所述物联网监测系统包括云端设备、网关设备和摄像头;
