本发明涉及计算，尤其涉及一种基于动态图注意力的物联网时序数据异常检测方法及系统。
背景技术：
1、随着自动驾驶汽车、智能建筑、水处理和分配厂等信息物理系统中互连设备和传感器的快速增长，物联网的出现进一步推动网络物理系统应用于各种任务，越来越需要监控这些设备免受攻击，对于电网、通信网络等关键基础设施尤为重要。物联网可以利用区块链、边缘计算、深度学习等方法实现目标监控、定位、识别，用户隐私安全存储等功能。而现如今数据量呈现指数型增长，面对这些海量的数据，物联网的完善能极大促进无线传感器网络未来的应用与发展。因此对监控中的数据进行异常检测是十分有必要的，即通过分析目标监控数据的异常值来分析监控对象的异常行为，如何准确、高效地进行异常检测也成为物联网安全领域的热点问题。
2、异常检测在很多领域都具有广泛的应用，包括网络安全、医学、机器视觉、统计学、信用卡盗刷、超大金额支出等。异常检测算法主要通过观察正常事件的未标记数据集，从而学会检测异常或在异常事件发生时发出危险信号。由于传感器收集的数据中缺乏异常的标签，同时异常往往是不可预测和多样化的，通常把异常检测视为无监督学习问题。物联网中数据的存在形式绝大多数是以多元时间序列作为主要的存在，时间依赖是物联网数据的一个非常重要的特性，对数据的预测和分析有很大的影响，因此，物联网异常检测的本质是时间序列异常检测。基于此，我们将重点放在无监督环境下的时间序列异常检测上。
3、在机器学习之前，一般采用传统的时间序列算法构建统计模型，也取得了一些成果，但如今的网络物理系统产生的多元时间序列是高度复杂的， 而且内在相关性是非线性，这些方法只是简单的对传感器之间的关系进行建模，仅能捕获线性关系。因此，近年来研究人员开始利用基于深度学习的技术对高维数据进行异常检测，从而开发出更智能和效益高的方法来识别异常。比如：单类支持向量机ocsvm、岭回归、循环神经网络rnn和长短期记忆lstm等无监督异常检测算法构建模型。这些深度学习方法能够捕捉时间序列数据中的长期依赖关系，适用于处理具有时序性的异常数据。但由于内部结构相对较复杂，因此训练效率很低，计算量也会很大，很耗时。并且对于异常数据的分布假设较弱，容易受到正常数据的影响，可能导致误检和漏检的问题。特别是这些模型训练精度还不够高，因此在优化模型性能方面还有待加强。近年来随着深度学习技术的进一步发展，注意力transformer和图神经网络gnn在许多领域取得了一系列重要的成果。
4、如今，transformer自注意网络的新应用已经在计算机视觉、图像处理和自然语言处理等研究领域得到了认可、发表和成功使用。它的结构包括自注意力机制、位置编码、归一化add&normalize、全连接层feed forward等模块，这些模块相互协作，能通过使用自注意力机制实现快速的并行运算，并且能够更好地处理序列数据和提取时间特征。而图神经网络gnn通过学习图结构的时间表示，可以同时考虑数据的空间和时间维度，建模时空特征方面具有更强的能力。因此，我们考虑将注意力transformer与图神经网络gnn相融合来完成时间序列异常检测任务。近年图神经网络gnn得到了广泛的研究，并成功地完成了节点分类、链接预测和图分类等困难的机器学习任务，这得益于在有效学习图表示中通过消息传递实现的高度表达能力。图神经网络gnn能同时学到时间和空间上的依赖性、展现关系复杂的高维数据，且能被广泛用于复杂系统的建模。基于此，图神经网络gnn用于对多变量时间序列数据进行建模是一种有前途的方式。它是以图结构数据作为输入，若应用于多元时间序列的异常检测，需要将时间序列中的复杂关系转换为图并与模型一起学习。
5、时间序列异常检测的研究已经进行了几十年，是一个活跃的研究领域，在机器学习和数据挖掘中越来越受到关注。同时也提出了很多做时间序列异常检测的模型。现有的基于统计的方法及基于深度学习的方法的研究现状如下：
6、1、传统的统计学方法主要运用在单特征的时间序列数据上，并且大多都是线性方法。比如使用差分整合移动平均自回归arima模型来对时间序列数据进行预测。chen等人提出采用孤立森林和椭圆包络线进行地球化学异常检测。这些方法对短期线性时序数据预测效果比较好，但在长期时序数据预测方面，效果不是太理想。随着时序数据越来越多维化，越来越复杂，这些方法现在已经不能满足当下的需要，而由于深度神经网络强大的表示能力，深度学习方法受到了广泛的关注。
7、2、目前，两种流行的深度学习模型卷积神经网络cnn和循环神经网络rnn被广泛用于异常检测。这些模型通常使用长短期记忆lstm层和堆叠的卷积神经网络cnn层来从时间序列中提取特征，然后应用指数归一化softmax层来预测标签。为了更准确地预测，已经提出了长短期记忆变分自编码器lstm-vae模型，该模型采用长短期记忆lstm骨干进行时间建模，并采用变分自动编码器变分自编码器vae进行重建。而多元长短期记忆全卷积网络mlstm-fcn使用长短期记忆lstm层和堆叠的卷积神经网络cnn层沿着挤压和激发块来生成潜在特征。任务自适应映射网络tapnet还构建了长短期记忆lstm层和堆叠的卷积神经网络cnn层。双向循环神经网络birnn模型通过在一般的循环神经网络rnn上增加一个方向来提高模型的预测精度。然而，上述模型的局限性是显而易见的：它们假设时间序列变量之间具有相同的影响，因此它们不能明确地建模变量之间的成对依赖关系，且模型精度不够高。
8、在传统的异常检测中，注意力transformer可以用来捕捉数据的全局依赖和上下文信息，通过在注意力transformer中引入自注意力机制，模型能够更关注重要的节点和边，从而捕捉异常的模式和特征。而图神经网络可以用来建模数据之间的关系和依赖。两者都有各自的优势，图注意力graph transformer提供了一个例子，说明如何将注意力transformer架构推广到图，该方法在注意力transformer中引入了图的拓朴结构属性，使模型具有高维空间上的结构位置先验。使用拉普拉斯特征向量作为绝对编码，并在每个节点的紧邻区域上计算注意力，而不是在整个图上，结合了注意力transformer的核心(全局关注)和图神经网络gnn的核心(考虑图的拓扑属性)。而存储区域网络san与之类似但却是在全图上计算注意力，同时区分真实边缘和创建的边缘。mialon等人提出了一种通过图上的内核进行相对编码以偏置自注意力计算，然后能够通过选择核函数将位置信息并入注意力transformer中。以上他们都明确地结合了图结构，从而设计一个图注意力transformer的架构，考虑到本地和全球的信息。
9、由于在物联网环境下产生的时间序列数据量庞大，且他们的维度关系特征复杂，现有异常检测方法仍然存在下列不足：①预测精度仍然不够高。②过去的方法都是以静态地挖掘时序中的特征，而忽略了时间序列是随时间动态演变的。
技术实现思路
1、本发明的目的就在于为了解决上述问题设计了一种基于动态图注意力的物联网时序数据异常检测方法及系统。
2、本发明通过以下技术方案来实现上述目的：
3、基于动态图注意力的物联网时序数据异常检测方法，包括：
4、s1、构建初始的异常检测模型，异常检测模型包括输入层、线性分支、非线性分支和输出层，输入层的输出作为线性分支和非线性分支的输入，线性分支和非线性分支的输出均作为输出层的输入，输出层用于根据线性分支的输出和非线性分支的输出分析最终的预测结果，非线性分支从输入到输出依次包括带有异常注意的特征提取模块和动态图神经网络模块，特征提取模块用于提取输入数据的时间特征矩阵，动态图神经网络模块用于对时间特征矩阵进行动态建模和预测得到非线性预测结果；
5、s2、获取训练数据集；
6、s3、利用训练数据集对初始的异常检测模型进行训练优化，得到优化后的异常检测模型；
7、s4、获取待预测物联网时序数据；
8、s5、利用优化后的异常检测模型分析待预测物联网时序数据的检测结果。
9、基于动态图注意力的物联网时序数据异常检测系统，包括：
10、储存器；储存器用于储存程序；
11、执行器；执行器用于执行储存器中储存的程序，执行器执行储存器中储存的程序时，实现如上述的基于动态图注意力的物联网时序数据异常检测方法。
12、本发明的有益效果在于：本方法解决了物联网环境下多变量时间序列异常检测的问题；克服了传统注意力transformer和图神经网络gnn的缺陷，提出了一种具有异常注意的注意力transformer和图神经网络gnn参数的有效模型；本异常检测模型在实证研究中取得了先进的结果，提高了异常检测的精度。
1.基于动态图注意力的物联网时序数据异常检测方法，其特征在于，包括：
2.根据权利要求1所述的基于动态图注意力的物联网时序数据异常检测方法，其特征在于，特征提取模块包括从输入到输出依次连接m个特征提取网络，每个特征提取网络包括异常注意层、第一归一化层、前馈层和第二归一化层，异常注意层采用带有h个头的多头注意机制，多头注意机制用于对每个时间点的先验关联和序列关联进行建模，输入层的输出作为异常注意层的输入，异常注意层的输出和输入层的输出均作为第一归一化层的输入，第一归一化层的输出作为前馈层的输入，前馈层的输出和第一归一化层的输出均作为第二归一化层的输入，m和h均为大于1的正整数。
3.根据权利要求2所述的基于动态图注意力的物联网时序数据异常检测方法，其特征在于，异常注意层包括先验关联分支和序列关联分支，先验关联分支使用高斯核来计算相对时间距离的先验，序列关联分支用于从原始序列中学习关联关系，在先验关联分支和序列关联分支之间采用了极大极小策略，极大极小策略的最小化阶段是驱动一个先验关联来模拟从原始序列中学到的序列关联；极大极小策略的最大化阶段是对序列关联进行优化，扩大关联差异。
4.根据权利要求3所述的基于动态图注意力的物联网时序数据异常检测方法，其特征在于，异常注意层的先验关联分支计算相对时间距离的先验，再通过线性投影将输入节点特征x投影到查询q、键k和值v矩阵，设m个特征提取网络，层长为n，输入时间序列，则第m层中的异常注意表示为：
5.根据权利要求1-4任一项所述的基于动态图注意力的物联网时序数据异常检测方法，其特征在于，动态图神经网络模块包括从输入到输出依次连接图结构学习层和多个神经网络块，图结构学习层用于捕获时间序列的时空特征自适应生成邻接矩阵，每个神经网络块从输入到输出包括图神经网络gnn和池化层，图神经网络gnn用于对时空关系进行建模，池化层用于对图神经网络gnn进行软聚类。
6.根据权利要求5所述的基于动态图注意力的物联网时序数据异常检测方法，其特征在于，动态图神经网络模块对时间特征矩阵进行动态建模和预测得到非线性预测结果具体为：图结构学习层学习到的邻接矩阵a(i)表示为：
7.根据权利要求1所述的基于动态图注意力的物联网时序数据异常检测方法，其特征在于，线性分支为自回归模型。
8.根据权利要求7所述的基于动态图注意力的物联网时序数据异常检测方法，其特征在于，在s3中，训练优化初始的异常检测模型具体包括：
9.根据权利要求1所述的基于动态图注意力的物联网时序数据异常检测方法，其特征在于，在s5中，优化后的异常检测模型分析待预测物联网时序数据的非线性分支的结果为，线性分支的结果为，将非线性分支的结果和线性分支的结果进行加权得到最终结果，表示为：
10.基于动态图注意力的物联网时序数据异常检测系统，其特征在于，包括：
