本发明属于人工智能中智能运维的，具体涉及一种应用于aiops的时序序列异常数据检测方法。
背景技术：
1、随着经济、科技的快速发展，it基础设施日趋复杂。云计算、微服务、容器等技术的发展，使it系统变得极其复杂，传统的运维方式已经很难有效管理这些庞大的系统，这促进了aiops(algorithm it operations)的出现。运维系统产生的日志、指标、事件等运维数据井喷式增长，人工很难有效分析这些数据，借助机器学习和人工智能技术，可以自动化执行许多重复性高的运维工作，大大提高运维效率，降低人工运维成本，实现自动化分析。
2、目前aiops异常检测从研究到落地存在一个很棘手的问题，1.样本存在不均衡的情况，异常数据较少。2.不同业务异常数据种类不同。3.异常数据收集成本高等问题。4.使用传统的统计学方案，如同比、环比等误报多等问题。使用深度学习、机器学习监督分类学习方式进行预测，也难以获取一个很好的效果。
3、从监控体系可以发现，绝大多数监控数据均为时序数据，时序数据的监控在公司故障发现过程中扮演着不可忽视的角色。然而从海量的时序数据指标中可以发现，指标种类繁多、关系复杂。在指标本身的特点上，有周期性、规律突刺、整体抬升和下降、低峰期等特点，在影响因素上，有节假日、临时活动、天气等因素。原有监控系统的固定阈值类监控策略想要覆盖上述种种场景，变得越来越困难，并且指标数量众多，在策略配置和优化运营上，人力成本将成倍增长。
4、如申请公开号为cn115952059a的专利公开了一种运维异常值的识别方法、装置、智能运维系统及存储介质。该方法包括：获取运维差异数据，运维差异数据包括至少一个差异值集合；对于差异值集合，分别计算第一差异子集的交叉熵和第二差异子集的交叉熵、以及第一差异子集的类内方差和第二差异子集的类内方差；根据与阈值对应的第一差异子集的交叉熵、第二差异子集的交叉熵、第一差异子集的类内方差和第二差异子集的类内方差，计算得到与阈值对应的类间方差；根据类间方差集合确定最小类间方差值，并确定最小类间方差值对应的最佳阈值，根据最佳阈值确定运维差异数据中的运维异常值。该申请能够省去对待检测数据进行预设规律的统计假设，识别准确率高、复用性好。
5、如申请公开号为cn115859203a的专利公开了一种企业智能运维kpi数据异常检测及根因定位方法，包括以下步骤：获取kpi训练数据集；采用层次凝聚聚类方法对所述kpi训练数据集中的kpi训练数据进行类别标识；利用标识后的所述kpi训练数据对ce模型进行训练，并将待检测数据输入完成训练的所述ce模型进行聚类；基于多种无监督模型提取的异常值分数和kpi训练数据集训练lightgbm模型，并利用所述lightgbm模型对待检测数据集进行异常检测；根据改进的广义潜在分数对所述待检测数据集中任一异常数据进行异常根因定位；其中，所述ce模型为以cnn模型为基础加入embedding层的改进模型。该发明能够大幅度提升kpi数据异常检测及根因定位效率与准确度。
6、以上专利都存在本背景技术提出的问题：需要搜集大量负样本数据，而异常数据的种类较多，真实线上场景的异常数据量也较少，同时收集采集成本较高。
7、公开于该背景技术部分的信息仅仅旨在增加对本发明的总体背景的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域普通技术人员所公知的现有技术。
技术实现思路
1、本发明所要解决的技术问题是克服现有技术的缺陷，提供一种aiops领域的时序序列异常检测方法，使用自动化回归方式结合自动化阈值方案，统计学的方法以及曲线相似度匹配的方法来进行异常点检测，本方案不需要人工收集大量的异常数据，即可完成异常数据的检测。
2、为解决上述技术问题，本发明提供如下技术方案：一方面，本发明提供一种应用于aiops的时序序列异常数据检测方法，包括以下步骤：
3、s1：收集历史时序序列数据；
4、s2：对所述历史时序序列数据进行预处理；
5、s3：训练时序序列回归模型；
6、s4：进行时序序列数据预测并计算判定异常数据的动态阈值；
7、s5：根据所述动态阈值进行异常数据预检测；
8、s6：进行异常数据确认和异常报警与数据回流。
9、作为本发明所述应用于aiops的时序序列异常数据检测方法的一种优选方案，其中：所述预处理包括离群点剔除、重采样、归一化、计算标准差。
10、作为本发明所述应用于aiops的时序序列异常数据检测方法的一种优选方案，其中：所述时序序列回归模型的训练方法如下：将所述历史时序序列数据划分为训练集和测试集，并进行时序序列回归模型的训练和测试评估；所述时序序列模型包括cnn回归模型、lstm回归模型、arima模型、ets模型、prophet模型；训练每种所述时序序列回归模型并进行测试评估，保留评估结果最佳的模型并部署应用。
11、作为本发明所述应用于aiops的时序序列异常数据检测方法的一种优选方案，其中：所述判定异常数据的动态阈值的计算方法如下：采用训练好的时序序列回归模型预测未来m个时刻的时序序列数据，并根据预测值计算异常数据的动态阈值，包括第一阈值和第二阈值，计算公式如下
12、
13、其中，tt1表示t时刻的第一阈值，tt2表示t时刻的第二阈值；y′t表示t时刻的模型预测值；t的取值范围为1，2，……，m。γ表示权重超参数，δ表示时序序列数据的标准差。
14、作为本发明所述应用于aiops的时序序列异常数据检测方法的一种优选方案，其中：所述异常数据预检测的方法如下：令t时刻的时序序列数据为yt，若tt1＜yt＜tt2，则yt为正常数据；否则，将yt标记为异常数据。
15、作为本发明所述应用于aiops的时序序列异常数据检测方法的一种优选方案，其中：判定是否对标记异常数据进行异常数据确认的方法如下：令任一被标记为异常数据的时序序列数据为yt1，若yt1前后不少于n个时序序列数据被标记为异常数据，则对yt1进行异常数据确认；否则，yt1为异常数据，发出异常报警并将yt1的值替换为预测值y′t1。
16、作为本发明所述应用于aiops的时序序列异常数据检测方法的一种优选方案，其中：所述异常数据确认的方法如下：
17、s100：获取yt1前的n-1个时序序列数据，与yt1共同组成基础序列x(t1)，并对x(t1)进行归一化处理；
18、s200：获取前1天至前p天每一天中t1时刻、t1时刻之前n-1个以及t1时刻之后n个连续的时序序列数据，并组成p个长度为2n的历史时序序列；
19、s300：设置固定的滑动窗口大小以及步长大小，将所述p个历史时序序列通过滑动窗口截取为共计q个参考序列；
20、s400：对所述参考序列进行归一化处理，并将归一化后的q个参考序列组成参考序列集y；
21、s500：计算基础序列x与y中每个序列的dtw距离，并将q个dtw距离组成距离序列；
22、s600：通过孤立森林算法对所述距离序列中的每个dtw距离进行异常检测，统计异常dtw距离的个数；若所述异常dtw距离的个数大于等于相似阈值，则yt1为正常数据；否则，yt1为异常数据，发出异常报警并将yt1的值替换为预测值y′t1。
23、作为本发明所述应用于aiops的时序序列异常数据检测方法的一种优选方案，其中：所述相似阈值的计算公式如下：
24、tn＝ω·q；
25、其中，tn表示相似阈值；ω为超参数。
26、第二方面，本发明提供一种电子设备，包括：存储器，用于存储指令；处理器，用于执行所述指令，使得所述设备执行实现本发明所述的应用于aiops的时序序列异常数据检测方法的操作。
27、第三方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现本发明所述的一种应用于aiops的时序序列异常数据检测方法。
28、与现有技术相比，本发明所达到的有益效果如下：
29、1.使用回归的方法并结合自动化动态阈值方案，可实时进行异常数据检测，采用的时序序列回归模型的训练不需要有标签的数据，省去大量人工标注的工作；并且可以进行自动化的异常检测和报警，可以做到无人值守，大大节省了人力成本；
30、2.结合统计学的方法以及时序序列相似度匹配方法，进行异常数据的确认，增加了异常数据识别检测的准确性，减少了误检误报的情况。
1.一种应用于aiops的时序序列异常数据检测方法，其特征在于：包括以下步骤：
2.如权利要求1所述的一种应用于aiops的时序序列异常数据检测方法，其特征在于：所述预处理包括离群点剔除、重采样、归一化、计算标准差。
3.如权利要求2所述的一种应用于aiops的时序序列异常数据检测方法，其特征在于：所述时序序列回归模型的训练方法如下：将所述历史时序序列数据划分为训练集和测试集，并进行时序序列回归模型的训练和测试评估；所述时序序列模型包括cnn回归模型、lstm回归模型、arima模型、ets模型、prophet模型；训练每种所述时序序列回归模型并进行测试评估，保留评估结果最佳的模型并部署应用。
4.如权利要求3所述的一种应用于aiops的时序序列异常数据检测方法，其特征在于：所述判定异常数据的动态阈值的计算方法如下：采用训练好的时序序列回归模型预测未来m个时刻的时序序列数据，并根据预测值计算异常数据的动态阈值，包括第一阈值和第二阈值，计算公式如下
5.如权利要求4所述的一种应用于aiops的时序序列异常数据检测方法，其特征在于：所述异常数据预检测的方法如下：令t时刻的时序序列数据为yt，若tt1<yt<tt2，则yt为正常数据；否则，将yt标记为异常数据。
6.如权利要求5所述的一种应用于aiops的时序序列异常数据检测方法，其特征在于：判定是否对标记异常数据进行异常数据确认的方法如下：令任一被标记为异常数据的时序序列数据为yt1，若yt1前后不少于n个时序序列数据被标记为异常数据，则对yt1进行异常数据确认；否则，yt1为异常数据，发出异常报警并将yt1的值替换为预测值y't1。
7.如权利要求6所述的一种应用于aiops的时序序列异常数据检测方法，其特征在于：所述异常数据确认的方法如下：
8.如权利要求7所述的一种应用于aiops的时序序列异常数据检测方法，其特征在于：所述相似阈值的计算公式如下：
9.一种电子设备，其特征在于，包括：存储器，用于存储指令；处理器，用于执行所述指令，使得所述设备执行实现如权利要求1-8中任一项所述的一种应用于aiops的时序序列异常数据检测方法的操作。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时，实现如权利要求1-8中任一项所述的一种应用于aiops的时序序列异常数据检测方法。
