一种基于Informer模型的输电线路覆冰预测方法与流程

一种基于informer模型的输电线路覆冰预测方法
技术领域
1.本发明属于电网覆冰预测技术领域，尤其涉及一种基于informer模型的输电线路覆冰预测方法。


背景技术：

2.近年来，随着电力系统和电网建设的飞速发展，电网分布逐渐向大规模和智能化方向发展，对电网的可靠性要求也越来越高。而覆冰作为影响电力系统最常见的灾害之一，往往导致输电线路荷重增加，进而造成线路断线、冰闪跳闸以及损坏输电线路元器件等问题。覆冰灾害已严重威胁到电网系统的平稳可靠运行，带来巨大经济损失，严重制约电网系统的建设与发展。而预测输电线路的未来覆冰状况并即时有效的采取融冰措施，可有效减少因覆冰造成的电网大面积瘫痪带来的损失。因此，输电线路覆冰预测对我国电力系统发展有着十分重要的意义。
3.现有的电网覆冰预测模型可以分为两类，一类是基于物理过程的预测模型，一类是基于数据驱动的预测模型。
4.基于物理过程的预测模型是根据覆冰的形成过程和产生机理出发，结合热力学、动力学等相关学科理论来构建覆冰预测模型。参考文献[1]“measurement method of conductor ice covered thickness based on analysis of mechanical and sag measurement”(yao c,zhang l,li c,et al,high voltage engineering[j],2013,5.)通过分析覆冰增长的过程，提出了基于覆冰增长的覆冰厚度预测模型，但其局限性大，不具备普适性。参考文献[2]“基于拉力和倾角的输电线路覆冰厚度预测模型”(张子翀,王健,广东电力[j],28(06):82
‑
86 92,2015)通过计算无覆冰时垂直平面内基本的线路静力学参数并结合风力和绝缘子串影响来计算导线的等值荷载覆冰厚度，以此来构建覆冰预测模型。然而基于物理过程的预测模型往往无法考虑到所有覆冰因素的影响，因此提出的模型往往实用性不佳。
[0005]
基于数据驱动的覆冰预测模型以历史覆冰数据为主，通过深度神经网络模型、机器学习算法等方法，分析覆冰形成过程的影响因素并捕获数据中的非线性关系、时空动态性和不确定性等特性，寻找覆冰厚度与微气象、微地形等因素之间的关系，以此构建覆冰预测模型。
[0006]
参考文献[3]“online prediction method of icing of overhead power lines based on support vector regression”(li j j,li p,miao a m,chen y,cao m,and shen x,international transactions on electrical energy systems[j],28(3):1
‑
14,2018)采用支持向量回归算法(svr)，利用历史覆冰数据和在线气象数据，结合wavelets数据预处理方式和相空间重构理论来构建架空电力线路短期积冰负载的结冰警报系统，此系统可预测5小时预测架空电力线路的实时结冰值。
[0007]
参考文献[4]“一种基于长短期记忆网络的线路覆冰预测模型研究”(陈雨鸽,高伟,林鸿伟,阮肇华,郑为凑,林福,陈锦植,电工电气[j],2020(03):5
‑
11)提出了一种基于
结合气象因素和导线覆冰量的时间序列模型预测法，采用长短期记忆网络算法(lstm)训练预测模型并利用线路实际运行数据对模型进行调整和优化。而实际应用中往往需要预测未来1
‑
2天的覆冰状况，预测的序列长度较大。但该模型计算费时，在时间跨度大且网络很深的情况下计算量很大。同时，该模型在长序列输入输出时的表现不佳，特别是当预测序列长度较大时，误差迅速上升，推理速度急剧下降。
[0008]
综上所述，现有的输电线路覆冰预测方法因为预测序列长度长、环境影响因素多样，覆冰状况具有时空差异性等问题，在实际应用中存在准确性不高、鲁棒性不强、适应性不好等缺点。


技术实现要素：

[0009]
本发明要解决的技术问题是：提供一种基于informer模型的输电线路覆冰预测方法，以解决现有技术输电线路覆冰预测方法因为预测序列长度长、环境影响因素多样，覆冰状况具有时空差异性等问题，在实际应用中存在准确性不高、鲁棒性不强、适应性不好等技术问题。
[0010]
本发明的技术方案是：
[0011]
一种基于informer模型的输电线路覆冰预测方法，它包括：
[0012]
步骤1、采集历史覆冰数据、终端拉力数据、气象站预报数据、气象站监测数据和终端信息数据，对采集的信息数据进行数据预处理；
[0013]
步骤2、构建训练集d
train
、验证集d
vail
和测试集d
test
；
[0014]
步骤3、在设定好迭代次数epochs、批处理样本数batch_size和学习率lr后之后，依次从训练集d
train
取出batch_size大小的样本数，进行输入统一转换；
[0015]
步骤4、生成编码器；
[0016]
步骤5、通过对decoder的堆叠，来更好的获得输入输出间的映射关系，以此来提高预测精度；最终通过一个全连接层，得到最后的输出；将预测得到的输出和真实值进行损失函数loss计算；
[0017]
骤6、模型迭代，重复步骤3、4和5；，直至训练条件终止，生成训练好的model，用于预测未来时刻的输电电缆的拉力值，通过拉力值进而计算当前输电电缆的覆冰厚度。
[0018]
数据预处理的方法为：进行异常值处理和缺失值填补，构建拉力相关的多变量序列数据集：数据集以拉力值为预测对象，以日期、温度、湿度、温度和拉力值覆冰影响因素为特征输入；设输入历史序列长度为l
x
，前向预测长度为p，覆冰相关影响变量个数为i，预测拉力值为f
t
，预处理后的数据集dataset表示如下：
[0019][0020]
数据预处理后得到拉力多变量数据集进行进一步标准化，使用均值mean和方差σ对数据进行z
‑
score归一化，
[0021]
归一化计算公式：x＝(x
‑
mean)/σ；取数据集的前70％为训练集d
train
，10％为验证
集d
vail
，最后20％为测试集d
test
。
[0022]
进行输入统一转换的方法为：
[0023]
模型输入由特征标量局部时间戳(pe)和全局时间戳(se)组成；转换公式为：
[0024][0025]
式中：i∈{1,
…
,l
x
}，α为平衡标量映射和局部/全局嵌入之间大小的因子。
[0026]
特征标量所对应公式中的具体操作为通过conv1d将i维转换为512维向量。
[0027]
局部时间戳(pe)采用transformer中的positional emebdding，计算公式为：
[0028][0029][0030]
其中d
model
为输入的特征维度，
[0031]
全局时间戳(se)使用一个全连接层将输入的时间戳映射到512维的embedding。
[0032]
生成编码器的具体方法包括：
[0033]
统一转换后的输入输入到模型的编码器encoder部分，在注意力模块进行稀疏性自注意力(probsparse self
‑
attention)计算，每个key只关注u个主要query，q为查询向量，k为键向量，v为值向量，计算公式为：
[0034][0035]
其中，是大小与q相同的稀疏矩阵且只包含稀疏度量m(q
i
,k)下的top
‑
u个query；加入一个采样因子c，设定u＝clnl
q
；
[0036]
为每个query都随机采样c*lnl个key，并计算每个query的稀疏性得分m(q
i
，k)。q
i
，k
i
，v
i
分别为q，k，v的第i行，d为q
i
的维度，而l
k
＝l
q
＝l，稀疏度量m(q
i
，k)的计算公式为：
[0037][0038]
选择稀疏性得分最高的n个query，n默认为c*lnl，只计算n个query和key的点积结果，剩下的l
‑
n个query不计算；
[0039]
经过稀疏性自注意力计算后的输出存在v值的冗余组合，因此采用distilling操作对具有主要特征的优势特征赋予更高的权重，并在下一层生成聚焦的自注意力特征图；具体通过四层conv1d卷积层和一个最大maxpooling池化层来实现；重复迭代multi
‑
headprobsparse self
‑
attention distilling的组合之后，得到解码器decoder的输入之一。
[0040]
步骤5所述通过对decoder的堆叠，来更好的获得输入输出间的映射关系，以此来
提高预测精度；最终通过一个全连接层，得到最后的输出；将预测得到的输出和真实值进行损失函数loss计算的具体过程包括：informer使用的decoder和传统的decoder类似，为了让算法生成长序列的输出，decoder需要输入：
[0041][0042]
其中，为start token序列，为需要预测序列，用0填充，随后将序列通过一个masked probsparse self
‑
attention层，将该层的输出再传递给一个multi
‑
headprobsparse self
‑
attention层后，再将输出传递给另一个masked probsparse self
‑
attention multi
‑
headprobsparse self
‑
attention的组合；通过这样对decoder的堆叠，来更好的获得输入输出间的映射关系，以此来提高预测精度；进行损失函数loss计算时，损失函数采用mse，计算公式为：
[0043][0044]
其中，m为样本数，y
i
为真实数据，为预测数据。
[0045]
本发明有益效果：
[0046]
本发明利用编码器解码器结构，基于informer模型并改进其自注意力蒸馏(self
‑
attention distilling)操作以便在编码器模块提取出更深层次的特征后，再对具有主要特征的优势特征赋予更高的权重，以此获得更好的预测精度。且该模型通过稀疏性自注意力机制(probsparse self
‑
attention)来获取长输入并将传统自注意力机制(self
‑
attention)的计算时间复杂度降低为o(l*logl)。同时也采用一次性生成输出的decoder结构来捕获任意输出之间的长依赖关系，加快了预测速度的同时避免了误差的积累。此外，通过对decoder的堆叠来更精准的获得输入和输出间的映射关系，以此来提升预测精度。该方法相较于现有方法稳定性好、推理速度快、预测误差更小。
[0047]
本发明特定的：
[0048]
一、使用稀疏性自注意力机制(probsparse self
‑
attention)，降低了传统自注意力机制的计算时间复杂度和空间复杂度，二者均达到o(l*logl)。与传统自注意力机制相比，稀疏性自注意力机制中每个query都随机采样c*lnl个key做点积计算而不是计算每个query和key的点积，从而将计算的时间复杂度和空间复杂度从o(l2)降低到o(l*logl)。
[0049]
二、使用自注意力蒸馏(self
‑
attention distilling)操作缩短每一层的输入序列长度，降低了多个堆叠层的内存使用量，进一步降低了算法的总时间复杂度。同时扩展了该操作的卷积深度，使其卷积获得更深层次的特征后，再对具有主要特征的优势特征赋予更高的权重，以此获得更好的预测精度。
[0050]
三、使用一次性生成的解码器decoder结构，只需要一个前向步骤(而非自回归)就可以获得长序列输出，避免了预测阶段的累计误差传播。同时，通过对decoder进行堆叠来更精准的获得输入输出间的映射关系，从而进一步提高预测精度。
[0051]
解决了现有技术输电线路覆冰预测方法因为预测序列长度长、环境影响因素多样，覆冰状况具有时空差异性等问题，在实际应用中存在准确性不高、鲁棒性不强、适应性不好等技术问题。
附图说明：
[0052]
图1为本发明方法在多变量预测任务中的loss收敛图；
[0053]
图2为本发明方法在多变量预测任务中各评价指标收敛图。
具体实施方式
[0054]
本发明实现其发明目的，所采用的技术方案是，一种基于informer注意力学习的输电线路覆冰预测方法，其步骤如下：
[0055]
(1)数据预处理
[0056]
对历史覆冰数据、终端拉力数据、气象站预报数据、气象站监测数据、终端信息等数据进行处理，对其进行异常值处理和缺失值填补，构建拉力相关的多变量序列数据集：本数据集以拉力值为预测对象，以日期、温度、湿度、温度、拉力值等覆冰影响因素为特征输入。设输入历史序列长度为l
x
，前向预测长度为p，覆冰相关影响变量个数为i，预测拉力值为f
t
，预处理后的数据集dataset表示如下：
[0057][0058]
(2)训练集构建
[0059]
数据预处理后得到拉力多变量数据集对其进行进一步标准化，使用均值mean和方差σ对数据进行z
‑
score归一化，归一化计算公式：x＝(x
‑
mean)/σ。其中取数据集的前70％为训练集d
train
，10％为验证集d
vail
，最后20％为测试集d
test
。
[0060]
(3)输入embedding
[0061]
在设定好迭代次数epochs、批处理样本数batch_size和学习率lr后之后，依次从训练集d
train
取出batch_size大小的样本数，对其进行输入统一转换，模型输入由特征标量局部时间戳(pe)和全局时间戳(se)转换公式如下所示：
[0062][0063]
其中，i∈{1,
…
,l
x
}，α为平衡标量映射和局部/全局嵌入之间大小的因子。
[0064]
a)特征标量：对应公式中的具体操作为通过conv1d将i维转换为512维向量。
[0065]
b)局部时间戳(pe)：采用transformer中的positional emebdding，计算公式如下：
[0066][0067]
[0068]
其中d
model
为输入的特征维度，
[0069]
c)全局时间戳(se)：使用一个全连接层将输入的时间戳映射到512维的embedding。
[0070]
(4)编码器encoder
[0071]
统一转换后的输入输入到模型的编码器encoder部分，首先在注意力模块对其进行稀疏性自注意力(probsparse self
‑
attention)计算，每个key只关注u个主要query，q为查询向量，k为键向量，v为值向量，计算公式如下所示：
[0072][0073]
其中，是大小与q相同的稀疏矩阵且其只包含稀疏度量m(q
i
,k)下的top
‑
u个query。加入一个采样因子(超参数)c，设定u＝clnl
q
。首先，为每个query都随机采样c*lnl个key，并计算每个query的稀疏性得分m(q
i
,k)。q
i
,k
i
,v
i
分别为q,k,v的第i行，d为q
i
的维度，而l
k
＝l
q
＝l，稀疏度量m(q
i
,k)的近似计算公式为：
[0074][0075]
然后，选择稀疏性得分最高的n个query，n默认为c*lnl，只计算n个query和key的点积结果，其余的l
‑
n个query不计算。
[0076]
经过稀疏性自注意力计算后的输出存在v值的冗余组合，因此需要distilling操作对具有主要特征的优势特征赋予更高的权重，并在下一层生成聚焦的自注意力特征图。具体通过四层conv1d卷积层和一个最大maxpooling池化层来实现。
[0077]
重复迭代几次multi
‑
headprobsparse self
‑
attention distilling的组合之后，得到解码器decoder的输入之一。
[0078]
(5)解码器decoder
[0079]
informer使用的decoder和传统的decoder类似，为了让算法生成长序列的输出，decoder需要如下输入：
[0080][0081]
其中，为start token序列，为需要预测序列(用0填充)，随后将序列通过一个masked probsparse self
‑
attention层，它可以防止每个位置都关注未来的位置，从而避免了自回归。将该层的输出再传递给一个multi
‑
headprobsparse self
‑
attention层后，再将其输出传递给另一个masked probsparse self
‑
attention multi
‑
headprobsparse self
‑
attention的组合。通过这样对decoder的堆叠，来更好的获得输入输出间的映射关系，以此来提高预测精度。最终通过一个全连接层，得到最后的输出。将预测得到的输出和真实值进行损失函数loss计算，损失函数采用mse，计算公式如下：
[0082][0083]
其中，m为样本数，y
i
为真实数据，为预测数据。
[0084]
(6)模型迭代
[0085]
重复上述(3)、(4)、(5)步骤，直至训练条件终止(达到模型迭代次数或因loss不下降而触发早停机制)，生成训练好的model，可用于预测未来时刻的输电电缆的拉力值，通过拉力值进而计算当前输电电缆的覆冰厚度。
[0086]
仿真实验
[0087]
为了验证一种基于informer注意力学习的输电线路覆冰预测方法的有效性，进行了基于真实数据集的自回归预测实验和多变量预测实验。实验环境采用python开发语言和pytorch深度学习框架。此外，本方法将与文献[3]和文献[4]中的方法进行比较，两方法如下：
[0088]
svr：支持向量回归(svr)是支持向量机机器学习模型的一种变体方法，经常用于时间序列预测。
[0089]
lstm：长短期记忆网络(lstm)是一种特殊的rnn，主要解决了rnn在长序列训练过程中的梯度消失和梯度爆炸问题，相较于普通rnn在更长的序列中有更好的表现。
[0090]
将mse、mae、rmse作为模型误差分析指标，用于评估各种方法的交通流预测性能，误差指标计算公式如下：
[0091][0092][0093][0094]
其中，m为样本数，y
i
为真实数据，为预测数据。
[0095]
实验一：
[0096]
本实验数据集来源于南方电网公司提供的覆冰数据集。该数据集以小时为采样点，包含了多个线路终端的温度、湿度、风速和拉力值等覆冰相关特征信息。实验所用的数据集时间跨度为2020年12月1日至2021年1月31日。本实验的基准对比模型分别进行覆冰数据集的多变量预测。用48小时的温度、湿度、风速和拉力值四个特征数据来预测未来24小时的最大拉力值，采用mse、mae、mape三个作为评价指标。实验结果如表1所示。
[0097]
表1
[0098][0099]
从表1的各项评价指标中可以看出，在各自进行了5次实验后，对评价指标取平均值后对比可以发现。本方法相比基准方法的预测精度更高。
[0100]
实验二：
[0101]
本实验采用的数据集与上述相同，本实验将本发明方法与文献[3]中的svr、文献[4]中的lstm方法在上述数据集上进行多变量预测实验和自回归预测实验，采用mse、mae、rmse作为评价指标。实验结果如表2所示。
[0102][0103]
从表2可见，在多变量预测中，本方法在mse、mae、rmse三个评价指标方面均优于svr和lstm方法。且在自回归预测中，本方法相较于svr和lstm也能保持着最优的预测性能和最小的预测误差。
[0104]
综上，通过在基于南方电网提供的真实覆冰数据集进行的实验评估分析，本方法相较于文献[3]、文献[4]中的现有方法具有更好的预测性能，mse、mae、rmse预测误差最小。且无论是多变量预测还是在自回归预测，本方法均保持着最低的预测误差。