本发明涉及一种用于管道状态判断的冲蚀磨损预测的，具体为一种hed-tpa-lstm的管道内部缺陷形貌变化的从而判断管道健康度的新型预测方法。
背景技术：
1、气固冲蚀磨损是指固体颗粒通过冲击固体表面引发的磨损现象。此类磨损通常在特殊环境下发生，如风力发电机的叶片、喷气发动机的涡轮叶片以及火箭发动机喷嘴等高速气流工程设备。尽管采取了除砂措施以减缓这种磨损，在一些情况下仍可能有砂粒随气流传输到天然气输送站的下游。这些悬浮在气流中的砂粒会对站内的工艺管道系统造成冲刷和磨损，尤其是对于管道的弯曲部位，磨损问题更加严重，可能导致泄漏。值得注意的是，从冲蚀的角度来看，管道中任何材料都会在使用过程中经历固体颗粒的冲蚀作用。当腐蚀和冲蚀同时发生时，冲蚀率将进一步增大。管道内壁因固体颗粒对其产生的冲蚀而导致内壁变薄，引发应力聚集，最终可能导致管道爆裂。
2、目前研究管道冲蚀健康度的预测还是在使用传统测量方法，该方法可能面临数据整合和分析的挑战，并且通过图像形貌来判断管道剩余使用寿命的方法还鲜有人研究。
3、使用基于深度学习的图像处理方法能够有效地融合这些管道内部多模态信息，并基于深度学习模型根据管道内部形貌自动判断其管道的健康程度，提供更全面的磨损预测。
技术实现思路
1、本发明旨在提供一种基于hed-tpa-lstm的管道内部健康状况的预测方法，该方法通过图像形貌特征来判断内部健康程度，利用较少的图像实验数据，构建准确率高的预测模型，有效地提高了管道状态判断的准确性和鲁棒性，且使用图像能够更加直观清晰，具有广泛的应用前景。
2、为了实现本发明的目的，本发明采用的技术方案包括以下步骤：
3、实验设计
4、使用90度弯管，使用一定目数的沙子，气体表现流速控制在30m/s，每一次对管道入口处对其进行2min的冲蚀磨损实验，实验的次数大约不超过100次实验，尽可能接近或恰好冲破管道。
5、每次实验过后进行对管道内部弯管处进行拍照，记录全程实验下的每2min的缺陷形貌变化，观察变化趋势；每次实验使用测厚仪测量主要研究处的厚度。
6、预测模型的构建
7、将一整个实验的弯管内部形貌使用基于vgg16改进的hed的图像边缘检测算法，将弯管内部所研究的缺陷形貌单独识别并提取出该特征下的边缘，并输出对应的周长，面积以及缺陷形貌特征，将最后一次实验的缺陷形貌的轮廓作为标准，与其他的实验形貌进行对比，从而输出与最后一次实验的形貌相似性，可以得到形貌相似性的数值化表示。
8、将缺陷周长，缺陷面积以及缺陷的形貌相似性这三个作为数据集的特征变量，将缺陷形貌处的厚度作为目标变量。使用通过改进的tpa-lstm网络，以8:2的比例把数据集分为训练集和测试集。
9、通过提取特征，输出特征变量，并进行对时间序列中的状态变化建模，实现对管道状态的动态判断和监测。其特征在于采用hed-tpa-lstm结合的图像处理剩余寿命预测算法，根据不同的缺陷形貌对弯管的状态分析，此算法相对于文字叙述，通过图片能够更直观清晰的展现出弯管的当前的状态，并且提高了判断的准确性和鲁棒性。
10、获得特征值的方法首先构建hed网络，以采用vgg16的卷积层作为基础，进行的改进算法，首先通过一下公式实现vgg16卷积层的改进,大致网络结构是四个卷积块，前两块是2层包含relu激活的卷积层以及一层池化；后两块是3层包含relu激活的卷积层以及一层池化。四个卷几块之后是三层全连接层，用于将卷积层提取的特征映射到最终的输出。最后一层是softmax分类层，将网络的输出转换为类别概率分布。因为有池化层的作用，从第二组开始，每一组的输入图像的长宽值，都是前一组的输入图像的长宽值的一半。可以表示vgg16的网络结构公式如下：
11、f1,1,f1,2＝convrelu(x)
12、f2,1,f2,2＝convrelu(pool(f1,2))
13、f3,1,f3,2,f3,3＝convrelu(pool(f2,2))
14、f4,1,f4,2,f4,3＝convrelu(pool(f3,3))
15、其中，fi,j是vgg16中第i组中第j个卷积层的输出，x是输入图像，convrelu是卷积层和relu激活函数，pool是池化层操作。
16、卷积层的深度也逐渐增加，同时图像的空间分辨率通过池化层逐渐减小。故要根据实际情况，来选定组的数量，过少导致会有特征提取不出来，过多可能会导致过拟合，并可能增加训练时间和计算成本。
17、hed网络是一种多尺度多融合的网络结构，把vgg16的每一组的最后一个卷积层的输出取出来，因为每一组得到的图像的长宽尺寸是不一样的，所以还需要用转置卷积对每一组得到的图像再做一遍运算，具体公式如下：
18、对于每个fi,j，进行转置卷积的操作，将图像的大小进行扩大：
19、ui,j＝transposeconv(fi,j)
20、其中，ui,j对应于fi,j的上采样特征图，transposeconv是转置卷积操作。
21、从效果上看，相当于把第除第一组外每一组得到的图像的长宽尺寸总是上一组的2倍，这样在每个尺度上得到的图像就是相同的大小。
22、然后融合每个尺度的上采样图像和原始图像的边缘图，hed通过使用不同尺度的特征图，能够更好地捕捉不同尺度的目标边缘。融合操作将这些多尺度的图像信息整合，使网络能够同时关注到不同尺度下的边缘特征，公式如下：
23、mi,j＝fuse(ui,j,e)
24、其中mi,j就是融合后的特征图，fuse就是融合操作，将上采样特征图和原始图像的边缘图进行融合。
25、将所有得到的融合后的特征图mi,j进行融合，得到最终的边缘图ef：
26、ef＝fuse(m1,1,m1,2,m2,1,m2,2,m3,1,m3,2,m3,3,m4,1,m4,2,m4,3)
27、整个hed网络的流程可以概括为以下步骤：首先，通过vgg16的多组卷积和池化操作，获取多尺度的特征图。随后，利用转置卷积进行上采样，将特征图的分辨率统一扩大。接下来，通过融合操作将上采样后的图像与原始图像的边缘信息整合，形成综合的特征表示。最终，通过网络输出得到最终的边缘图。这个流程设计使得网络能够有效捕捉图像中的边缘信息，实现准确的边缘检测。
28、接着就是对hed网络的训练过程，加入损失函数以及反向传播优化，在训练中，我们需要定义一个损失函数来度量网络输出和真实标注之间的差异。本发明使用二进制交叉熵损失，其公式如下损失函数loss对应的公式为：
29、
30、其中，n是数据集总数，yi是边缘的真实标注，是网络输出的边缘。
31、然后是反向传播优化，通过计算损失函数对网络参数的梯度，使用反向传播的梯度下降算法来更新网络参数。梯度下降的更新规则公式可以表示为：
32、
33、其中，θ表示网络参数，α是学习率，是损失函数对参数的梯度。
34、在训练阶段，这两个关键公式起到重要作用。首先，损失函数用于度量模型输出与实际标注之间的差异，为网络提供了一个优化的目标。通过反向传播优化算法，网络参数得以调整，使得损失逐渐减小，从而使模型更好地学习到图像的边缘特征。这个训练过程是一个迭代的过程，不断优化模型以达到在训练集上更加准确的性能。
35、通过训练和测试，hed已经得到了该训练模式下的缺陷轮廓提取的能力，最后得到的是一张处理好的边缘图，取整个实验的最后一次图片，作为衡量缺陷形貌轮廓的标准，最后一次实验的时间点就是弯管失效的时间段。剩下时间段所获得的缺陷形貌都要与最后一次实验的形貌作对比，从而输出缺陷形貌的周长，面积，以及形貌相似性。
36、对于形貌相似性，使用ssim结构相似性指数，其计算公式如下：
37、
38、其中xt是实验第t次所得到的缺陷形貌图片，xf是实验最后一次所得到的缺陷形貌图片，和是xt和xf的像素值的均值，和是xt和xf的像素值的方差，是xt和xf的像素值的协方差，c1和c2是数值很小的正常数。用于为了稳定计算。ssim的值范围在[-1,1]之间，越接近1表示两个图像越相似。
39、对于公式中的均值，方差，协方差，所涉及的公式为：
40、
41、
42、
43、其中x表示图像中的像素值，n是像素总数。
44、将缺陷形貌的周长和面积也表示出来，首先因为生成的结果图为二值化图，那么边缘图的像素值只有0和1，提取轮廓点的方法仅考虑像素值为1的点，具体公式如下：
45、(xt,xf)＝{(i,j)|ef(i,j)＝1}
46、其中i是点的索引，基于green定理，周长p可以通过计算每个相邻的点与点的距离之和来得到，面积a的计算可以使用多边形的面积计算公式，具体公式如下：
47、
48、
49、其中，(x1,y1)是点集的第一个点，(xn,yn)是点集的最后一个点。
50、至此，缺陷的周长，缺陷的面积，缺陷形貌的相似性这三个特征变量都已数字形式表示出来，然后将所获得的特征值输入到tpa-lstm模型中，tpa-lstm使用lstm作为基础的循环神经网络(rnn)结构，用于捕捉序列中的长期依赖关系。tpa-lstm引入了注意力机制，用于动态调整不同时间步上不同特征的重要性。注意力机制的公式如下：
51、
52、其中，是时间步t上特征i的注意力分数，是计算得到的注意力分数的未归一化分数。
53、通过将每个特征的输入乘以其对应的注意力分数，然后对所有特征进行求和，得到了上下文向量，其公式为：
54、
55、在这里，是时间步t上特征i的输入。
56、然后进行整合特征及注意力信息，tpa-lstm通过整合lstm输出和上下文向量，得到最终的模型输出，其公式为：
57、yt＝σ(wc·[ht,ct]+bc)
58、其中，ht是lstm在时间步t的隐藏状态，σ是激活函数，wc和bc是模型参数。
59、模型的最终输出yt是一个表示在时间步t上的预测值的数值。这个输出可以用于时间序列预测任务，比如根据过去的观测值预测未来的值。
60、与常规时间序列预测模型一样，模型的性能评估通常包括图示化预测结果、计算r2值(决定系数)以及计算测试集的mrse(均方根误差)。以下是相关的公式：
61、
62、
63、其中，yi是实际观测值，是模型的预测值，是观测值的平均值，n是样本数量。
64、这些指标一起提供了对模型性能的综合评估。r2值描述了模型的拟合程度，越高越好，而mrse描述了模型的预测误差的大小。图示化预测结果可以为这些指标提供直观的视觉验证。
1.一种基于深度学习图像特征提取的管道状态判断方法其实验内容包括以下步骤：
2.一种基于深度学习图像特征提取的管道状态判断方法其模型特征包括以下步骤：
3.根据权利要求2所述的一种基于深度学习图像特征提取的管道状态判断方法其模型特征在于：将实验最后一次提取出来的形貌边缘作为标准，计算其实验期间获得的形貌与最后一次实验获得的形貌的形貌相似性，使用ssim结构相似性指数来衡量，生成的结果作为特征变量之一，具体公式如下：
