本发明涉及图像处理与计算机视觉处理，尤其是一种基于边缘重建网络的道路表面裂缝检测方法。
背景技术：
1、我国公路基础设施网络的建成规模已位居世界前列，在道路维护管理工作中，对道路损伤进行快速高效的检测的重要性日益凸显。在交通基础设施管理领域，道路损伤检测有助于降低维护成本、避免交通事故发生，为交通基础设施的安全性和可持续发展提供了支持。道路损伤检测技术能够及时发现受损迹象，从而采取必要的修复和养护措施，确保道路系统的可持续发展。然而，道路裂缝的分布复杂且不规则，使得这项任务仍然面临着很多难题：1)裂缝与道路的边界处对比度低，过渡模糊，类间差异不明确，难以准确识别边缘。2)道路表面会受到光照、阴影、路面杂物等干扰，导致损伤区域被掩盖和出现误检。3)道路的狭长裂缝在影像中通常表现为几个像素到十几个像素宽度，导致提取的完整性差。因此，道路表面裂缝损伤检测是一项具有挑战性的任务。
2、目前的道路裂纹检测方法可以分为三类：一类基于图像处理的方法，通过人工判别特征，利用边缘、纹理等特征信息，设计出符合当前特征识别条件的自动检测方法，此类方法需要仔细设计算法，依赖于手动预设的参数，并且在现实环境中容易受到光照环境和失真噪声的影响；第二类是传统基于机器学习的方法，从原始图像中提取出有意义的特征，例如边缘、纹理、形状等。利用这些特征训练svm、随机森林等分类器，以实现裂缝的自动识别和分类，此类方法对于不同场景的适应性较差，在适应性和泛化性上存在不足；第三类是基于深度学习方法，自动从原始图像中学习和提取层次化的特征表示，不需要人工设计特征，相对于传统方法，精度和适应性得到大幅提高。然而，现有的道路裂缝检测方法仍存在细小裂缝分支易漏检、裂缝边缘细节难以还原等问题，检测方法的泛化能力不足也导致算法在实际应用中出现精度下降，难以满足实际需求。
技术实现思路
1、本发明所要解决的技术问题在于，提供一种基于边缘重建网络的道路表面裂缝检测方法，能够有效增强道路裂缝检测泛化性，提升裂缝边缘的检测精度。
2、为解决上述技术问题，本发明提供一种基于边缘重建网络的道路表面裂缝检测方法，包括如下步骤：
3、步骤1、对获取的道路损失图像数据进行图像增强，对图像进行多角度翻转和随机遮挡，将得到的增强数据集划分为训练集、验证集和测试集；训练集用于训练网络，验证集用于监控模型性能和泛化能力，优化超参数，保存最优模型，测试集用于对训练好的网络进行性能评估；
4、步骤2、构建三分支的边缘重建网络用于生成检测结果，边缘重建网络为编码器-解码器结构，编码器包括语义分支、细节分支和边缘分支，输入增强后的图像i，分别提取语义特征、细节特征和边缘特征；解码器阶段通过多层级特征融合模块对上述特征进行融合，得到全局特征图，最后对全局特征图上采样得到网络的检测结果；
5、步骤3、构建基于边缘重建模块的边缘分支，提取图像的粗糙边缘特征，对粗糙边缘特征进行滤波降噪，生成精细边缘特征图，将边缘特征图输入到边缘损失函数生成边缘预测结果；
6、步骤4、在语义分支中构建基于卷积自注意力机制的全局特征提取模块，该模块通过自注意力机制建立语义特征的远距离像素间的依赖关系；引入分解卷积，实现对大核卷积的轻量化拟合，从而高效提取全局上下文信息；
7、步骤5、在解码器阶段构建基于坐标的多层级特征融合模块，该模块将边缘特征分别与语义特征和细节特征进行拼接，将拼接后的特征分别沿两个空间方向聚合特征，捕获不同的尺度特征表示，对浅层的空间轮廓信息与深层的语义信息进行融合，生成全局特征图，最后对全局特征图上采样得到网络的预测结果；
8、步骤6、构建二元交叉熵损失函数、边缘损失函数与细节损失函数，将三者的和作为总损失函数；利用边缘损失函数强化边缘分支对边界特征的提取，利用细节损失函数强化空间分支对边界特征的提取，利用二元交叉熵损失函数强化像素分类；在训练阶段，将训练集图像输入网络，通过损失函数对网络的预测结果进行损失计算，通过反向传播和迭代训练优化网络参数；待损失稳定后，将测试集图像输入训练好的神经网络，得到最终检测结果。
9、优选的，步骤1中，图像增强包括统一图像尺寸、旋转、裁剪、像素灰度归一化。
10、优选的，步骤2中，边缘重建网络利用边缘分支提取边缘特征，将增强后的图像i进行1/8下采样，然后输入边缘分支，通过边缘重建模块提取边缘信息；通过使用多层级特征融合模块对语义特征、细节特征和边缘特征进行融合生成全局特征图，最后对全局特征图上采样得到网络的预测结果，使网络实现对裂缝的精准定位和提取。
11、优选的，边缘分支包括边缘提取和边缘重建两阶段：边缘提取阶段通过sobel边缘提取器对1/8下采样的图像进行边缘提取，得到粗糙边缘特征f0；边缘重建阶段采用2个串联的边缘重建模块实现，将边缘特征f0和语义分支的特征xout1输入到第1个边缘重建模块，得到f1；再将边缘特征f1和语义分支的特征xout2输入到第2个边缘重建模块，得到边缘分支的输出特征f2；2个边缘重建模块分别利用不同层级的语义信息xout1和xout2对边缘信息进行引导，提高对整体场景的理解和边缘重建的准确性。在边缘重建模块中，利用具有丰富语义信息的语义特征对具有粗糙轮廓信息的粗糙边缘特征进行引导，生成精细边缘特征图，在训练阶段利用边缘损失函数拟合裂缝边缘，计算边缘预测结果，通过反向传播优化网络参数，提升边缘重建的能力。
12、优选的，边缘重建模块基于泰勒有限差分方程构建针对粗糙边缘特征的残差学习，提升网络对边缘信息的建模能力；基于门控机制利用语义特征抑制粗糙边缘特征中的高频背景噪声；将数学形式的泰勒有限差分方程改写为残差形式从中得到边缘重建模块的残差学习过程为uj+2＝ugate+uj+1-3δuj，其中uj为边缘重建模块的输入特征fi，uj+2为边缘重建模块的输出特征fi+1；具体过程如下：首先通过两个残差结构的卷积组成滤波器序列对浅边缘特征映射进行非线性变换，得到噪声和杂波较小的特征，实现从fi到的转换；然后，将语义分支中的语义特征和边缘特征图输入到门控卷积中，利用门控卷积引导粗糙边缘特征进行定向学习，得到门控卷积的输出特征更好地抑制背景噪声，其中表示为：
13、
14、其中σ表示sigmoid激活函数，表示对应元素矩阵的乘法运算，φ表示relu激活函数，wf表示卷积滤波器序列，xout_i表示语义特征；最后将和相加实现残差结构，以缓解训练时梯度弥散的问题，最终得到输出特征fi+1。
15、优选的，语义分支中的全局特征提取模块通过空洞卷积和深度可分离卷积技术对大核卷积进行分解，基于自注意力机制提取像素之间的远距离依赖关系，在语义分支中实现对全局上下文信息的提取，具体过程如下：第一步，将输入特征xin经过1×1卷积层和激活层，采用gelu激活函数保持模型的表达能力；第二步，通过5×5深度卷积层，以捕获像素的近距离关系；第三步，将特征分别输入两个分支，两个分支均由深度空洞卷积构成，深度空洞卷积的核大小分别为3和7，其感受野分别等同于内核大小为7和19的标准卷积，而计算量则分别仅为标准卷积的1/49和1/361；使用双分支结构中具有不同内核大小的深度空洞卷积可捕获不同空间尺度上的远程关系；第四步，将深度空洞卷积的输出特征相加融合，输入到1×1点卷积，将特征图缩到一个更小的尺寸，实现通道维度的特征融合，从而捕获全局上下文信息，实现空间和通道的信息交互；第五步，以1×1卷积的输出作为输入特征xin的自注意力权重图，对xin进行加权，得到输出特征xout；提取全局上下文信息的过程如式所示：
16、att＝conv1×1(dw-dconvbranch1(xin)+dw-dconvbranch2(xin))
17、
18、其中，xin表示输入特征，表示对应元素矩阵的乘法运算，conv1×1表示1×1卷积，dw-dconvbranch_i表示第i分支的深度空洞卷积，att表示注意力权重图，xout表示输出特征。
19、优选的，步骤5中，多层级特征融合模块将边缘特征与浅层特征和深层特征分别进行拼接操作，然后将输出特征分别沿两个空间方向聚合特征，捕获不同的尺度特征表示；首先，通过平均池化操作，将h×w大小的特征图在x和y坐标方向分别压缩为c×h×1和c×1×w两种尺度；在此过程中，得到的特征映射沿x维度和y维度聚合为两个独立的方向感知特征图，从而建立x维度和y维度的空间关联性；通过3×3卷积层+bn+relu对融合的水平和垂直空间信息进行编码，最后通过sigmoid函数生成坐标注意力权重图；另一方面，利用3×3深度可分离卷积分别对空间信息和语义信息进行编码，利用两个坐标注意力权重图分别对编码后的空间信息和语义信息进行加权，实现对不同层级和不同模态之间特征信息的自适应融合。
20、优选的，步骤6中，将二元交叉熵损失函数、边缘损失函数与细节损失函数三者之和作为总损失函数，其中，二元交叉熵损失如式所示：
21、lbce-log(pt)
22、
23、其中pt反映了结果与真值类别y的接近程度，pt越大则表明该像素的分类越准确；
24、边缘损失函数基于dice的边缘感知损失拟合整体边缘，在梯度信息图上应用squash函数，获得边缘预测结果，得到的边缘预测结果定义如式所示：
25、
26、其中和gij分别表示(i，j)处的边缘预测结果和梯度信息向量，eij表示直接从细节标签获得的边缘真值，α是控制模型对目标边缘敏感性的超参数，α设置为1以平衡类间差异和类内统一；
27、边界细化问题表示为dice系数最大化问题，如下式所示：
28、
29、其中，i表示第i个像素，表示分割图标签值，表示边缘预测结果，θ表示分割网络的参数，h和w分别表示特征图的高和宽；
30、为了在训练过程中实现随机梯度下降，将边缘损失构造如下式所示：
31、ledge(pd，gd，θ)＝1-dice(pd，gd，θ)
32、在训练过程中，细节损失函数使用dice loss，该损失关注细节特征，从而平衡了类别不均衡问题，表示为：
33、
34、其中，i表示第i个像素，表示分割图标签值，表示预测分割图，h和w分别表示特征图的高和宽，∈表示拉普拉斯平滑项，将∈设为1以避免零除；
35、将二元交叉熵损失作为边缘重建网络的主损失函数，细节损失函数和边缘损失函数设置为辅助损失函数，在训练过程中，将细节分支的输出结果与标签值进行计算，得到细节损失函数和二元交叉熵损失函数的结果，优化细节分支；将边缘分支的输出结果与标签值进行计算，得到边缘损失函数和二元交叉熵损失函数的结果，优化边缘分支；迭代训练优化网络参数，待损失稳定后，将检测图像输入训练好的神经网络，得到最终检测结果图。
36、本发明的有益效果为：(1)基于语义分支、细节分支和边缘分支构建三分支的语义分割网络，在提高网络并行性的同时，实现了裂缝边缘高频特征的提取，边缘重建模块利用残差结构学习边缘特征，针对道路裂缝边界模糊的共性特点，采用门控机制对边缘信息进行针对性提取，提高了裂缝边缘定位和分割的精度；(2)全局特征提取模块通过深度卷积、空洞卷积和点卷积的交叉运用，实现对大核卷积的轻量化分解，建立模像素之间的远距离依赖关系，实现对全局语义信息的提取，并且通过注意力机制，在空间域和通道域实现自适应表达，提高网络在复杂背景下的抗干扰能力；(3)多层级特征融合模块，它能有效地增强和融合从三个分支获取的特征，利用多尺度特征融合对不同层次和模态的特征信息进行编码，进一步提升位置信息对整体网络的引导能力；(4)辅助任务使网络学习到更多的边缘高频信息，从而提高对细窄道路的检测精度，通过优化具有相同标签信息的多个分类损失，利用它们的互补优势共同解决类别不平衡问题。
1.一种基于边缘重建网络的道路表面裂缝检测方法，其特征在于，包括如下步骤：
2.如权利要求1所述的基于边缘重建网络的道路表面裂缝检测方法，其特征在于，步骤1中，图像增强包括统一图像尺寸、旋转、裁剪、像素灰度归一化。
3.如权利要求1所述的基于边缘重建网络的道路表面裂缝检测方法，其特征在于，步骤2中，边缘重建网络利用边缘分支提取边缘特征，将增强后的图像i进行1/8下采样，然后输入边缘分支，通过边缘重建模块提取边缘信息；通过使用多层级特征融合模块对语义特征、细节特征和边缘特征进行融合生成全局特征图，最后对全局特征图上采样得到网络的预测结果，使网络实现对裂缝的精准定位和提取。
4.如权利要求3所述的基于边缘重建网络的道路表面裂缝检测方法，其特征在于，边缘分支包括边缘提取和边缘重建两阶段：边缘提取阶段通过sobel边缘提取器对1/8下采样的图像进行边缘提取，得到粗糙边缘特征f0；边缘重建阶段采用2个串联的边缘重建模块实现，将边缘特征f0和语义分支的特征xout1输入到第1个边缘重建模块，得到f1；再将边缘特征f1和语义分支的特征xout2输入到第2个边缘重建模块，得到边缘分支的输出特征f2；2个边缘重建模块分别利用不同层级的语义信息xout1和xout2对边缘信息进行引导，提高对整体场景的理解和边缘重建的准确性。
5.如权利要求3所述的基于边缘重建网络的道路表面裂缝检测方法，其特征在于，边缘重建模块基于泰勒有限差分方程构建针对粗糙边缘特征的残差学习，提升网络对边缘信息的建模能力；基于门控机制利用语义特征抑制粗糙边缘特征中的高频背景噪声；将数学形式的泰勒有限差分方程改写为残差形式从中得到边缘重建模块的残差学习过程为uj+2＝ugate+uj+1-3δuj，其中uj为边缘重建模块的输入特征fi，uj+2为边缘重建模块的输出特征fi+1。
6.如权利要求5所述的基于边缘重建网络的道路表面裂缝检测方法，其特征在于，首先通过两个残差结构的卷积组成滤波器序列对浅边缘特征映射进行非线性变换，得到噪声和杂波较小的特征，实现从fi到的转换；然后，将语义分支中的语义特征和边缘特征图输入到门控卷积中，利用门控卷积引导粗糙边缘特征进行定向学习，得到门控卷积的输出特征更好地抑制背景噪声，其中表示为：
7.如权利要求1所述的基于边缘重建网络的道路表面裂缝检测方法，其特征在于，全局特征提取模块通过空洞卷积和深度可分离卷积技术对大核卷积进行分解，基于自注意力机制提取像素之间的远距离依赖关系，在语义分支中实现对全局上下文信息的提取，具体过程如下：第一步，将输入特征xin经过1×1卷积层和激活层，采用gelu激活函数保持模型的表达能力；第二步，通过5×5深度卷积层，以捕获像素的近距离关系；第三步，将特征分别输入两个分支，两个分支均由深度空洞卷积构成，深度空洞卷积的核大小分别为3和7，其感受野分别等同于内核大小为7和19的标准卷积，而计算量则分别仅为标准卷积的1/49和1/361；使用双分支结构中具有不同内核大小的深度空洞卷积可捕获不同空间尺度上的远程关系；第四步，将深度空洞卷积的输出特征相加融合，输入到1×1点卷积，将特征图缩到一个更小的尺寸，实现通道维度的特征融合，从而捕获全局上下文信息，实现空间和通道的信息交互；第五步，以1×1卷积的输出作为输入特征xin的自注意力权重图，对xin进行加权，得到输出特征xout；提取全局上下文信息的过程如式所示：
8.如权利要求1所述的基于边缘重建网络的道路表面裂缝检测方法，其特征在于，步骤5中，多层级特征融合模块将边缘特征与浅层特征和深层特征分别进行拼接操作，然后将输出特征分别沿两个空间方向聚合特征，捕获不同的尺度特征表示；首先，通过平均池化操作，将h×w大小的特征图在x和y坐标方向分别压缩为c×h×1和c×1×w两种尺度；在此过程中，得到的特征映射沿x维度和y维度聚合为两个独立的方向感知特征图，从而建立x维度和y维度的空间关联性；通过3×3卷积层+bn+relu对融合的水平和垂直空间信息进行编码，最后通过sigmoid函数生成坐标注意力权重图；另一方面，利用3×3深度可分离卷积分别对空间信息和语义信息进行编码，利用两个坐标注意力权重图分别对编码后的空间信息和语义信息进行加权，实现对不同层级和不同模态之间特征信息的自适应融合。
9.如权利要求1所述的基于边缘重建网络的道路表面裂缝检测方法，其特征在于，步骤6中，将二元交叉熵损失函数、边缘损失函数与细节损失函数三者之和作为总损失函数，其中，二元交叉熵损失如式所示：
10.如权利要求9所述的基于边缘重建网络的道路表面裂缝检测方法，其特征在于，将二元交叉熵损失作为边缘重建网络的主损失函数，细节损失函数和边缘损失函数设置为辅助损失函数，在训练过程中，将细节分支的输出结果与标签值进行计算，得到细节损失函数和二元交叉熵损失函数的结果，优化细节分支；将边缘分支的输出结果与标签值进行计算，得到边缘损失函数和二元交叉熵损失函数的结果，优化边缘分支；迭代训练优化网络参数，待损失稳定后，将检测图像输入训练好的神经网络，得到最终检测结果图。
