本技术涉及图像处理，特别是涉及一种图像语义分割方法、训练方法、计算机设备和存储介质。
背景技术：
1、鱼眼相机是一种特殊的相机，其拍摄角度非常广，可以达到180度以上。这种相机的特点是在拍摄图像时，会形成一种“鱼眼效果”，即图像的边缘会被拉伸和扭曲。这种效果使得鱼眼相机在拍摄大面积场景时具有优势，可以获取更多的信息。
2、可行驶区域鱼眼分割技术是一种计算机视觉技术，具体是一种图像语义分割技术，目前主要用于自动驾驶车辆的导航和路径规划。该技术利用鱼眼相机的特性，通过对鱼眼图像，即鱼眼相机采集的图像进行一系列处理，能从图像中识别出车辆可行驶的区域。该技术的基本原理是将鱼眼图像进行预处理，通过图像拼接、去畸变、色彩校正等技术，将图像转化为适合处理的格式，然后利用计算机视觉算法对图像进行特征提取和分类，识别出车辆可行驶的区域。该技术的优点在于可以获取更多的道路信息，包括车道、道路边缘、障碍物等，同时可以处理复杂的交通场景，如交叉口、车道变更等。
3、deeplabv3+是目前应用比较广泛且语义分割表现很好的图像语义分割算法。然而，由于deeplabv3+算法的设计限制和算法架构的局限性，将其应用在特定场景，如在自动驾驶中对鱼眼图像进行语义分割以识别可行驶区域时，仍存在一些不足。例如，全局上下文建模困难，即算法中的卷积操作难以很好地对全局上下文进行建模，这限制了算法在理解整体场景时的表现，这种困难导致在特定场景下，算法对复杂对象的分割和识别表现不佳。
技术实现思路
1、本技术针对上述不足或缺点，提供了一种图像语义分割方法、训练方法、计算机设备和存储介质，本技术实施例能够在特定场景下更精准地识别复杂对象并进行分割。
2、本技术根据第一方面提供了一种图像语义分割方法，在一些实施例中，该方法基于图像语义分割网络，所述网络包括编码器、第一解码器和第二解码器；该方法包括：
3、通过编码器对目标鱼眼图像进行特征提取，得到前三阶段特征图和注意力特征图；所述编码器包括主干网络和注意力模块；
4、通过第一解码器将前三阶段特征图和注意力特征图进行特征融合，得到第一融合特征图；第一解码器是u型解码器；
5、通过第二解码器将前三阶段特征图和注意力特征图进行特征融合，得到第二融合特征图；第二解码器包括特征金字塔模块、第一特征融合模块和第二特征融合模块，所述第一特征融合模块由双重关系意识的注意力机制模块和阵列空间金字塔池化模块进行串联得到，所述第二特征融合模块由双重关系意识的注意力机制模块和阵列空间金字塔池化模块进行并联得到；
6、根据第一融合特征图和第二融合特征图生成目标鱼眼图像的分割图像。
7、在一些实施例中，通过编码器对目标鱼眼图像进行特征提取，得到前三阶段特征图和注意力特征图，包括：
8、将目标鱼眼图像输入主干网络进行特征提取，得到前三阶段特征图和最后阶段特征图；
9、将最后阶段特征图输入注意力模块进行注意力处理，基于注意力处理结果获得注意力特征图。
10、在一些实施例中，前三阶段特征图包括第一阶段特征图、第二阶段特征图和第三阶段特征图；
11、通过第一解码器将前三阶段特征图和注意力特征图进行特征融合，得到第一融合特征图，包括：
12、将注意力特征图进行上采样处理，将经过上采样处理的注意力特征图和第三阶段特征图进行融合，得到第一特征图；
13、将第一特征图进行上采样处理，将经过上采样处理的第一特征图和第二阶段特征图进行融合，得到第二特征图；
14、将第二特征图进行上采样处理，将经过上采样处理的第二特征图和第一阶段特征图进行融合，得到第三特征图，获取第三特征图作为第一融合特征图。
15、在一些实施例中，前三阶段特征图包括第一阶段特征图、第二阶段特征图和第三阶段特征图；
16、通过第二解码器将前三阶段特征图和注意力特征图进行特征融合，得到第二融合特征图，包括：
17、对第一阶段特征图进行卷积操作；
18、通过特征金字塔模块对前三阶段特征图进行特征融合，得到第一过渡特征图；
19、通过第一特征融合模块和第二特征融合模块对注意力特征图进行特征融合，得到第二过渡特征图；
20、将第一过渡特征图和第二过渡特征图进行融合，得到第三过渡特征图；
21、将第三过渡特征图和经过卷积操作的第一阶段特征图进行融合，得到第四过渡特征图；
22、对第四过渡特征图进行卷积操作和上采样操作，得到第二融合特征图。
23、在一些实施例中，
24、通过第一特征融合模块和第二特征融合模块对注意力特征图进行特征融合，得到第二过渡特征图，包括：
25、将注意力特征图分别输入第一特征融合模块和第二特征融合模块，得到第一特征融合模块和第二特征融合模块分别输出的第一输出数据和第二输出数据；
26、将第一输出数据和第二输出数据进行融合，得到第二过渡特征图。
27、在一些实施例中，阵列空间金字塔池化模块的金字塔空洞率以2的倍数为间隔，阵列空间金字塔池化模块中的卷积操作为深度可分离卷积操作。
28、在一些实施例中，根据第一融合特征图和第二融合特征图生成目标鱼眼图像的分割图像，包括：
29、将第一融合特征图和第二融合特征图进行融合，得到第三融合特征图；
30、对第三融合特征图进行卷积操作，使得经过卷积操作后的第三融合特征图的特征通道数量等于特征类别数量；
31、对经过卷积操作后的第三融合特征图进行双线性差值上采样，获得目标鱼眼图像的分割图像。
32、本技术根据第二方面提供了一种图像语义分割网络训练方法，该网络包括编码器、第一解码器和第二解码器；上述方法包括：
33、通过编码器对样本图像进行特征提取，得到前三阶段特征图和注意力特征图；样本图像是目标鱼眼图像；编码器包括主干网络和注意力模块；
34、通过第一解码器将前三阶段特征图和注意力特征图进行特征融合，得到第一融合特征图；第一解码器是u型解码器；
35、通过第二解码器将前三阶段特征图和注意力特征图进行特征融合，得到第二融合特征图；第二解码器包括特征金字塔模块、第一特征融合模块和第二特征融合模块，所述第一特征融合模块由双重关系意识的注意力机制模块和阵列空间金字塔池化模块进行串联得到，所述第二特征融合模块由双重关系意识的注意力机制模块和阵列空间金字塔池化模块进行并联得到；
36、根据第一融合特征图和第二融合特征图生成样本图像的分割预测图像；
37、根据分隔预测图像对该网络进行训练。
38、本技术根据第三方面提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述任一实施例中提供的图像语义分割方法或图像语义分割网络训练方法的步骤。
39、本技术根据第四方面提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述任一实施例中提供的图像语义分割方法或图像语义分割网络训练方法的步骤。
40、在本技术的上述实施例中，在deeplabv3+算法原有的主干网络即卷积神经网络的基础上引入自我注意机制来对目标鱼眼图像进行特征提取，以此克服卷积操作对全局上下文建模的限制，对于特征提取得到的前三阶段特征图和注意力特征图，通过双解码器即第一解码器和第二解码器来分别将前三阶段特征图和注意力特征图进行特征融合，以此实现保留并利用主干网络和自我注意机制提取到的特征中的特征信息，解决低分辨率特征丢失的问题，最后根据第一融合特征图和第二融合特征图生成道路场景鱼眼图像的分割图像，从而实现在特定场景下更精准地识别复杂对象并进行分割，如在自动驾驶中对鱼眼相机拍摄到道路场景图像进行语义分割以精准识别出可行驶区域，并将其分割出来。
41、进一步地，上述实施例引入双重关系意识的注意力机制模块，通过将双重关系意识的注意力机制模块和阵列空间金字塔池化进行串并联得到第一特征融合模块和第二特征融合模块，通过这两个模块能利用目标之间的关系，自适应地整合局部特征和全局特征的依赖以及聚合长期的上下文信息，从而提高了鱼眼图像语义分割的特征表示。
42、更进一步地，上述实施例还提供以2的倍数为间隔的金字塔空洞率阵列，以此改进了deeplabv3+算法中的空洞卷积问题，提高了对低分辨率特征图中高级语义信息的提取效果。而通过采用轻量化的深度可分离卷积，能够减小参数量，提高网络模型的训练效率。
1.一种图像语义分割方法，其特征在于，所述方法基于图像语义分割网络，所述网络包括编码器、第一解码器和第二解码器；所述方法包括：
2.如权利要求1所述的方法，其特征在于，通过所述编码器对目标鱼眼图像进行特征提取，得到前三阶段特征图和注意力特征图，包括：
3.如权利要求1所述的方法，其特征在于，所述前三阶段特征图包括第一阶段特征图、第二阶段特征图和第三阶段特征图；
4.如权利要求1所述的方法，其特征在于，所述前三阶段特征图包括第一阶段特征图、第二阶段特征图和第三阶段特征图；
5.如权利要求4所述的方法，其特征在于，
6.如权利要求5所述的方法，其特征在于，所述阵列空间金字塔池化模块的金字塔空洞率以2的倍数为间隔，所述阵列空间金字塔池化模块中的卷积操作为深度可分离卷积操作。
7.如权利要求1所述的方法，其特征在于，根据所述第一融合特征图和所述第二融合特征图生成所述目标鱼眼图像的分割图像，包括：
8.一种图像语义分割网络训练方法，其特征在于，所述网络包括编码器、第一解码器和第二解码器；所述方法包括：
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。
