基于改进U-Net网络的点云道路标线分类方法及装置与流程

专利检索2025-06-21  25

本发明涉及高精地图自动标注和道路点云自动分类,尤其是涉及一种基于改进u-net网络的点云道路标线分类方法及装置。
背景技术
::1、随着智能汽车的快速发展,自动驾驶技术作为智能汽车的核心技术也得到了众多关注。由于高精地图在定位上的高精度和信息化程度,它立即成为自动驾驶的关键组成部分之一。高精地图包含了自动驾驶所需的道路和周边环境的所有关键属性,例如:车道、路沿、道路标线、交通信号、指示牌等。道路标线作为高清地图的重要组成部分,为自动驾驶汽车提供行驶路线。车道标线类型繁多,常见的有车道线、箭头、斑马线、停止线、限速标线等,其中车道线表示驾驶区域,箭头表示行驶方向,限速标线提示当前路段最大安全驾驶速度。2、道路标线的提取可以基于二维图像和三维激光点云。利用图像处理技术和计算机视觉技术可以实现图像道路标线的提取,如从前视图中学习道路标线模板mser(mser-maximally stable extremal regions,最大稳定极值区域)特征,通过模板特征匹配提取道路标线;采用双convgrus网络结构进行复杂场景下车道检测;通过自注意胶囊网络提取航空影像的道路标线。由于基于图像的方法极易受到光照和天气的影响,而激光雷达传感器对环境照明条件不敏感并且可以获得具有反射强度的高精度、高密度三维点云,因此众多研究者展开了对基于激光点云提取道路标线的研究工作。3、目前,通过点云提取道路标线的技术主要有两大类:基于反射强度阈值的传统方式和深度学习方式。2017年,cheng将具有反射强度信息的激光点云转为灰度图,然后利用大津阈值、邻居计数滤波和区域增长抽取道路标线,最后通过决策树对抽取的道路标线做分类。2019年,ma利用多阈值道路标线提取算法和统计异常值去除算法提取道路标线。2019年,wen采用u-net模型提取道路标线,然后利用多尺度聚类与卷积神经网络对道路标线做分类,最后通过gan(generative adversarial network,生成对抗网络)完善小尺寸标线。2022年,ma构建了u型胶囊网络,基于卷积和反卷积胶囊操作提取道路标线,然后通过一种基于胶囊的混合网络来对不同类型的道路标线进行分类。4、道路标线点云的密度和强度与车载激光扫描仪距离标线的远近有关,导致基于反射强度阈值的传统提取方式效果,远低于基于深度学习方式的提取效果。目前大部分基于深度学习的道路标线识别方法都由两个模型构成,首先采用语义分割模型提取出道路标线,然后利用分类模型对提取到的道路标线做分类;这种采用双模型的识别方式比较耗时,不便于在工程实际中使用。技术实现思路1、有鉴于此,本发明的目的在于提供一种基于改进u-net网络的点云道路标线分类方法及装置,可以显著提升道路标线的提取效率和分类效率,还可以适应多种强度、尺寸和密度的道路标线的提取分类。2、第一方面,本发明实施例提供了一种基于改进u-net网络的点云道路标线分类方法,包括:3、获取待处理点云数据,并将所述待处理点云数据转换为待处理灰度图集;4、通过预先训练的改进u-net网络,确定所述待处理灰度图集中每张灰度子图对应的道路标线语义分割结果;其中,所述道路标线语义分割结果用于表征所述灰度子图中每个像素点对应的道路标线类型;5、对所述道路标线语义分割结果进行聚类处理得到道路标线分类结果;其中,所述道路标线分类结果包括:属于不同所述道路标线类型的每个道路标线对应的点云聚类簇。6、在一种实施方式中,所述改进u-net网络包括改进编码器和解码器,所述改进编码器包括多层特征提取单元,指定层级的特征提取单元包括多个变形卷积层,其他层级的特征提取单元包括池化层和多个卷积层;7、通过预先训练的改进u-net网络,确定所述待处理灰度图集中每张灰度子图对应的道路标线语义分割结果的步骤,包括:8、对于所述待处理灰度图集中的每张灰度子图,通过所述改进编码器中的每个所述特征提取单元,对该灰度子图进行特征提取,得到该灰度子图对应的特征图;9、通过所述解码器,基于该灰度子图对应的所述特征图,确定该灰度子图对应的道路标线语义分割结果。10、在一种实施方式中,所述改进u-net网络的训练步骤,包括:11、获取历史点云数据,并将所述历史点云数据转换为历史灰度图集;12、确定所述历史点云数据中每个点对应的道路标线类型矢量,并基于所述道路标线类型矢量生成所述历史点云数据对应的标线掩码;13、利用滑动窗口在所述标线掩码上进行滑动,以将所述标线掩码切割为多个标线掩码子图;其中,所述标线掩码子图为所述历史灰度图集中的灰度子图对应的标签;14、将所述历史灰度图集中每张灰度子图和所述标线掩码子图,划分为训练数据集、验证数据集和测试数据集,并利用所述训练数据集、所述验证数据集和所述测试数据集分别对所述改进u-net网络进行训练、验证和测试;15、其中,训练过程中采用多分类iou损失函数计算所述改进u-net网络的损失值。16、在一种实施方式中,将所述待处理点云数据转换为待处理灰度图集的步骤,包括:17、对所述待处理点云数据的点云强度值进行归一化处理,得到所述待处理点云数据中每个点对应的目标点云强度值;18、将所述待处理点云数据投影至二维平面得到投影点云数据,并对所述投影点云数据进行网格划分得到多个网格和每个所述网格对应的第一点云数据集合;19、对于每个所述网格,将该网格与像素点一一对应,并将所述第一点云数据集合包含的每个点对应的目标点云强度值中的最大值,作为所述像素点对应的灰度值,以得到所述待处理点云数据对应的灰度图;20、利用滑动窗口在所述灰度图上进行滑动,以将所述灰度图切割为多个灰度子图,得到待处理灰度图集。21、在一种实施方式中,对所述道路标线语义分割结果进行聚类处理得到道路标线分类结果的步骤,包括:22、对每个所述灰度子图对应的所述道路标线语义分割结果进行拼接,得到目标道路标线语义分割结果;其中,所述目标道路标线语义分割结果用于表征所述灰度图中每个像素点对应的道路标线类型;23、基于所述网格与所述灰度图中的像素点之间的对应关系,将所述灰度图反向转换为所述待处理点云数据,以确定所述待处理点云数据中部分或全部点对应的道路标线类型;24、对相同道路标线类型对应的点进行欧式聚类处理,得到道路标线分类结果。25、在一种实施方式中,对每个所述灰度子图对应的所述道路标线语义分割结果进行拼接,得到目标道路标线语义分割结果的步骤,包括:26、基于所述灰度图的切割顺序,确定当前灰度子图对应的邻近灰度子图;27、对所述当前灰度子图和所述邻近灰度子图进行拼接,并在拼接过程中判断所述像素点是否属于所述当前灰度子图和所述邻近灰度子图之间的重叠区域;28、如果是,则基于该像素点对应的类别置信度调整该像素点对应的道路标线类型;如果否,则保留所述像素点对应的道路标线类型,以得到目标道路标线语义分割结果。29、在一种实施方式中,对相同道路标线类型对应的点进行欧式聚类处理,得到道路标线分类结果的步骤,包括:30、对于每个所述道路标线类型,从所述待处理点云数据中提取该道路标线类型对应的点,得到该道路标线类型对应的第二点云数据集合;31、将所述第二点云数据集合中任一点作为当前点,通过邻近搜索算法从所述第二点云数据集合中确定与所述当前点距离小于预设阈值的邻近点;32、继续通过所述邻近搜索算法从所述第二点云数据集合中确定与所述邻近点距离小于预设阈值的下一邻近点,直至所述第二点云数据集合聚类结束,得到属于该道路标线类型的每个道路标线对应的点云聚类簇。33、第二方面,本发明实施例还提供一种基于改进u-net网络的点云道路标线分类装置,包括:34、数据获取及转换模块,用于获取待处理点云数据,并将所述待处理点云数据转换为待处理灰度图集;35、语义分割模块,用于通过预先训练的改进u-net网络,确定所述待处理灰度图集中每张灰度子图对应的道路标线语义分割结果;其中,所述道路标线语义分割结果用于表征所述灰度子图中每个像素点对应的道路标线类型;36、聚类模块,用于对所述道路标线语义分割结果进行聚类处理得到道路标线分类结果;其中,所述道路标线分类结果包括:属于不同所述道路标线类型的每个道路标线对应的点云聚类簇。37、第三方面,本发明实施例还提供一种电子设备,包括处理器和存储器,所述存储器存储有能够被所述处理器执行的计算机可执行指令,所述处理器执行所述计算机可执行指令以实现第一方面提供的任一项所述的方法。38、第四方面,本发明实施例还提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令在被处理器调用和执行时,计算机可执行指令促使处理器实现第一方面提供的任一项所述的方法。39、本发明实施例提供的一种基于改进u-net网络的点云道路标线分类方法及装置,首先获取待处理点云数据,并将待处理点云数据转换为待处理灰度图集;然后通过预先训练的改进u-net网络,确定待处理灰度图集中每张灰度子图对应的道路标线语义分割结果,道路标线语义分割结果用于表征灰度子图中每个像素点对应的道路标线类型;最后对道路标线语义分割结果进行聚类处理得到道路标线分类结果,道路标线分类结果包括:属于不同道路标线类型的每个道路标线对应的点云聚类簇。上述方法采用单模型对道路标线进行提取,然后利用聚类对道路标线做分类的方式,能够提升提取和分类效率;另外,本发明实施例采用改进u-net网络,改进u-net网络泛化性较强,能适应多种强度、尺寸和密度的道路标线的提取。40、本发明的其他特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。41、为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。当前第1页12当前第1页12
技术特征:

1.一种基于改进u-net网络的点云道路标线分类方法,其特征在于,包括:

2.根据权利要求1所述的基于改进u-net网络的点云道路标线分类方法,其特征在于,所述改进u-net网络包括改进编码器和解码器,所述改进编码器包括多层特征提取单元,指定层级的特征提取单元包括多个变形卷积层,其他层级的特征提取单元包括池化层和多个卷积层;

3.根据权利要求1所述的基于改进u-net网络的点云道路标线分类方法,其特征在于,所述改进u-net网络的训练步骤,包括:

4.根据权利要求1所述的基于改进u-net网络的点云道路标线分类方法,其特征在于,将所述待处理点云数据转换为待处理灰度图集的步骤,包括:

5.根据权利要求4所述的基于改进u-net网络的点云道路标线分类方法,其特征在于,对所述道路标线语义分割结果进行聚类处理得到道路标线分类结果的步骤,包括:

6.根据权利要求5所述的基于改进u-net网络的点云道路标线分类方法,其特征在于,对每个所述灰度子图对应的所述道路标线语义分割结果进行拼接,得到目标道路标线语义分割结果的步骤,包括:

7.根据权利要求5所述的基于改进u-net网络的点云道路标线分类方法,其特征在于,对相同道路标线类型对应的点进行欧式聚类处理,得到道路标线分类结果的步骤,包括:

8.一种基于改进u-net网络的点云道路标线分类装置,其特征在于,包括:

9.一种电子设备,其特征在于,包括处理器和存储器,所述存储器存储有能够被所述处理器执行的计算机可执行指令,所述处理器执行所述计算机可执行指令以实现权利要求1至7任一项所述的方法。

10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令在被处理器调用和执行时,计算机可执行指令促使处理器实现权利要求1至7任一项所述的方法。


技术总结
本发明提供了一种基于改进U‑Net网络的点云道路标线分类方法及装置,包括:获取待处理点云数据,并将待处理点云数据转换为待处理灰度图集;通过预先训练的改进U‑Net网络,确定待处理灰度图集中每张灰度子图对应的道路标线语义分割结果;其中,道路标线语义分割结果用于表征灰度子图中每个像素点对应的道路标线类型;对道路标线语义分割结果进行聚类处理得到道路标线分类结果;其中,道路标线分类结果包括:属于不同道路标线类型的每个道路标线对应的点云聚类簇。本发明可以显著提升道路标线的提取效率和分类效率,还可以适应多种强度、尺寸和密度的道路标线的提取分类。

技术研发人员:张亚平,王宇翔,曹锋,齐艳青,张红霞
受保护的技术使用者:航天宏图信息技术股份有限公司
技术研发日:
技术公布日:2024/5/29
转载请注明原文地址:https://win.8miu.com/read-1155464.html

最新回复(0)