本发明涉及自动驾驶车辆感知识别,具体涉及一种障碍物检测方法及其装置。
背景技术:
1、随着当前智能车的发展,自动驾驶车辆已逐步面向robotaxi场景,开启大规模运营路测。在未知环境中,如何能保证自动驾驶车辆的安全,是保证l4级robotaxi运营的关键。
2、在复杂的场景下,自动驾驶车辆感知系统需要实时为下游提供当前的感知环境,主要包含障碍物、红绿灯、车道线、交通标志等目标。在众多检测目标中,障碍物的检测是保证自动驾驶车辆运行安全的关键。目前l4级别的自动驾驶车辆,对障碍物的检测主要依赖多传感器融合方案,主要包含激光雷达、视觉、毫米波雷达,其中,激光雷达目前多以机械旋转高线束激光雷达为主,成本较高;另外,对障碍物检测过分依赖通过训练能够识别预知的障碍物的模型来达到检测的目的,多适用普通城市工况。而实际robotaxi场景较为复杂,会经常出现一些未知障碍物,此时会出现模型无法识别障碍物,车辆只能由驾驶员人工接管,例如,某条道路经常出现施工场景,施工场景中会出现诸多不规则障碍物,例如土堆,此时自动驾驶车辆便无法正常绕行。
技术实现思路
1、本发明的目的在于提出一种障碍物检测方法及其装置,以解决现有障碍物检测技术无法对未知障碍物进行识别的技术问题。
2、为实现上述目的,本发明的第一方面提出一种障碍物检测方法,所述方法包括:
3、接收车载激光雷达输出的原始点云,并对所述原始点云进行点云识别得到点云分割信息和第一障碍物信息;其中,所述点云分割信息包括路面点云和非路面点云,所述第一障碍物信息包括一个或多个结构化障碍物;
4、接收车载摄像设备输出的车辆前方图像,并对所述车辆前方图像进行图像识别得到第二障碍物信息、语义分割图和第一障碍物栅格图;其中,所述第二障碍物信息包括一个或多个结构化障碍物;
5、对所述点云分割信息、所述第一障碍物信息、所述第二障碍物信息、所述语义分割图和所述第一障碍物栅格图进行信息融合得到非结构化障碍物和结构化障碍物。
6、优选地,所述对所述点云分割信息、所述第一障碍物信息、所述第二障碍物信息、所述语义分割图和所述第一障碍物栅格图进行信息融合得到非结构化障碍物和结构化障碍物,包括:
7、根据所述语义分割图、所述点云分割信息确定障碍物点云及其语义;
8、获取二维栅格图,将所述障碍物点云投影至所述二维栅格图中得到第二障碍物栅格图;其中,所述第二障碍物栅格图包括已知种类障碍物栅格、未知种类障碍物栅格;所述第一障碍物栅格图与所述第二障碍物栅格图的栅格参数相同;
9、将所述第一障碍物栅格图和所述第二障碍物栅格图进行信息融合得到第三障碍物栅格图;
10、对所述第三障碍物栅格图中的障碍物栅格进行聚类分割得到第三障碍物信息;其中,所述第三障碍物信息包括一个或多个障碍物;
11、根据所述第一障碍物信息、所述第二障碍物信息和所述第三障碍物信息进行信息融合得到非结构化障碍物和结构化障碍物。
12、优选地,所述根据所述语义分割图、所述点云分割信息确定障碍物点云及其语义,包括:
13、将所述原始点云投影至所述语义分割图得到带有语义的点云;
14、根据所述点云分割信息和所述带有语义的点云确定障碍物点云及其语义。
15、优选地,所述将所述第一障碍物栅格图和所述第二障碍物栅格图进行信息融合得到第三障碍物栅格图,包括:
16、将所述第二障碍物栅格图中的障碍物与所述第一障碍物栅格图中的障碍物进行匹配,并根据匹配结果调整所述第二障碍物栅格图得到第三障碍物栅格图;其中,若所述第二障碍物栅格图中的任一个障碍物与所述第一障碍物栅格图中的一个障碍物匹配,则在所述第二障碍物栅格图中保留该任一个障碍物,若所述第二障碍物栅格图中的任一个障碍物与所述第一障碍物栅格图中所有障碍物均不匹配,则在所述第二障碍物栅格图中滤除该任一个障碍物。
17、优选地,所述对所述第三障碍物栅格图中的障碍物栅格进行聚类分割得到第三障碍物信息,包括:
18、遍历所述第三障碍物栅格图,当搜索到一个障碍物栅格时,以搜索到的该一个障碍物栅格为中心进行聚类获得对应的一个障碍物,遍历结束获得所述第三障碍物信息。
19、优选地,所述根据所述第一障碍物信息、所述第二障碍物信息和所述第三障碍物信息进行信息融合得到非结构化障碍物和结构化障碍物,包括:
20、将所述第一障碍物信息和所述第二障碍物信息进行信息融合得到第四障碍物信息;其中,所述第四障碍物信息包括一个或多个结构化障碍物;
21、根据所述第三障碍信息与所述第四障碍物信息进行障碍物匹配,若所述第三障碍物信息中的任一个障碍物与所述第四障碍物信息中的一个结构化障碍物匹配,则确定该任一个障碍物为结构化障碍物,否则确定该任一个障碍物为非结构化障碍物。
22、本发明的第二方面提出一种障碍物检测装置,所述装置包括:
23、点云处理模块,用于接收车载激光雷达输出的原始点云,并对所述原始点云进行点云识别得到点云分割信息和第一障碍物信息;其中,所述点云分割信息包括路面点云和非路面点云,所述第一障碍物信息包括一个或多个结构化障碍物;
24、图像处理模块,用于接收车载摄像设备输出的车辆前方图像,并对所述车辆前方图像进行图像识别得到第二障碍物信息、语义分割图和第一障碍物栅格图;其中,所述第二障碍物信息包括一个或多个结构化障碍物;
25、信息融合模块,用于对所述点云分割信息、所述第一障碍物信息、所述第二障碍物信息、所述语义分割图和所述第一障碍物栅格图进行信息融合得到非结构化障碍物和结构化障碍物。
26、优选地,所述信息融合模块,包括:
27、第一信息处理单元,用于根据所述语义分割图、所述点云分割信息确定障碍物点云及其语义;
28、第二信息处理单元,用于获取二维栅格图,将所述障碍物点云投影至所述二维栅格图中得到第二障碍物栅格图;其中,所述第二障碍物栅格图包括已知种类障碍物栅格、未知种类障碍物栅格;所述第一障碍物栅格图与所述第二障碍物栅格图的栅格参数相同;
29、第三信息处理单元,用于将所述第一障碍物栅格图和所述第二障碍物栅格图进行信息融合得到第三障碍物栅格图;
30、聚类分割单元,用于对所述第三障碍物栅格图中的障碍物栅格进行聚类分割得到第三障碍物信息;其中,所述第三障碍物信息包括一个或多个障碍物;
31、障碍物确定单元,用于根据所述第一障碍物信息、所述第二障碍物信息和所述第三障碍物信息进行信息融合得到非结构化障碍物和结构化障碍物。
32、优选地,所述第三信息处理单元,具体用于:
33、将所述第二障碍物栅格图中的障碍物与所述第一障碍物栅格图中的障碍物进行匹配,并根据匹配结果调整所述第二障碍物栅格图得到第三障碍物栅格图;其中,若所述第二障碍物栅格图中的任一个障碍物与所述第一障碍物栅格图中的一个障碍物匹配,则在所述第二障碍物栅格图中保留该任一个障碍物,若所述第二障碍物栅格图中的任一个障碍物与所述第一障碍物栅格图中所有障碍物均不匹配,则在所述第二障碍物栅格图中滤除该任一个障碍物。
34、优选地,所述障碍物确定单元,具体用于:
35、将所述第一障碍物信息和所述第二障碍物信息进行信息融合得到第四障碍物信息;其中,所述第四障碍物信息包括一个或多个结构化障碍物;
36、根据所述第三障碍信息与所述第四障碍物信息进行障碍物匹配,若所述第三障碍物信息中的任一个障碍物与所述第四障碍物信息中的一个结构化障碍物匹配,则确定该任一个障碍物为结构化障碍物,否则确定该任一个障碍物为非结构化障碍物。
37、本发明至少具有以下有益效果:
38、本发明提出了一种障碍物检测方法及其装置,其基于车载激光雷达输出的点云和车载摄像设备输出的车辆前方图像,分别对该点云和该车辆前方图像进行处理,包括点云分割、图像语义分割、障碍物等方面的检测识别,并将两者的处理结果进行信息融合,最后根据信息融合结果来确定结构化障碍物和非结构化障碍物,可以实现结构化障碍物和非结构化障碍物的区分检测识别。
39、本发明的其它特征和优点将在随后的说明书中阐述。
1.一种障碍物检测方法,其特征在于,所述方法包括:
2.如权利要求1所述的障碍物检测方法,其特征在于,所述对所述点云分割信息、所述第一障碍物信息、所述第二障碍物信息、所述语义分割图和所述第一障碍物栅格图进行信息融合得到非结构化障碍物和结构化障碍物,包括:
3.如权利要求2所述的障碍物检测方法,其特征在于,所述根据所述语义分割图、所述点云分割信息确定障碍物点云及其语义,包括:
4.如权利要求2所述的障碍物检测方法,其特征在于,所述将所述第一障碍物栅格图和所述第二障碍物栅格图进行信息融合得到第三障碍物栅格图,包括:
5.如权利要求2所述的障碍物检测方法,其特征在于,所述对所述第三障碍物栅格图中的障碍物栅格进行聚类分割得到第三障碍物信息,包括:
6.如权利要求2所述的障碍物检测方法,其特征在于,所述根据所述第一障碍物信息、所述第二障碍物信息和所述第三障碍物信息进行信息融合得到非结构化障碍物和结构化障碍物,包括:
7.一种障碍物检测装置,其特征在于,所述装置包括:
8.如权利要求7所述的障碍物检测装置,其特征在于,所述信息融合模块,包括:
9.如权利要求8所述的障碍物检测装置,其特征在于,所述第三信息处理单元,具体用于:
10.如权利要求8所述的障碍物检测装置,其特征在于,所述障碍物确定单元,具体用于:
