本技术涉及设备控制,尤其涉及一种高精地图的生成方法、装置、设备及存储介质。
背景技术:
1、高精地图能提供高精度的坐标,准确的道路形状、车道线、交通标志、坡度、高程、侧倾等详细的道路信息和丰富的地理要素,能给智能车辆的自动化技术提供坚实的基础。通过高精地图的辅助可以准确而实时地判断车辆自身位置并规划路径,不受雨、雪、雾等恶劣天气的影响,提供准确的道路信息,强化自动驾驶的安全性。现有的高精地图生成方法大多数为lidar+imu+rtk方案,然而,lidar+imu+rtk方案成本非常高,不利于智能车辆自动化技术的发展,且在生成高精地图时所采用的路面点云通常会出现很多空洞、缺失很多细节,导致路面不完整,难以生成所有道路要素的三维位置,导致生成的高精地图准确性也不高。
技术实现思路
1、有鉴于此,本技术实施例提供了一种高精地图的生成方法、装置、设备及存储介质,旨在至少解决现有技术中生成高精地图时存在的成本高,难以生成所有道路要素的三维位置,准确性不高等问题之一。
2、本技术实施例的第一方面提供了一种高精地图的生成方法,包括:采用车载摄像设备对道路沿途进行视频采集,获得图像序列,其中,所述图像序列中包含有若干个按时序排列的图像帧,每个图像帧具有对应的绝对坐标数据;对所述图像序列中的每个图像帧分别进行三维重建处理,获得所述每个图像帧对应的位姿数据;根据所述车载摄像设备与地面的旋转矩阵、所述每个图像帧的绝对坐标数据以及所述每个图像帧对应的位姿数据,生成所述道路的鸟瞰图;对所述鸟瞰图进行要素提取处理,获得所述道路中的道路要素,根据所述道路要素生成高精地图。
3、结合第一方面,在第一方面的第一种可能实现方式中,根据所述车载摄像设备与地面的旋转矩阵、所述每个图像帧的绝对坐标数据以及所述每个图像帧对应的位姿数据,生成所述道路的鸟瞰图的步骤,包括:根据所述车载摄像设备与地面的旋转矩阵、所述每个图像帧的绝对坐标数据以及所述每个图像帧对应的位姿数据,将所述每个图像帧中的像素点投影到预设的空白图片中,获得若干个投影图片;对所述若干个投影图片进行像素点去重处理和图片拼接处理,生成所述道路的鸟瞰图。
4、结合第一方面的第一种可能实现方式,在第一方面的第二种可能实现方式中,将所述每个图像帧中的像素点投影到预设的空白图片中的步骤,包括采用以下公式进行投影:
5、
6、其中,λ表示为尺度;(xv,yv)表示为相机坐标系下的坐标;表示为旋转平移扩展矩阵中第1,2,4行矩阵元素组成的矩阵,rc表示为旋转矩阵,tc表示为平移向量;πc-1为相机投影矩阵的逆矩阵,由相机焦距、主点以及畸变系数组成;(u,v,1)表示为像素点坐标。
7、结合第一方面,在第一方面的第三种可能实现方式中,对所述图像序列中的每个图像帧分别进行三维重建处理,获得所述每个图像帧对应的位姿数据的步骤,包括:采用纯视觉的三维重建算法对所述图像序列中的每个图像帧进行三维重建处理,确定存在漂移点的图像帧,并在所述图像序列对所述存在漂移点的图像帧进行标记处理,获得标记后的图像序列;采用带约束的三维重建算法对所述标记后的图像序列中的每个图像帧进行三维重建处理,获得所述每个图像帧对应的约束位姿坐标,并根据预设的漂移点位姿权重值和正常定位点位姿权重值对所述每个图像帧的约束位姿坐标进行加权处理,获得所述每个图像帧对应的位姿数据。
8、结合第一方面的第三种可能实现方式,在第一方面的第四种可能实现方式中,采用纯视觉的三维重建算法对所述图像序列中的每个图像帧进行三维重建处理,确定存在漂移点的图像帧的步骤,包括:按照预设的第一距离,对所述图像序列中按时序排列的若干个图像帧进行分组处理,获得多个第一数据组;对每个所述第一数据组,采用纯视觉的三维重建算法对所述第一数据组内的每个图像帧进行三维重建处理,获得所述第一数据组内的每个图像帧对应的相机位置坐标数据,并根据所述第一数据组内的每个图像帧对应的相机位置坐标数据,生成一个相机位置数据矩阵;对每个所述第一数据组,根据所述第一数据组内的每个图像帧对应的绝对坐标数据,生成一个绝对坐标数据矩阵;对所述相机位置数据矩阵与所述绝对坐标数据矩阵进行最小二乘刚性对齐,并将所述相机位置数据矩阵内的每个相机位置坐标数据逐一作为目标相机位置坐标数据,计算出所述目标相机位置坐标数据与所述绝对坐标数据矩阵中的目标绝对坐标数据之间的差距值,其中,所述目标绝对坐标数据与所述目标相机位置坐标数据刚性对齐;将所述差距值与预设的差距阈值进行大小比较,若所述差距值大于所述预设的差距阈值,则将所述目标相机位置坐标数据对应的图像帧确定为存在漂移点的图像帧。
9、结合第一方面,在第一方面的第五种可能实现方式中,对所述图像序列中的每个图像帧分别进行三维重建处理,获得所述每个图像帧对应的位姿数据的步骤之后,还包括:根据所述车载摄像设备标定的平面法向量,对所述每个图像帧对应的位姿数据进行位姿修正处理。
10、结合第一方面,在第一方面的第六种可能实现方式中,根据所述道路要素生成高精地图的步骤之前,还包括:采用预设的要素分类检测模型对所述图像序列进行要素提取处理,获得所述道路空中的道路要素。
11、本技术实施例的第二方面提供了一种高精地图的生成装置,包括:视频采集模块,用于采用车载摄像设备对道路沿途进行视频采集,获得图像序列,其中,所述图像序列中包含有若干个按时序排列的图像帧,每个图像帧具有对应的绝对坐标数据;三维重建模块,用于对所述图像序列中的每个图像帧分别进行三维重建处理,获得所述每个图像帧对应的位姿数据;鸟瞰图生成模块,用于根据所述车载摄像设备与地面的旋转矩阵、所述每个图像帧的绝对坐标数据以及所述每个图像帧对应的位姿数据,生成所述道路的鸟瞰图;地图生成模块,用于对所述鸟瞰图进行要素提取处理,获得所述道路中的道路要素,根据所述道路要素生成高精地图。
12、本技术实施例的第三方面提供了一种电子设备,包括存储器、处理器以及存储在所述存储器中并可在电子设备上运行的计算机程序,所述处理器执行所述计算机程序时实现第一方面提供的高精地图的生成方法的各步骤。
13、本技术实施例的第四方面提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现第一方面提供的高精地图的生成方法的各步骤。
14、本技术实施例提供的一种高精地图的生成方法、装置、电子设备及存储介质,具有以下有益效果:
15、本技术通过采用车载摄像设备对道路沿途进行视频采集,获得图像序列,其中,图像序列中包含有若干个按时序排列的图像帧,每个图像帧具有对应的绝对坐标数据;对图像序列中的每个图像帧分别进行三维重建处理,获得每个图像帧对应的位姿数据;根据车载摄像设备与地面的旋转矩阵、每个图像帧的绝对坐标数据以及每个图像帧对应的位姿数据,生成道路的鸟瞰图像;对鸟瞰图进行要素提取处理,获得道路中的道路要素,根据道路要素生成高精地图。基于上述方法只采用车载摄像设备和rtk来生成高精地图,大大地降低了生成高精地图的成本,采用根据车载摄像设备与地面的旋转矩阵、图像帧的绝对坐标数据以及图像帧对应的位姿数据生成的鸟瞰图进行要素提取,可以解决难以生成所有道路要素的三维位置的问题,提高高精地图的准确性。
1.一种高精地图的生成方法,其特征在于,包括:
2.根据权利要求1所述的高精地图的生成方法,其特征在于,根据所述车载摄像设备与地面的旋转矩阵、所述每个图像帧的绝对坐标数据以及所述每个图像帧对应的位姿数据,生成所述道路的鸟瞰图的步骤,包括:
3.根据权利要求2所述的高精地图的生成方法,其特征在于,将所述每个图像帧中的像素点投影到预设的空白图片中的步骤,包括:
4.根据权利要求1所述的高精地图的生成方法,其特征在于,对所述图像序列中的每个图像帧分别进行三维重建处理,获得所述每个图像帧对应的位姿数据的步骤,包括:
5.根据权利要求4所述的高精地图的生成方法,其特征在于,采用纯视觉的三维重建算法对所述图像序列中的每个图像帧进行三维重建处理,确定存在漂移点的图像帧的步骤,包括:
6.根据权利要求1所述的高精地图的生成方法,其特征在于,对所述图像序列中的每个图像帧分别进行三维重建处理,获得所述每个图像帧对应的位姿数据的步骤之后,还包括:
7.根据权利要求1所述的高精地图的生成方法,其特征在于,根据所述道路要素生成高精地图的步骤之前,还包括:
8.一种高精地图的生成装置,其特征在于,包括:
9.一种电子设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述方法的步骤。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述方法的步骤。
