本发明属于里程计,具体涉及一种融合交叉注意力机制的激光雷达里程计方法。
背景技术:
1、近年来,基于学习的定位技术方案越来越多,这些方案通常将学习重点放在关键点检测和特征描述方面,通过引入随机样本一致性(random sample consensus,ransac)等方法,提升估计方法对异常值的鲁棒性。但是,这些方法又带来了新的问题,即方案效果受制于后处理的选择和效果,例如在ransac中选择的采样兴趣点数量或距离阈值。
2、另外,有一些基于卷积神经网络端到端的里程计方法,不依赖于关键点提取结果和后处理,但是卷积神经网络的感受野具有局限性,对全局环境信息的感知和处理能力不足。
技术实现思路
1、发明目的:为了克服现有技术中的不足,本发明提供一种融合交叉注意力机制的激光雷达里程计方法,本发明结合transformer网络特点改进里程计网络模型,并引入了多头自我注意力和交叉注意力机制,用来实现点云数据的全局信息聚合,同时通过位置编码引入点的位置,使里程计网络模型能够利用刚性约束来纠正错误的匹配关系,提升方案在进行任务处理时的数据精度和网络系统的鲁棒性。
2、技术方案:第一方面本发明提供一种融合交叉注意力机制的激光雷达里程计方法,包括:
3、获取点云数据;
4、对获取的点云数据进行数据处理,获得去除异常值和缺失值的点云数据;
5、根据去除异常值和缺失值的点云数据中每个点云,分别进行二维映射获得连续帧图像;
6、将连续帧图像分别导入里程计网络模型,获得连续帧图像的特征向量;
7、选择连续两帧图像的特征向量进行transformer交叉编码处理,获得连续两帧点云数据的条件特征;
8、根据条件特征使用mlp网络,获得连续两帧图像之间的平移增量估计结果和旋转变化量估计结果;
9、将点云数据的平移增量估计结果和旋转变化量估计结果代入均方误差公式计算,获得平移增量估计结果和旋转变化量估计结果的损失值;
10、根据损失值进行反向传播,更新里程计网络模型参数,使网络模型输出值收敛于目标值;
11、基于更新的里程计网络模型用于根据输入的激光雷达实时点云数据,输出里程计结果。
12、在进一步的实施例中,对获取的点云数据进行数据处理,获得去除异常值和缺失值的点云数据的方法包括:
13、预设标准化处理阈值;
14、基于标准化处理阈值判断点云数据,确定点云数据中存在不满足标准化阈值的较小异常值、较大的异常值以及缺失值;
15、去除较小异常值、较大的异常值以及缺失值的点云,获得去除异常值和缺失值的点云数据。
16、在进一步的实施例中,根据点云数据集进行二维映射,获得点云数据的连续帧图像的方法包括:
17、根据去除异常值和缺失值的点云数据中每个点云,分别进行二维映射获得连续帧图像;
18、其中,点云数据中的每个点云为空间内物体实体或环境实体的三维坐标点构成,并将每个点云进行二维图像映射,获得每个点云所关联的单帧图像;
19、点云数据进行二维图像映射的表达式为:
20、
21、式中,(u,v)t是2d图像中像素点的坐标,每个像素点的3个通道分别是该点在空间中的3d坐标(x,y,z),u代表图像的横轴,v代表图像的纵轴,坐标原点位于图像左上角,深度d=(px2+py2)1/2,fh和fv分别是水平视野(field of view,fov)和垂直视野,垂直视野fv=fvu+fvl,其中fvu水平面以上部分,fvl是水平以下部分,δh和δv分别是像素表示的水平和垂直分辨率。
22、在进一步的实施例中,将连续帧图像分别导入里程计网络模型,获得连续帧图像的特征向量的方法包括:
23、将连续两帧图像,分别输入里程计网络模型中模型参数共享的两个网络类分支中进行处理,分别获得维度相同的连续两帧图像的特征向量。
24、在进一步的实施例中,选择连续两帧图像的特征向量进行transformer交叉编码处理,获得连续两帧点云数据的条件特征的方法包括:
25、将连续两帧图像的特征向量分别投影至进行低维度下,获得低维度投影的连续两帧特征向量;
26、低维度投影的连续两帧特征向量依次通过transformer交叉编码器的多头自我注意力层、多头交叉注意力层、位置感知前馈网络层处理,获得连续两帧的条件特征。
27、在进一步的实施例中,低维度投影的连续两帧特征向量依次通过transformer交叉编码器的多头自我注意力层、多头交叉注意力层、位置感知前馈网络层处理,获得连续两帧的条件特征的方法包括:
28、低维度投影的连续两帧特征向量分别通过多头自我注意力层进行连续两帧同一点云变换位置的预测;通过多头交叉注意力层比较连续两帧不同点云的点,使得连续两帧中任一点云用于与其它帧点云的信息交互;
29、通过位置感知前馈网络层进行连续两帧关键点云的激活操作,并根据连续两帧中任一点云与其它帧点云的信息交互进行位置编码,获得连续两帧点云数据的条件特征。
30、在进一步的实施例中,所述transformer交叉编码器设置有三个子层,每个子层均进行多头注意力操作;多头注意力中的每个注意力头,使用单头点积注意力对每个子层应用残差链接和层归一化;
31、其中,多头注意力操作的计算表达式为:
32、
33、
34、式中,q、k、v分别表示对应查询、键和值的矩阵;表示在通道维度上的串联操作;分别表示学习而来的矩阵元素;h表示头数,dhead表示头的维度,且dhead=d/nhead;
35、每个注意力头使用单头点积注意力的表达式为:
36、
37、式中,kt为矩阵k的转置矩阵。
38、在进一步的实施例中,连续两帧中任一点云用于与其它帧点云的信息交互的方法包括:
39、查询、键、值在自我注意力层中设置为相同的点云,获得当前帧点云对应和上一帧点云对应
40、使得点可以关注同一帧点云中的其它点。在交叉注意力层,键和值设置为来自其它帧点云的特征,即当前帧点云对应上一帧点云对应使得每个点可以与其它帧点云中的点进行信息交互。
41、在进一步的实施例中,根据条件特征使用mlp网络,获得连续两帧图像之间的平移增量估计结果和旋转变化量估计结果包括:
42、将连续两帧点云的条件特征在通道维度上串联起来,获得连续两帧点云串联结果的物理量;
43、采用线性全连接两个mlp网络分别对连续两帧点云串联结果的物理量进行回归计算,获得连续两帧点云数据之间的平移增量估计结果和旋转变化量估计结果。
44、在进一步的实施例中,将点云数据的平移增量估计结果和旋转变化量估计结果代入均方误差公式计算,获得平移增量估计结果和旋转变化量估计结果的损失值的表达式为:
45、
46、式中,nbs表示批量(batch size)大小;和分别表示上一帧点云到当前帧点云的平移增量和旋转变化量的目标值;λ1是损失项的系数;分别表示上一帧点云到当前帧点云的平移增量估计结果和上一帧点云到当前帧点云的旋转变化量估计结果。
47、有益效果:本发明与现有技术相比具有以下优点:
48、(1)相较于基于卷积神经网络的里程计方法,本发明引入了多头自我注意力和交叉注意力机制,用来实现全局信息聚合,同时通过位置编码引入点的位置,使网络能够利用刚性约束来纠正错误的匹配关系,提升方案的精度和鲁棒性。
49、(2)通过引入的注意力机制,能够利用刚性约束来纠正错误的匹配关系,从而提升方案的鲁棒性;
50、(3)对连续帧的点云数据进行预测,并能够直接从预测结果中估计刚性变换,提高方案的性能无需添加类似于随机样本一致性(random sample consensus,ransac)这类会给方案性能带来负面影响的后处理。
51、(4)通过本发明的方法不需要在大量的假设对应关系上运行ransac;通过卷积神经网络,可以先对原始数据进行降维或者抽取关键特征,从而减少下游网络需要处理的数据量,相较于其它引入学习的点云注册方法,从而具有更高的运行效率。
1.一种融合交叉注意力机制的激光雷达里程计方法,其特征在于,包括:
2.根据权利要求1所述的融合交叉注意力机制的激光雷达里程计方法,其特征在于,对获取的点云数据进行数据处理,获得去除异常值和缺失值的点云数据的方法包括:
3.根据权利要求1所述的融合交叉注意力机制的激光雷达里程计方法,其特征在于,根据点云数据集进行二维映射,获得点云数据的连续帧图像的方法包括:
4.根据权利要求1所述的融合交叉注意力机制的激光雷达里程计方法,其特征在于,将连续帧图像分别导入里程计网络模型,获得连续帧图像的特征向量的方法包括:
5.根据权利要求1所述的融合交叉注意力机制的激光雷达里程计方法,其特征在于,选择连续两帧图像的特征向量进行transformer交叉编码处理,获得连续两帧点云数据的条件特征的方法包括:
6.根据权利要求5所述的融合交叉注意力机制的激光雷达里程计方法,其特征在于,低维度投影的连续两帧特征向量依次通过transformer交叉编码器的多头自我注意力层、多头交叉注意力层、位置感知前馈网络层处理,获得连续两帧的条件特征的方法包括:
7.根据权利要求6所述的融合交叉注意力机制的激光雷达里程计方法,其特征在于,所述transformer交叉编码器设置有三个子层,每个子层均进行多头注意力操作;多头注意力中的每个注意力头,使用单头点积注意力对每个子层应用残差链接和层归一化;
8.根据权利要求6所述的融合交叉注意力机制的激光雷达里程计方法,其特征在于,连续两帧中任一点云用于与其它帧点云的信息交互的方法包括:
9.根据权利要求1所述的融合交叉注意力机制的激光雷达里程计方法,其特征在于,根据条件特征使用mlp网络,获得连续两帧图像之间的平移增量估计结果和旋转变化量估计结果包括:
10.根据权利要求1所述的融合交叉注意力机制的激光雷达里程计方法,其特征在于,将点云数据的平移增量估计结果和旋转变化量估计结果代入均方误差公式计算,获得平移增量估计结果和旋转变化量估计结果的损失值的表达式为: