本发明涉及物体跟踪，具体涉及一种基于yolo的多传感器融合动态物体跟踪方法。
背景技术：
1、随着无人驾驶技术的迅猛发展，动态物体跟踪作为核心技术亦呈现蓬勃的发展势头。传统目标检测长期以来仅局限于在二维平面上提供预测框，无法为无人驾驶车辆在复杂多变的交通环境中的安全行驶提供具备空间结构的深度信息。为实现无人驾驶汽车在实际道路中的正常运行，三维（3d）动态物体跟踪的任务不仅仅包括识别物体类别，还需在此基础上准确捕捉物体在三维空间中的位置、大小、朝向和速度，并输出物体的历史轨迹，以便为下层的预测和决策模块提供关键信息，制定安全的决策。总体而言，传统的动态物体跟踪方法包括基于图像的动态物体跟踪和基于激光点云的动态物体跟踪。
2、1.基于图像的动态物体跟踪：
3、其主要原理是通过车载摄像头感知周围环境，依赖物体的运动特性和独特特征来实现对检测对象的识别。该过程包括使用帧差法对目标车辆进行识别，通过去除背景，利用多帧图片的连续性进行对比，以预测处于运动状态的目标车辆；或者通过光流法，利用连贯图像中的像素进行匹配，计算得出运动物体的参数，并以此进行物体类别的决策。然而，这些方法都以物体的运动特征为检测切入点，存在限制条件多、计算量大等缺陷，因此在大规模应用中面临一定困难。局部关键特征点的尺度不变特征（sift）、图像方向梯度的直方图特征（hog）以及多种局部特征融合的方案等方法虽然被尝试，但效果仍然远远不及深度学习方法。
4、2.基于激光点云的动态物体跟踪：
5、voxelnet模型提出了体素概念，以规避原始激光点云的无序特性，将激光点云划分为一系列体素，并通过对每个体素提取局部特征进行检测。尽管这种方法在处理激光点云的无序性方面取得了一定成功，但仍然需要大量计算资源，难以满足实时性的需求。虽然基于体素的方法有效解决了原始激光点云无序性的问题，但体素化过程可能导致激光点云失去重要的语义信息，引发信息缺失。特别是在复杂交通场景中，这种方法难以准确再现真实场景。
6、激光点云本身蕴含丰富的物理结构信息，而逐点处理网络pointnet则直接以原始激光点云数据作为检测网络的数据源，从而避免造成原始激光点云中的物理信息丢失。这种直接将原始激光点云作为输入的目标检测网络在根源上避免了激光点云中深度信息的丧失。然而，激光点云数据本身具有庞大且复杂的特点，不经过充分处理直接输入检测网络对计算机算力水平提出了较高要求，同时也会显著增加检测网络的数据处理时间。
7、整个无人驾驶环境感知系统如果仅依赖单一类型传感器感知交通环境信息的问题，则难以应对复杂多变的交通环境，从而无法确保无人驾驶的安全性。
技术实现思路
1、为解决上述技术问题，本发明提供一种基于yolo的多传感器融合动态物体跟踪方法。
2、为解决上述技术问题，本发明采用如下技术方案：
3、一种基于yolo的多传感器融合动态物体跟踪方法，通过激光雷达采集场景中的激光点云，通过相机采集场景的图像，并实现场景中的动态物体的跟踪；具体包括以下步骤：
4、步骤一，检测并匹配图像上的关键特征点：对于图像上的每一个像素点，定义一个局部窗口，通过使用滤波器来获取所述局部窗口内的像素梯度，像素梯度包括水平梯度和垂直梯度，构建结构矩阵：；
5、通过对结构矩阵进行特征值分解，得到特征值和；定义一个角点响应函数来表示特征值的较小者，即，如果r小于设定的阈值，则角点响应函数对应的像素点为具有角点特征的像素点；将图像中具有角点特征的像素点作为关键特征点，对每个关键特征点周围的局部图像结构进行建模，生成二进制的描述子；
6、对于一帧图像上的每个描述子d1，在相邻帧图像的中寻找与描述子d1具有最小汉明距离的一个描述子d2，则描述子d1对应的关键特征点与描述子d2对应的关键特征点为匹配的关键特征点，进而得到相邻两帧图像中所有关键特征点的匹配关系；
7、步骤二，通过车辆坐标系到相机坐标系的旋转矩阵和平移矩阵，以及相机坐标系到像素坐标系的转换矩阵，将激光点云投影到图像上；
8、步骤三，使用yolo算法进行图像目标识别：采用yolo算法为场景中的动态物体生成二维边界框，二维边界框内的关键特征点为所述动态物体对应的关键特征点；二维边界框内的激光点云为所述动态物体对应的激光点云；
9、步骤四，相邻的两帧图像分别记为，其中为时刻采集到的图像，为时刻采集到的图像；对于任意一个动态物体，对图像中动态物体所对应的激光点云的三维坐标求均值，将得到的结果作为动态物体中心位置在图像中的三维坐标；根据相邻两帧图像中关键特征点的匹配关系，在第帧图像中找到动态物体，对第帧图像中动态物体所对应的激光点云的三维坐标求均值，将得到的结果作为动态物体中心位置在图像中的三维坐标；根据动态物体中心位置在图像中的三维坐标，以及动态物体中心位置在图像中的三维坐标，得到动态物体的位移距离；根据动态物体的位移距离以及相邻两帧图像的时间间隔，得到动态物体的运动速度；实现动态物体的跟踪。
10、进一步地，还包括能够得到车辆从正常行驶到发生碰撞所用时间的碰撞检测过程；所述碰撞检测过程具体包括：
11、车辆从正常行驶到发生碰撞所用的时间为：
12、；
13、其中，表示时刻车辆距离相机中心的水平距离，表示时刻车辆速度；是关于距离权重与速度权重的函数；表示时刻车辆高度在相机平面的投影高度；表示时刻车辆高度在相机平面的投影高度；表示相邻两帧图像之间的时间间隔，；动态物体在图像中第i个关键特征点和第j个关键特征点之间的距离记为；动态物体在图像中第i个关键特征点和第j个关键特征点之间的距离记为；将多个关键特征点对(在相邻两帧图像的距离之比的中位数，作为动态物体在相邻两帧图像的比例。
14、进一步地，步骤三中，采用yolo算法为场景中的动态物体生成二维边界框时，yolo算法所采用的的神经网络能够输出包含同一个动态物体的多个二维边界框，使用非极大值抑制算法来除去多余的二维边界框，对一个动态物体仅保留具有最高置信度的二维边界框。
15、进一步地，步骤三中采用yolo算法为场景中的动态物体生成二维边界框时，将yolo算法所采用的的神经网络输出的二维边界框，缩小设定的比例后，作为最终的二维边界框。
16、进一步地，步骤一中，具体采用brisk算法，对每个关键特征点周围的局部图像结构进行建模，生成二进制的描述子。
17、与现有技术相比，本发明的有益技术效果是：
18、本发明通过采用轻量级网络yolo v5以满足实时性要求，并将图像信息与激光点云信息融合，以获取动态物体的实时位置和速度，计算动态物体与无人车碰撞时间，可视化动态物体追踪效果，从而支持移动机器人在鲁棒的导航决策中的应用。
1.一种基于yolo的多传感器融合动态物体跟踪方法，通过激光雷达采集场景中的激光点云，通过相机采集场景的图像，并实现场景中的动态物体的跟踪；具体包括以下步骤：
2.根据权利要求1所述的基于yolo的多传感器融合动态物体跟踪方法，其特征在于，还包括能够得到车辆从正常行驶到发生碰撞所用时间的碰撞检测过程；所述碰撞检测过程具体包括：
3.根据权利要求1所述的基于yolo的多传感器融合动态物体跟踪方法，其特征在于，步骤三中，采用yolo算法为场景中的动态物体生成二维边界框时，yolo算法所采用的的神经网络能够输出包含同一个动态物体的多个二维边界框，使用非极大值抑制算法来除去多余的二维边界框，对一个动态物体仅保留具有最高置信度的二维边界框。
4.根据权利要求1所述的基于yolo的多传感器融合动态物体跟踪方法，其特征在于，步骤三中采用yolo算法为场景中的动态物体生成二维边界框时，将yolo算法所采用的的神经网络输出的二维边界框，缩小设定的比例后，作为最终的二维边界框。
5.根据权利要求1所述的基于yolo的多传感器融合动态物体跟踪方法，其特征在于，步骤一中，具体采用brisk算法，对每个关键特征点周围的局部图像结构进行建模，生成二进制的描述子。
