本发明涉及图像分析，具体为基于点云和图像的三维目标检测方法、系统、设备和介质。
背景技术：
1、3d目标检测方法是一种基于图像处理的计算机视觉技术。现有3d目标检测方法包括基于点云的方法、基于体素的方法和基于投影的方法。基于点云的方法是直接处理从激光雷达等传感器获取的点云数据，使用点云特征直接进行物体分类和位置估计。基于体素的方法是将点云数据转换为体素（三维像素），然后使用神经网络处理这些体素。基于投影的方法是将点云投影到二维平面，然后使用传统的二维图像处理方法进行目标检测。但上述方法仅使用点云数据，易受点云数据量、稀疏性和环境依赖性（例如天气不好会影响点云数据的获取）的影响，造成目标检测准确度较低，检测质量不稳定。
技术实现思路
1、本发明的目的是提供一种基于点云和图像的三维目标检测方法、系统、设备和介质。
2、一种基于点云和图像的三维目标检测方法，包括如下操作：
3、s1、获取待检测场景的初始点云数据，将初始点云数据投影到二维平面，得到稀疏深度图；预设滑动窗口，滑动窗口遍历完稀疏深度图后，得到密集深度图；滑动窗口遍历稀疏深度图的过程中，将每个位置处滑动窗口内所有深度值替换为同位置滑动窗口内的深度值最大值，或将每个位置处滑动窗口内所有深度值替换为同位置滑动窗口内的深度值最小值；密集深度图经体素划分处理，得到同一体素内含有若干个点云的点云体素；
4、s2、获取待检测场景的初始图像数据，初始图像数据经图像特征提取，得到二维特征图；图像特征提取的操作具体为：初始图像数据经卷积和非线性处理，得到初始特征图；初始特征图与初始图像数据经坐标注意力处理，得到中间特征图；中间特征图依次经多层下采样处理和多层上采样处理，得到初始特征图；多层下采样处理和多层上采样处理的过程中，第一层下采样的输出和倒数第二层上采样的输出进行最后一层上采样处理，第二层下采样的输出和倒数第三层上采样的输出进行最后一层上采样处理；二维特征图和密集深度图分别经双线性插值处理后进行拼接处理，得到像素深度图；像素深度图经反投影处理，得到含有深度信息的图像特征点云；图像特征点云经体素划分处理，得到同一体素内含有若干个点云的图像体素；
5、s3、图像体素与点云体素经通道维度拼接或叠加或加权求和处理，得到综合特征体素；将综合特征体素投影到二维平面后进行归一化处理和边缘增强处理，得到待检特征图；将待检特征图铺满预设锚框，将与每个预设锚框的欧氏距离最小值对应的真实框，作为每个预设锚框对应的目标真实框；获取每个预设锚框，与对应目标真实框的交并比，将交并比大于交并比阈值对应的目标真实框的分类结果，作为相应预设锚框的检测标签；预设锚框的检测标签和对应位置，形成了三维目标检测结果。
6、s3中边缘增强的操作具体为：将归一化处理输出的归一化特征图进行高斯滤波处理，得到滤波特征图；获取滤波特征图中，每个位置点水平方向梯度和垂直方向梯度；基于每个位置点水平方向梯度和垂直方向梯度，得到每个位置点的梯度幅度；将滤波特征图中，梯度幅度不为邻域范围内梯度幅度最大值对应位置点的像素幅度设为第一数值，得到轻量特征图；将轻量特征图中梯度幅度大于第一幅度阈值的位置点，作为强边缘点；将轻量特征图中梯度幅度介于第一幅度阈值和第二幅度阈值之间的位置点，作为弱边缘点；第二幅度阈值小于第一幅度阈值；连接强边缘点和弱边缘点，得到特征边缘；特征边缘与归一化特征图经叠加处理，得到待检特征图。
7、s2中图像特征提取的操作之前，还包括对初始图像数据进行图像增强处理，得到初始图像增强数据，用于执行图像特征提取的操作；图像增强处理的操作具体为：基于初始图像数据与标准道路图像数据之间的色温差，以及初始图像数据每个位置点的红色通道值、绿色通道值和蓝色通道值，得到初始图像数据每个位置点相对于标准道路图像数据的红色通道色温增值、绿色通道色温增值和蓝色通道色温增值；基于初始图像数据每个位置点的红色通道色温增值、绿色通道色温增值和蓝色通道色温增值，得到初始图像数据每个位置点的平衡值；将初始图像数据每个位置点的像素值，除以对应的平衡值，得到每个位置点的色温更新值，得到初始图像增强数据。
8、s2中反投影的操作具体为：基于像素深度图中的坐标信息、激光雷达与相机坐标变换矩阵以及相机变换矩阵，得到三维特征点云；将三维特征点云，与像素深度图中对应的深度信息进行拼接处理，得到图像特征点云。
9、s1中得到稀疏深度图的操作具体为：将处于世界坐标系下的初始点云数据投影到相机坐标系，得到相机坐标系点云数据；将相机坐标系点云数据转换为二维图像坐标点后，进行过滤处理，保留相机视野内的坐标点，得到稀疏深度图。
10、s1中点云体素中，同一体素内的每个点云为，密集深度图中对应位置初始点云，与初始点云和体素中心之间的偏移量，的和。
11、s2中图像体素中，每个体素内的点云为图像特征点云中对应位置所有初始深度点云的平均值。
12、一种基于点云和图像的三维目标检测系统，包括：
13、点云体素生成模块，用于获取待检测场景的初始点云数据，将初始点云数据投影到二维平面，得到稀疏深度图；预设滑动窗口，滑动窗口遍历完稀疏深度图后，得到密集深度图；滑动窗口遍历稀疏深度图的过程中，将每个位置处滑动窗口内所有深度值替换为同位置滑动窗口内的深度值最大值，或将每个位置处滑动窗口内所有深度值替换为同位置滑动窗口内的深度值最小值；密集深度图经体素划分处理，得到同一体素内含有若干个点云的点云体素；
14、图像体素生成模块，用于获取待检测场景的初始图像数据，初始图像数据经图像特征提取，得到二维特征图；图像特征提取的操作具体为：初始图像数据经卷积和非线性处理，得到初始特征图；初始特征图与初始图像数据经坐标注意力处理，得到中间特征图；中间特征图依次经多层下采样处理和多层上采样处理，得到初始特征图；多层下采样处理和多层上采样处理的过程中，第一层下采样的输出和倒数第二层上采样的输出进行最后一层上采样处理，第二层下采样的输出和倒数第三层上采样的输出进行最后一层上采样处理；二维特征图和密集深度图分别经双线性插值处理后进行拼接处理，得到像素深度图；像素深度图经反投影处理，得到含有深度信息的图像特征点云；图像特征点云经体素划分处理，得到同一体素内含有若干个点云的图像体素；
15、三维目标检测结果生成模块，用于图像体素与点云体素经通道维度拼接或叠加或加权求和处理，得到综合特征体素；将综合特征体素投影到二维平面后进行归一化处理和边缘增强处理，得到待检特征图；将待检特征图铺满预设锚框，将与每个预设锚框的欧氏距离最小值对应的真实框，作为每个预设锚框对应的目标真实框；获取每个预设锚框，与对应目标真实框的交并比，将交并比大于交并比阈值对应的目标真实框的分类结果，作为相应预设锚框的检测标签；预设锚框的检测标签和对应位置，形成了三维目标检测结果。
16、一种基于点云和图像的三维目标检测设备，包括处理器和存储器，其中，处理器执行存储器中保存的计算机程序时实现上述的基于点云和图像的三维目标检测方法。
17、一种计算机可读存储介质，用于存储计算机程序，其中，计算机程序被处理器执行时实现上述的基于点云和图像的三维目标检测方法。
18、本发明的有益效果在于：
19、本发明提供的一种基于点云和图像的三维目标检测方法，首先获取能够准确反映待检测场景中3d目标表面形状、大小和空间位置信息的初始点云数据，将初始点云数据转化为稀疏深度图后通过滑动窗口遍历深度值的方式，得到密集深度图，将密集深度图进行体素化，得到点云体素；然后，获取能够准确反映待检测场景中3d目标的像素语义特征且不易受环境影响的初始图像数据，将初始图像数据进行图像特征提取，得到语义表达能力强的二维特征图；并将密集深度图与二维特征图进行双线性插值处理和拼接处理后，得到含有逐像素深度信息和特征信息的像素深度图；接着将像素深度图进行反投影处理和体素划分，得到含有深度信息且结构表现能力强的图像体素；接着，将图像体素与点云体素结合，得到综合特征体素；并将综合特征体素通过投影到二维平面后进行归一化处理和边缘增强处理，得到待检特征图；最后，基于预设锚框和真实锚框之间的交并比大小，获得待检场景中三维目标检测结果；该检测方法基于点云数据和图像数据进行特征分析，不易受点云数据量、稀疏性和环境依赖性的影响，目标检测准确度较高，检测质量较稳定。
1.一种基于点云和图像的三维目标检测方法，其特征在于，包括如下操作：
2.根据权利要求1所述的基于点云和图像的三维目标检测方法，其特征在于，所述s3中边缘增强的操作具体为：
3.根据权利要求1所述的基于点云和图像的三维目标检测方法，其特征在于，所述s2中图像特征提取的操作之前，还包括对初始图像数据进行图像增强处理，得到初始图像增强数据，用于执行所述图像特征提取的操作；
4.根据权利要求1所述的基于点云和图像的三维目标检测方法，其特征在于，所述s2中反投影的操作具体为：
5.根据权利要求1所述的基于点云和图像的三维目标检测方法，其特征在于，所述s1中得到稀疏深度图的操作具体为：
6.根据权利要求1所述的基于点云和图像的三维目标检测方法，其特征在于，所述s1中点云体素中，同一体素内的每个点云为，密集深度图中对应位置初始点云，与初始点云和体素中心之间的偏移量，的和。
7.根据权利要求1所述的基于点云和图像的三维目标检测方法，其特征在于，所述s2中图像体素中，每个体素内的点云为图像特征点云中对应位置所有初始深度点云的平均值。
8.一种基于点云和图像的三维目标检测系统，其特征在于，包括：
9.一种基于点云和图像的三维目标检测设备，其特征在于，包括处理器和存储器，其中，所述处理器执行所述存储器中保存的计算机程序时实现如权利要求1-7任一项所述的基于点云和图像的三维目标检测方法。
10.一种计算机可读存储介质，其特征在于，用于存储计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述的基于点云和图像的三维目标检测方法。
