本技术涉及目标检测,具体涉及一种目标检测方法、系统及装置。
背景技术:
1、空中机器人(例如,无人机)和地面机器人作为自主移动载体,广泛应用于货物运输、目标探测以及目标打击等任务。空中机器人和地面机器人各有优劣,二者适应不同的任务和环境,具体的,空中机器人可在短时间内快速改变位置和高度,其灵活性和机动性较强,能够轻松穿越障碍物或复杂地形,基于空中机器人所搭载的传感器,可快速收集用于监视环境、气象状况、地形变化等信息的数据,但空中机器人的续航和承载能力较弱,受天气和环境的影响较大。地面机器人的续航和承载能力较强,能够搭载更强大的功能性设备,并具有更广阔的可移动范围,然而,其易受地形限制,且移动速度较慢,并且,搭载在地面机器人上的传感器由于其高度有限,因此在视野和监视范围上较为受限。
2、由于搭载在机器人上的传感器不同,导致获取到的数据形式不同,例如,目前常用的传感器类型为相机和激光雷达,相机采集的图像数据与激光雷达采集的点云数据在数据格式上有本质区别。基于相机的目标检测方法具有传感器造价低且图像数据信息丰富的特点,采集的信息包括颜色、纹理形状等,对场景的描述较为全面,图像数据的缺点是缺少深度信息,无法判断目标在全局三维坐标系中的大小和位置,并且,由于相机是被动接收物体反射光线的成像原理,因此较容易受到强光和弱光的干扰,导致基于图像的目标检测方法的鲁棒性较低。基于激光雷达的目标检测方法具有三维信息准确的优点,能够通过主动发射激光束测量环境信息,在三维目标检测上具有优势,然而,激光雷达的采集数据具有远疏近密的特点,并且缺少颜色和纹理等信息,不足以完整的描述场景信息,对目标类别的检测精度较低。
3、因此,空中机器人或地面机器人所搭载的单一类型传感器具有其自身的局限性,无法满足在复杂环境中准确进行目标检测。
技术实现思路
1、本发明提供一种目标检测方法、系统及装置,以解决现有的空中机器人或地面机器人所搭载的单一类型传感器具有其自身的局限性,无法满足在复杂环境中准确进行目标检测的问题。
2、为了解决或部分解决上述技术问题,根据本发明的一方面,提供一种目标检测方法,该方法包括:
3、获取空中机器人针对目标区域采集的俯视图像,并同步获取地面机器人针对所述目标区域采集的点云数据;
4、对所述俯视图像进行特征提取,获得图像特征,并对所述点云数据进行特征提取,获得点云特征;
5、对所述图像特征和所述点云特征进行特征融合处理,获得融合特征;
6、基于所述融合特征进行目标检测,获得检测结果信息。
7、在一种实施方式中,所述对所述图像特征和所述点云特征进行特征融合处理,获得融合特征,包括:
8、根据所述地面机器人的位置信息构建鸟瞰平面网格;
9、将所述图像特征映射到鸟瞰平面空间,获得鸟瞰空间图像特征,并将所述点云特征映射到所述鸟瞰平面空间,获得鸟瞰空间点云特征;
10、将所述鸟瞰空间图像特征和所述鸟瞰空间点云特征分别置入所述鸟瞰平面网格中,并对置入所述鸟瞰平面网格中的特征信息进行池化操作,获得所述融合特征。
11、在一种实施方式中,所述获取空中机器人针对目标区域采集的俯视图像,包括:获取空中机器人的俯视相机针对目标区域所摄取的俯视图像;
12、所述将所述图像特征映射到鸟瞰平面空间,获得鸟瞰空间图像特征,包括:
13、对俯视图像特征点进行离散深度估计,获得俯视图像特征点的离散深度;
14、基于所述俯视图像特征点的像素位置、所述离散深度以及相机内参矩阵,将所述俯视图像特征转换为视锥点云特征;
15、将所述视锥点云特征从所述俯视相机的相机坐标系转换至地面机器人坐标系,并将转换后的视锥点云特征的坐标压缩至鸟瞰平面,获得鸟瞰空间图像特征。
16、在一种实施方式中,所述获取地面机器人针对所述目标区域采集的点云数据,包括:获取所述地面机器人的激光雷达针对所述目标区域所采集的点云数据;
17、所述将所述点云特征映射到所述鸟瞰平面空间,获得鸟瞰空间点云特征,包括:基于预先标定的所述激光雷达的雷达坐标系到地面机器人坐标系的旋转矩阵和平移向量,将所述点云特征从所述激光雷达的雷达坐标系转换至地面机器人坐标系,并将转换后的点云特征的坐标压缩至鸟瞰平面,获得所述鸟瞰空间点云特征。
18、在一种实施方式中,所述将所述视锥点云特征从所述俯视相机的相机坐标系转换至地面机器人坐标系,包括:
19、获得所述空中机器人在全局坐标系中的第一空间坐标和所述地面机器人在所述全局坐标系中的第二空间坐标;
20、基于预先标定的相机坐标系到空中机器人坐标系的旋转矩阵和平移向量、所述第一空间坐标、以及所述第二空间坐标,将所述视锥点云特征映射到所述地面机器人坐标系。
21、在一种实施方式中,所述获得所述空中机器人在全局坐标系中的第一空间坐标和所述地面机器人在所述全局坐标系中的第二空间坐标,包括:
22、根据全局坐标系中多个已知参考点的位置坐标,计算获得所述空中机器人在初始时间的第一全局三维坐标和所述地面机器人在所述初始时间的第二全局三维坐标;
23、获得所述空中机器人从所述初始时间到当前时间的第一位置增量,并获得所述地面机器人从所述初始时间到当前时间的第二位置增量;
24、根据所述第一全局三维坐标和所述第一位置增量,计算获得所述空中机器人在全局坐标系中的第一空间坐标,并根据所述第二全局三维坐标和所述第二位置增量,计算获得所述地面机器人在全局坐标系中的第二空间坐标。、
25、在一种实施方式中,所述方法还包括:对所述俯视图像进行数据预处理,和/或,对所述点云数据进行数据预处理。
26、根据本发明的另一方面,提供一种目标检测系统,该系统包括:
27、俯视图像采集模块、点云数据采集模块、图像特征提取模块、点云特征提取模块、特征融合模块、以及目标检测模块,所述俯视图像采集模块设置于空中机器人,所述点云数据采集模块设置于地面机器人,所述图像特征提取模块运行于所述空中机器人或控制终端,所述点云特征提取模块运行于所述地面机器人或所述控制终端,所述特征融合模块运行于所述地面机器人或所述控制终端,所述目标检测模块运行于所述地面机器人或所述控制终端;
28、其中,所述俯视图像采集模块用于采集获得目标区域的俯视图像,所述点云数据采集模块用于采集获得所述目标区域的点云数据;所述图像特征提取模块用于对所述俯视图像进行特征提取,获得图像特征;所述点云特征提取模块用于对所述点云数据进行特征提取,获得点云特征;所述特征融合模块用于对所述图像特征和所述点云特征进行特征融合处理,获得融合特征;所述目标检测模块用于基于所述融合特征进行目标检测,获得检测结果信息。
29、根据本发明的另一方面,提供一种目标检测装置,该装置包括:
30、数据获取单元,用于获取空中机器人针对目标区域采集的俯视图像,并同步获取地面机器人针对所述目标区域采集的点云数据;
31、特征提取单元,用于对所述俯视图像进行特征提取,获得图像特征,并对所述点云数据进行特征提取,获得点云特征;
32、特征融合单元,用于对所述图像特征和所述点云特征进行特征融合处理,获得融合特征;
33、目标检测单元,用于基于所述融合特征进行目标检测,获得检测结果信息。
34、根据本发明的另一方面,还提供一种计算机可读存储介质,其上存储有一条或多条计算机指令,该指令被处理器执行以实现上述目标检测方法。
35、与现有技术相比,本发明具有以下优点:
36、本发明提供的目标检测方法包括:获取空中机器人针对目标区域采集的俯视图像,并同步获取地面机器人针对目标区域采集的点云数据;对俯视图像进行特征提取,获得图像特征,并对点云数据进行特征提取,获得点云特征;对图像特征和点云特征进行特征融合处理,获得融合特征,并基于融合特征进行目标检测,获得检测结果信息。该方法分别基于空中机器人采集的俯视图像和地面机器人采集的点云数据进行特征提取,并对所提取的图像特征和点云特征进行特征融合处理后,基于融合特征进行目标检测,使得目标检测过程兼具图像数据和点云数据的优点,实现了空中机器人和地面机器人在目标检测过程中的优势互补,能够有效克服复杂环境对目标检测过程的影响,可有效避免现有的空中机器人或地面机器人所搭载的单一类型传感器的局限性、因而无法满足在复杂环境中准确进行目标检测的问题。
1.一种目标检测方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述对所述图像特征和所述点云特征进行特征融合处理,获得融合特征,包括:
3.根据权利要求2所述的方法,其特征在于,所述获取空中机器人针对目标区域采集的俯视图像,包括:获取空中机器人的俯视相机针对目标区域所摄取的俯视图像;
4.根据权利要求2所述的方法,其特征在于,所述获取地面机器人针对所述目标区域采集的点云数据,包括:获取所述地面机器人的激光雷达针对所述目标区域所采集的点云数据;
5.根据权利要求3所述的方法,其特征在于,所述将所述视锥点云特征从所述俯视相机的相机坐标系转换至地面机器人坐标系,包括:
6.根据权利要求5所述的方法,其特征在于,所述获得所述空中机器人在全局坐标系中的第一空间坐标和所述地面机器人在所述全局坐标系中的第二空间坐标,包括:
7.根据权利要求1所述的方法,其特征在于,还包括:对所述俯视图像进行数据预处理,和/或,对所述点云数据进行数据预处理。
8.一种目标检测系统,其特征在于,所述系统包括:
9.一种目标检测装置,其特征在于,所述装置包括:
10.一种计算机可读存储介质,其上存储有一条或多条计算机指令,其特征在于,该指令被处理器执行以实现如权利要求1-7中任一项所述的方法。
