本发明涉及雷达定位，特别是涉及基于毫米波雷达与光学相机信息融合的目标定位方法。
背景技术：
1、近年来，我国基础设施建设和大型工程建设发展迅速，陆续建设了一系列举世瞩目的现代工程，如公路、铁路、城市轨道交通、水利水电、超高层建筑，新建的桥梁、隧道、大坝、大楼等大型建筑物越来越多。
2、由于大型建筑物在施工和长期使用过程中，存在各种内力和外力的影响，建筑物在各个方向上都可能产生形变，直观反映为空间上的位移。例如在隧道施工过程中，围岩可能会产生微小的形变，如果不采取实时监测的措施来对隧道进行形变监测，那么隧道中岩土的快速变形以及围岩的快速收敛就能导致隧道塌方，造成安全事故。一旦形变的程度超过建筑物所能承受的范围时，会有整体变形垮塌的危险，从而威肋、人们的安全。虽然很难实时测量建筑物内承受的各种内力和外力，但可以通过一定的方法对内外力产生的形变量进行实时监测，这就是微位移变形监测。通过实时的监测，一方面可以通过采用及时的防护措施，在很大程度上降低事故发生的可能性，从而减少事故带来的损失；另一方面可以通过监测数据分析掌握建筑物变形的触发机理和发展过程，建立较为精确的预测模型，为改善建筑物施工方法和科学养护提供理论依据。因此，如何快速精确地获取建筑物形变数据，从而进行结构稳定性判决成为函待解决的关键问题。
3、目前常用的工程测量手段有常规大地测量、空间大地测量、摄影测量与遥感等技术。常规大地测量(如全站仪))适用于不同工作环境和检测物，但其野外工作强度大、效率低、受人为因素影响大；空间测量技术中，gnss可以获得高精度的三维坐标，但其测量受外界环境影响大，在很多复杂环境难以单独定位；遥感技术可连续观测区域变化但时间和空间分辨率均比较低；摄影测量技术在一定程度上减少了外业工作量，可提供形变区域中任意点位的形变信息，但摄影测量对观测环境要求较高且精度较低。现有的微小形变监测技术主要分为接触式测量方法和非接触式测量方法。接触式测量方法包括传统测量方法、光纤应变测量方法以及卫星导航定位测量方法等；非接触式测量方法包括近景摄影测量、三维激光扫描以及地基差分干涉雷达等。
4、桥梁形变监测中，如何进行数据融合是实现毫米波雷达与光学相机信息融合的重要组成内容，也是整个系统获取准确信息的关键。
技术实现思路
1、本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
2、为此，本发明提出了一种基于毫米波雷达与光学相机信息融合的目标定位方法，毫米波雷达与光学相机信息的融合，可以很好的利用传感器提供的互补信息，降低对某单一传感器的依赖性，使融合后的信息更为丰富、全面，有利于图像的识别，提高了在不同环境和气候条件下的检测能力。
3、本发明的另一个目的在于提出一种基于毫米波雷达与光学相机信息融合的目标定位系统。
4、为达上述目的，本发明一方面提出一种基于毫米波雷达与光学相机信息融合的目标定位方法，包括：
5、获取基于待定位的目标图像的坐标系位置关系；其中，所述坐标系位置关系，包括摄像机坐标系、雷达坐标系、图像坐标系和三维世界坐标系的位置关系；
6、基于雷达坐标系、三维世界坐标系与摄像机坐标系之间的转换关系构建基于单帧静态图像的测距模型；
7、基于世界坐标系、摄像机坐标系、图像坐标系以及像素坐标系之间的转换关系对摄像机的内部参数进行标定得到摄像机内参标定结果；
8、利用所述基于单帧静态图像的测距模型提取待定位的目标图像的目标特征信息，并基于摄像机内参标定结果计算所述目标特征信息与摄像机的相对距离。
9、本发明实施例的基于毫米波雷达与光学相机信息融合的目标定位方法还可以具有以下附加技术特征：
10、在本发明的一个实施例中，所述坐标系位置关系，包括：
11、预设设摄像机坐标系为oc-xcyczc，以摄像头光心为原点，xc轴指向地面，yc轴指向右侧，zc轴指向前方向；
12、预设雷达坐标系为or-xryrzr，以雷达几何中心为原点，xr指向雷达左侧，yr垂直向上，zr指向前方向；
13、三维世界坐标系为ow-xwywzw，图像坐标系是二维平面坐标系，记为op-xpypzp。
14、在本发明的一个实施例中，三维世界坐标系o—xyz的xoz平面与雷达坐标系o0-x0o0z的x0o0z平面平行，两平面之间距离为h；得到雷达扫描范围内目标p与雷达之间相对距离r和相对角度a的坐标系数据，po0＝r，∠po0z＝α；将雷达坐标系中的目标p，转换到三维世界坐标系中：
15、
16、在本发明的一个实施例中，获取镜头前方目标与路面的交点p在像平面上的投影坐标；根据几何关系得到点p与镜头水平距离的计算公式：
17、
18、其中，h为ccd摄像机的安装高度，y0为0，f是ccd摄像机的焦距，y是前方监测目标在ccd摄像机像平面y轴上的投影。
19、在本发明的一个实施例中，在摄像机内部传感器的存储坐标系为像素坐标系(u，v)，预设o1(u0,v0)是ccd光轴和成像平面交点(x0，y0)的像素坐标，设(u0,v0)表示xo1y坐标系的坐标原点o1在坐标系uo0v的坐标，每一个像素在x轴与y轴方向上的物理尺寸为dx和dy；则像素坐标系与摄像机坐标系之间的转换关系为：
20、
21、
22、在本发明的一个实施例中，将图像坐标系与像素坐标系之间的转换关系用矩阵表示：
23、
24、逆运算转变为：
25、
26、在本发明的一个实施例中，对摄像机的内部参数进行标定得到摄像机内参标定结果，包括：
27、预设o为摄像机中心，与xc、yc和zc轴组成摄像机坐标系，xy为图像平面，其中x轴与xc轴相平行，y轴与yc轴相平行，z轴为摄像机的光轴与图像平面垂直；其中，
28、世界坐标系转换为摄像机坐标系：设物体p为刚性点，世界坐标系(xw,yw,zw)和摄像机坐标系(xc,yc,zc)之间的变换为：
29、
30、其中，r为3×3正交单位矩阵，t为三维平移向量，m1为4×4矩阵；
31、摄像机坐标系转换为图像坐标系：空间里任意一点(xc,yc,zc)与摄像机中心o连线op与像平面的交点，投影位置为(x,y)，利用中心小孔成像几何关系，得到以下比例关系：
32、
33、转化为齐次坐标与矩阵表示为：
34、
35、世界坐标系转化为像素坐标系：
36、
37、其中，ax＝f/dx,ay＝f/d，m1为内部参数，m2为外部参数，m为投影矩阵。
38、在本发明的一个实施例中，所述方法，还包括利用张正友标定方法进行摄像机标定。
39、为达上述目的，本发明另一方面提出一种基于毫米波雷达与光学相机信息融合的目标定位系统，包括：
40、位置关系构建模块，用于获取基于待定位的目标图像的坐标系位置关系；其中，所述坐标系位置关系，包括摄像机坐标系、雷达坐标系、图像坐标系和三维世界坐标系的位置关系；
41、测距模型构建模块，用于基于雷达坐标系、三维世界坐标系与摄像机坐标系之间的转换关系构建基于单帧静态图像的测距模型；
42、相机内参标定模块，用于基于世界坐标系、摄像机坐标系、图像坐标系以及像素坐标系之间的转换关系对摄像机的内部参数进行标定得到摄像机内参标定结果；
43、目标距离计算模块，用于利用所述基于单帧静态图像的测距模型提取待定位的目标图像的目标特征信息，并基于摄像机内参标定结果计算所述目标特征信息与摄像机的相对距离。
44、本发明实施例的基于毫米波雷达与光学相机信息融合的目标定位方法和系统，实现基于毫米波雷达与光学相机空间上的数据融合，降低对某单一传感器的依赖性，使融合后的信息更为丰富、全面，有利于图像的识别，提高了在不同环境和气候条件下的检测能力。
45、本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
1.一种基于毫米波雷达与光学相机信息融合的目标定位方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的方法，其特征在于，所述坐标系位置关系，包括：
3.根据权利要求2所述的方法，其特征在于，三维世界坐标系o—xyz的xoz平面与雷达坐标系o0-x0o0z的x0o0z平面平行，两平面之间距离为h；得到雷达扫描范围内目标p与雷达之间相对距离r和相对角度a的坐标系数据，po0＝r，∠po0z＝α；将雷达坐标系中的目标p，转换到三维世界坐标系中：
4.根据权利要求1所述的方法，其特征在于，获取镜头前方目标与路面的交点p在像平面上的投影坐标；根据几何关系得到点p与镜头水平距离的计算公式：
5.根据权利要求1所述的方法，其特征在于，在摄像机内部传感器的存储坐标系为像素坐标系(u，v)，预设o1(u0,v0)是ccd光轴和成像平面交点(x0，y0)的像素坐标，设(u0,v0)表示xo1y坐标系的坐标原点o1在坐标系uo0v的坐标，每一个像素在x轴与y轴方向上的物理尺寸为dx和dy；则像素坐标系与摄像机坐标系之间的转换关系为：
6.根据权利要求2所述的方法，其特征在于，将图像坐标系与像素坐标系之间的转换关系用矩阵表示：
7.根据权利要求3所述的方法，其特征在于，对摄像机的内部参数进行标定得到摄像机内参标定结果，包括：
8.根据权利要求4所述的方法，其特征在于，所述方法，还包括利用张正友标定方法进行摄像机标定。
9.一种基于毫米波雷达与光学相机信息融合的目标定位系统，其特征在于，包括：
