本发明属于无人机空中摄影测量，尤其涉及一种适用于低重叠度无人机影像的摄影测量方法及系统。
背景技术：
1、无人机遥感平台是近几十年兴起的航空摄影和对地观测遥感平台，其具备快速、灵活、成本低、空间分辨率高等特点，在各个领域中发挥着日益重要的作用。在传统无人机航空摄影测量的数据采集中，往往要求影像的航向重叠度在60％左右,使得数据采集和数据处理会耗费大量时间，因此具有一定的局限性。为了满足应急救援、航空侦察和快速地质监测等时效性要求很高的特殊领域，国内外一些无人机上搭载的相机通过低重叠度(10％～30％)的方式采集数据，同时结合pos(position and orientation system)系统获取的相机位置与姿态信息来进行空中三角测量解算，从而达到以更少架次、更快处理速度来完成摄影测量处理的目的。然而，受到飞行高度、传感器大小以及相机焦距等因素的限制，该无人机遥感平台获取的影像多为幅面小、重叠度低的影像序列，同时考虑到无人机平台搭载的光学相机多为非量测普通数码相机，其不具备精确的相机内参数，这些都会给后续数据处理带来较大困难。
2、无人机的航空摄影测量可以分为三个阶段：空中三角测量，稠密重建，以及摄影测量产品制作。空中三角测量是通过测量同一场景中不同位置的特征点在图像上的投影，从而推导出相机的外方位元素。首先要获取影像之间的同名点，这通常又分为特征提取与特征匹配两步。而对于低重叠度无人机影像，同名点的提取是一大挑战，由于影像之间重叠部分非常少，因此匹配难度大、很容易产生大量误匹配。为此，现有方法会结合pos系统得到的相机位姿先验知识来作为约束，用于剔除误匹配，但是还是很难得到数量合适的、分布均匀的同名点，而这则会直接导致空中三角测量不稳定甚至失败。也有研究采用slam(simultaneous localization and mapping)技术来实现，但对于重叠度低的影像也效果不佳。在完成空中三角测量之后，利用稠密重建技术可以生成场景高分辨率、高密度的三维模型，具体而言，是通过多个视图中的图像匹配来恢复三维场景的深度信息。但是对于低重叠度的无人机影像，影像中的很多区域往往只有单一观测、没有重叠，也就无法进行匹配，因此生成的三维密集点云和网格模型中会存在很多空洞，现有方法无法解决。至于摄影测量产品制作，主要包括两种产品，即正射影像(digital orthophoto model，dom)和数字表面模型(digital surface model,dsm)。而对于低重叠度无人机影像，由于稠密重建的结果不完整、存在空洞，因此也不能生成完整、稠密的数字表面模型。并且在生成正射影像时，只能采用低分辨率的数字表面模型或者网格模型来进行正射校正，无法生成高质量的真正射影像。
3、通过上述分析，现有技术存在的问题及缺陷为：
4、(1)难以在低重叠度影像提取到足量、准确的同名点，空中三角测量不稳定。现有技术难以准确地匹配低重叠度影像，往往会得到大量错误的同名点，这会直接导致三角测量失败，难以满足复杂应用场景的需求。
5、(2)缺乏针对低重叠度影像的稠密重建方法。由于低重叠度影像中的无重叠区域无法进行立体观测，因此现有方法无法进行图像匹配，也无法生成完整的稠密点云和网格模型。
6、(3)缺乏适用于低重叠度影像的摄影测量产品制作方法。由于基于低重叠度影像的稠密重建往往无法得到完整、稠密的结果，存在很多空洞，因此会直接影响正射影像和数字表面模型的生成，会导致数字表面模型不完整、正射影像扭曲等情况。
技术实现思路
1、针对现有技术存在的问题，本发明提供了一种适用于低重叠度无人机影像的摄影测量方法及系统，尤其涉及一种包含鲁棒空中三角测量和单目深度估计支持的稠密重建的低重叠度无人机影像的摄影测量方法、系统、存储介质、计算机设备、信息数据处理终端及应用。
2、本发明是这样实现的，一种适用于低重叠度无人机影像的摄影测量方法包括：引入改进的特征匹配方法，在结合pos获取的无人机影像位姿的基础上，实现快速、高精度的同名点提取，然后利用增量式的运动恢复结构(structure from motion,sfm)方法，实现稳定可靠的无人机空中三角测量；在空中三角测量之后，利用多视图立体匹配(multi-viewstereo，mvs)方法，进行第一次稠密重建，获取每张影像对应的深度图，针对低重叠率导致的深度图不完整的情况，采用单目深度估计算法获得稠密、完整的无尺度深度图，利用mvs生成的不完整深度图，采用直方图匹配的方法恢复单目深度估计生成的深度图的尺度，然后利用这些完整的、有真实尺度信息的深度图进行第二次稠密重建，得到稠密、完整的密集点云和网格模型；在完整稠密重建的基础上，生成高分辨率、完整的dsm，并基于此生成高精度真正射影像。
3、进一步，适用于低重叠度无人机影像的摄影测量方法包括以下步骤：
4、步骤一，在所有的无人机影像上提取具有旋转不变性、尺度不变性的局部特征，然后利用pos系统提供的相机位姿信息，来从影像序列中筛选存在重叠的影像，对于有重叠区域的两两影像，利用基于局部仿射变换验证和样本自适应阈值的方法进行特征匹配，剔除匹配中的粗差，得到足量、准确、分布均匀的同名点；
5、步骤二，利用增量式sfm方法，结合pos系统的位姿信息，解算影像的精确位置和姿态，并生成三维稀疏点云；
6、步骤三，利用mvs方法进行多视匹配，获得每张影像对应的深度图；
7、步骤四，利用基于深度学习的单目深度估计网络，为每张影像生成无尺度信息的稠密、完整的深度图；
8、步骤五，利用空中三角测量解算出的同名点或者mvs方法生成的深度图，恢复单目深度估计网络生成的深度图的真实尺度；
9、步骤六，利用恢复真实尺度的深度图构建场景的三维密集点云与网格模型，并生成dsm与真正射影像。
10、进一步，步骤一中使用sift(scale invariant feature transform)方法来从影像中提取大量具有旋转不变性、尺度不变性的局部特征；然后利用pos提供的位置信息，结合无人机航高信息，初步判断影像之间的重叠关系与重叠区域；对于存在重叠关系的两两影像，利用改进的特征匹配方法得到准确的同名点，然后利用增量式的sfm方法分步进行图像配准、三角测量以及光束法平差，最终恢复出影像的精确位置和姿态，并生成场景的稀疏三维点云。其中，改进的特征匹配方法包括：
11、首先，在初始匹配阶段，为每个匹配赋予一个分数，该分数通过比值测试获得，分数越高表示置信度越高；然后，通过非极大值抑制选择具有最高分数的匹配点作为种子点；接着，在满足条件的种子点附近构建邻域，在每个邻域集合中，使用固定的ransac迭代次数，保留那些在局部一致性方面表现较好的匹配；最后，通过计算所有种子点，得到整体的匹配对，然后根据一定的阈值进行整体迭代，从而得到准确的同名点。
12、进一步，步骤四中利用深度神经网络，为每张影像进行单目深度估计，生成对应的无尺度深度图。该深度神经网络基于transformer，并在模型训练中采用多个不同源的公开数据集以增强其性能。其中网络的具体流程为：先从输入影像中提取不重叠的图块，然后将它们进行线性投影转换成token；再将token通过多尺度transformer模块进行处理，把处理后的结果进行重组和融合；最后通过一个输出头，得到最终的深度图。
13、进一步，步骤五中要将步骤四中生成的无尺度深度图转换成真实尺度的深度图，方法是利用空中三角测量解算出的同名点或者mvs方法生成的深度图，来将非真实尺度的深度值映射到真实尺度上。其中，该方法包括：
14、利用mvs方法通过多视匹配得到影像对应的部分真实深度值，然后通过灰度直方图匹配方法，构建多视匹配深度值与对应像素的通过单目深度估计网络得到的深度值之间的映射关系，再基于映射关系，将单目深度估计深度图中的其他深度值都映射到真实尺度下，从而得到完整的、没有空洞的、真实尺度的深度图。如果影像因重叠率过低或者对于时效性要求非常高的任务，不能通过多视匹配得到深度值，则利用空中三角测量解算出的影像上特征的三维坐标，来快速构建单目深度估计网络得到的深度值与真实深度值之间的映射关系。
15、进一步，步骤六中将恢复了真实尺度的深度图进行融合，得到高分辨率的三维密集点云、网格模型以及dsm，然后结合影像的位置与姿态，通过反解法数字微分纠正来生成真正射影像。该方法包括：
16、设正射影像左下角点对应的地面坐标为(x0,y0)，正射影像上的任意一像点p的坐标为(x',y')，正射影像比例尺为1:m，可以计算得到p点对应的地面点坐标(x,y)为：
17、
18、利用共线方程可以计算出p点在无人机影像上对应的像点p的坐标为：
19、
20、其中，z是p点的高程，有dsm内插求得，(xs,ys,zs)为相机的三维坐标，ai,bi,ci(i＝1,2,3)为相机旋转矩阵的参数。然后就可以内插出p点对应影像上的像素值g(xp,yp)，将此值赋给纠正后的像元素p，最终得到真正射影像。
21、本发明的另一目的在于提供一种应用所述的适用于低重叠度无人机影像的摄影测量方法的适用于低重叠度无人机影像的摄影测量系统，适用于低重叠度无人机影像的摄影测量系统包括：
22、空中三角测量模块，用于在无人机影像上提取特征点并进行特征匹配以得到足量准确的同名点，结合pos系统提供的位置和姿态信息进行空中三角测量解算，从而得到各个影像的精确位姿以及场景的稀疏点云；
23、稠密重建模块，用于对无人机影像进行多视匹配，得到部分真实深度值，并利用单目深度估计网络生成影像对应的完整稠密的深度图，然后将上述两部分结果进行结合，得到完整稠密的、真实尺度下的深度图，生成场景的密集点云和网格模型；
24、摄影测量产品制作模块，用于在稠密重建的基础上，生成场景的高精度dsm与真正射影像。
25、本发明的另一目的在于提供一种计算机设备，计算机设备包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时，使得处理器执行所述的适用于低重叠度无人机影像的摄影测量方法的步骤。
26、本发明的另一目的在于提供一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时，使得处理器执行所述的适用于低重叠度无人机影像的摄影测量方法的步骤。
27、本发明的另一目的在于提供一种信息数据处理终端，信息数据处理终端用于实现所述的适用于低重叠度无人机影像的摄影测量系统。
28、本发明的另一目的在于提供一种所述的适用于低重叠度无人机影像的摄影测量系统在应急救援、航空侦察和快速地质监测领域中制作高质量摄影测量产品的应用。
29、结合上述的技术方案和解决的技术问题，本发明所要保护的技术方案所具备的优点及积极效果为：
30、第一，本发明利用高效可靠的特征匹配方法来从低重叠度无人机影像之间提取足量、准确的同名点，结合pos系统提供的影像位姿信息，用于实现鲁棒的空中三角测量解算；其次，利用mvs多视匹配生成的不完整的、真实尺度下的深度图，与单目深度估计网络生成的完整的、非真实尺度下的深度图，通过直方图匹配方法，生成完整的、真实尺度下的高分辨率深度图，用于实现高质量稠密重建。本发明通过提出可靠的特征匹配方法，从低重叠度影像中准确提取同名点，实现了鲁棒的空中三角测量，随后利用提出的单目深度估计网络为影像生成完整、稠密的深度图，并通过直方图匹配方法，利用mvs多视匹配的结果来将这些深度图映射到真实尺度下，实现了完整的、高质量的稠密重建，进而生成高精度、高分辨率的dsm与真正射影像。利用本发明的改进的特征匹配方法从影像中提取足量可靠的同名点，显著改善了基于低重叠度影像的空中三角测量解算的稳定性，并且通过结合mvs多视匹配与基于深度学习的单目深度估计网络，解决了低重叠度影像无法实现完整稠密重建的问题，能够生成高分辨率的dsm和真正射影像。
31、第二，本发明的适用于低重叠度无人机影像的摄影测量方法，可以实现鲁棒的空中三角测量，并创新地利用基于深度学习的单目深度估计网络来快速生成影像的深度图，很好地解决了此前尚未解决的低重叠度影像的稠密重建不完整的问题，能够生成进行高分辨率dsm和真正射影像的生产，为应急救援、航空侦察和快速地质监测等时效性要求高的应用提供重要的测绘数据基础。
32、第三，本发明的技术方案填补了国内外业内技术空白：
33、在抢险救灾等时效要求高的应用中，会采用低重叠度的方式进行无人机影像的采集，然后利用摄影测量方法来对测区进行重建与制图。目前的摄影测量方法在这个过程中存在几个问题：一是空中三角测量稳定性不够，主要是因为影像之间重叠区域过少，特征点匹配困难；二是通过mvs多视匹配方法无法获得影像的完整深度图，因而无法得到测区完整的密集点云和网格模型；三是由于缺少高质量稠密重建结果，当前通常通过影像快拼的方式来获取正射影像，而不能制作真正射影像，且无法生成高分辨率的dsm。对于这些问题，当前的研究主要关注正射影像的拼接技术，对于其他技术的研究还非常缺乏。随着无人机相关产业的飞速发展，无人机已经是一个成熟、高效、易于部署的遥感平台，可以提供低成本、高信噪比的丰富信息，是应急救援、航空侦察和快速地质监测领域中不可缺少的设备。然而，对于低重叠度无人机影像的摄影测量处理，还没有公开的论文或专利提出有效的dsm和真正射影像制作方法，导致数据没有得到有效利用，也限制了其应用场景。
34、本发明的技术方案解决了人们一直渴望解决、但始终未能获得成功的技术难题：在时效要求高的应用场景中，无人机需要快速采集测区的影像，因此往往重叠度很低，不仅给影像匹配和空中三角测量解算带来重大挑战，还使得通过mvs多视匹配的方法不能来对场景进行完整的稠密重建，直接导致无法生成场景的dsm和真正射影像。当前的处理方法只能通过影像拼接来得到正射影像，而对于稠密重建以及dsm与真正射影像的生成，还没有完整有效的解决方案提出，这样没有有效地利用数据，而且提供的测绘结果也非常有限，无法满足复杂的应用需求。
35、本发明的技术方案克服了技术偏见：目前对于低重叠度无人机影像的摄影测量处理方法一方面在于通过设计专门的解算方式使空中三角测量稳定，另一方面在于研究影像拼接技术，提升正射影像的效果。这些研究都没有解决低重叠度无人机影像在稠密重建中不完整的问题，仍然无法制作高分辨率的dsm和真正射影像。本发明的技术方案克服了低重叠度无人机影像无法进行完整稠密重建以及制作dsm与真正射影像的技术偏见，使用基于深度学习的单目深度估计网络为每张影像生成深度图，结合其他数据一齐进行高分辨率的稠密重建，最终成功输出dsm和真正射影像。
36、第四，本发明实施例提供了一种适用于低重叠度无人机影像的摄影测量方法，该方法包括以下步骤：
37、1.自适应性特征匹配算法提取同名点：在这一步骤中，首先使用自适应性特征匹配算法从不同影像中提取出同名点(即在不同影像中对应的同一地面点)。这种算法能够适应于影像之间重叠度较低的情况，提高匹配的准确性和鲁棒性。
38、2.空中三角测量与pos系统结合：利用提取的同名点信息和pos系统(positionand orientation system，定位与定向系统)提供的影像位姿信息(即影像的位置和方向)，进行空中三角测量，以确定这些点在空间中的三维坐标。
39、3.mvs多视匹配与单目深度估计网络结合：使用多视图立体匹配(multi-viewstereo,mvs)技术，根据多幅影像计算部分地物的真实尺度深度图。同时，采用基于深度学习的单目深度估计网络来估算出整个场景的非真实尺度深度图。然后，将这两个深度图结合起来，调整非真实尺度深度图以符合部分真实尺度的深度数据，最终输出一个覆盖整个场景且具有真实尺度的深度图。
40、4.生成密集点云与网格模型：利用得到的真实尺度深度图，可以生成表达场景细节的密集点云数据和网格模型。这些数据可以被用于多种应用，如城市规划、地形分析等。
41、5.生成高分辨率dsm与真正射影像：从密集点云和网格模型进一步生成数字表面模型(digital surface model,dsm)和真正射影像。dsm表示了地面上物体的最高点(包括建筑物、树木等)，而真正射影像则是将影像中的建筑物等倾斜的部分矫正为垂直视角，更接近于地图视图。
42、这种方法的显著技术进步体现在：
43、低重叠度的影像处理能力：传统的摄影测量技术对影像的重叠度有较高的要求，以保证足够的同名点匹配和三维重建的准确性。本发明能够有效处理低重叠度影像，降低了无人机航拍的时间和成本。
44、深度学习与传统mvs的结合：通过结合深度学习和mvs技术，不仅提高了深度估计的准确性，也实现了对整个场景的高质量三维重建。
45、真实尺度的深度图生成：通过结合部分真实尺度深度图和非真实尺度深度图，能够生成更为准确的场景深度信息，这对后续的点云生成和三维建模至关重要。
46、总结来说，这种技术的应用可在无人机测绘、城市规划、景观重建等领域提供高效率和高精度的解决方案。
1.一种适用于低重叠度无人机影像的摄影测量方法，其特征在于，包括：采用改进的自适应特征匹配算法来剔除不可靠的匹配结果以提取足量可靠的同名点，结合pos系统提供的影像位姿信息进行空中三角测量解算，得到高精度的影像位置和姿态信息以及物方稀疏三维点坐标；利用基于深度学习的单目深度估计网络为所有影像生成完整稠密的深度图，再结合通过mvs多视匹配得到的部分深度图或空中三角测量结果，利用灰度直方图匹配方法为每张影像生成完整的、具有真实尺度的稠密深度图，实现高质量、高完整度的稠密重建，弥补无重叠影像的区域的空缺；基于高质量的稠密重建结果，最终快速输出高分辨率的地面表面模型和真正射影像。
2.如权利要求以所述的适用于低重叠度无人机影像的摄影测量方法，其特征在于，适用于低重叠度无人机影像的摄影测量方法包括以下步骤：
3.如权利要求2所述的适用于低重叠度无人机影像的摄影测量方法，其特征在于，步骤一中的利用基于局部仿射变换验证和样本自适应阈值的方法提取同名点包括：使用sift；方法来从影像中提取大量具有旋转不变性、尺度不变性的局部特征；然后利用pos提供的位置信息，结合无人机航高信息，初步判断影像之间的重叠关系与重叠区域，对于存在重叠关系的两两影像，利用改进的基于局部仿射变换验证和样本自适应阈值的特征匹配方法得到准确的同名点；改进的基于局部仿射变换验证和样本自适应阈值的特征匹配方法包括：
4.如权利要求2所述的适用于低重叠度无人机影像的摄影测量方法，其特征在于，步骤四中利用基于深度学习的单目深度估计网络生成非真实尺度深度图包括：采用基于transformer的深度神经网络，先从输入影像中提取不重叠的图块，然后将它们进行线性投影转换成token；再将token通过多尺度transformer模块进行处理，把处理后的结果进行重组和融合；最后通过一个输出头，得到最终的深度图。
5.如权利要求2所述的适用于低重叠度无人机影像的摄影测量方法，其特征在于，步骤五中恢复单目深度估计网络生成的深度图的真实尺度包括：利用mvs方法通过多视匹配得到影像对应的部分真实深度值，然后通过灰度直方图匹配方法，构建多视匹配深度值与对应像素的通过单目深度估计网络得到的深度值之间的映射关系，再基于映射关系，将单目深度估计深度图中的其他深度值都映射到真实尺度下，从而得到完整的、没有空洞的、真实尺度的深度图。
6.如权利要求2所述的适用于低重叠度无人机影像的摄影测量方法，其特征在于，步骤六中生成dsm与真正射影像包括：利用步骤五生成的完整的、真实尺度的深度图，通过深度图融合得到高分辨率的三维密集点云、网格模型以及dsm，然后结合影像的位置与姿态，通过反解法数字微分纠正来生成真正射影像。其中，反解法数字微分纠正包括：
7.一种应用如权利要求1～6任意一项所述的适用于低重叠度无人机影像的摄影测量方法的适用于低重叠度无人机影像的摄影测量系统，其特征在于，适用于低重叠度无人机影像的摄影测量系统包括：
8.一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时，使得处理器执行如权利要求1～6任意一项所述的适用于低重叠度无人机影像的摄影测量方法的步骤。
9.一种信息数据处理终端，其特征在于，信息数据处理终端用于实现如权利要求7所述的适用于低重叠度无人机影像的摄影测量系统。
10.一种如权利要求7所述的适用于低重叠度无人机影像的摄影测量系统在应急救援、航空侦察和快速地质监测等时效性要求很高的特殊领域中进行稳定、精确的空中三角测量以及生成高精度、高分辨率的dsm与真正射影像的应用。
