本技术涉及遥感影像目标识别领域,特别涉及一种基于低空摄影测量的深度学习样本增强方法和装置。
背景技术:
1、深度学习是学习样本数据的内在规律和表示层次,它的目标是让机器能够像人一样具有分析学习能力,从而解决很多复杂的模式识别难题。近年来,深度学习技术取得了重大进展,已经成熟应用于计算机视觉、语音识别、自然语言处理等诸多领域。研究表明,深度学习模型的效果在很大程度上取决于样本数据的数量和质量。样本数据增强是通过对原始训练数据进行变换、扩充和重组等操作,生成新的训练样本,从而有效解决数据量不足、样本分布不均匀等问题,提高模型的鲁棒性和泛化能力。
2、在基于深度学习的遥感应用领域,常用的图像数据增强技术包括:镜像翻转、随机裁剪、旋转、缩放、平移、亮度调整、噪声添加等,这些技术可以改变图像的外观、角度和光照等因素,增加训练样本的多样性。然而,现有的遥感图像数据增强技术只利用了最终的正射影像成果,生成正射影像的原始影像却未进行任何利用,这在一定程度上形成了资源的浪费。事实上,对于低空摄影测量遥感,正射影像上的一个目标对象可以存在于几张甚至几十张原始影像中(数量取决于航飞影像重叠度),若能通过数学逻辑将原始影像中的目标对象关联提取出来,作为深度学习样本数据的扩充,则样本数量可提升约数倍乃至数十倍,深度学习样本数据训练的效果将大幅度提升。故亟待找到一种基于低空摄影测量关联原始影像的深度学习样本增强方法。
技术实现思路
1、本技术的主要目的在于提供一种基于低空摄影测量关联原始影像的深度学习样本增强方法,该方法采取原始影像空中三角测量后生成的pos数据作为辅助信息,通过摄影测量共线方程及最小外接矩形的方式的自动构建原始影像增强样本。
2、为实现上述目的,本发明采用的技术方案如下:
3、根据本发明第一方面,本发明请求保护一种基于低空摄影测量的深度学习样本增强方法,包括:
4、获取低空航摄影像,无人机通过变高飞行摄取带有原始外方位元素的低空航摄影像;
5、将所述低空航摄影像导入第一应用程序中,基于地面实测像控点进行空中三角测量,构建并导出数字高程模型和数字正射影像;
6、将所述数字高程模型导入第二应用程序中,判读目标对象,手工绘制若干所述目标对象的矩形样本并获取所述矩形样本的角点坐标;
7、采用摄影测量共线方程计算出所述角点坐标对应的像点坐标,判断所述像点坐标是否在规定范围内,如果是,保留所述像点坐标作为所述矩形样本的样本增强影像,否则舍弃;
8、依据所述矩形样本的像点坐标构建简单外接矩形,几何旋转后获取最小外接矩形,旋转所述最小外接矩形后得到所述矩形样本在所述低空航摄影像上重构的原始影像增强样本。
9、进一步的,手工绘制若干所述目标对象的矩形样本时,为应对目标对象与地面的相对高度引起的像点位置偏移,所述矩形样本在包含目标对象的基础上进行裕度的外扩,取外扩h/2的距离,h为目标对象的平均相对高度。
10、进一步的,几何旋转和旋转所述最小外接矩形时,依据多边形的一个外接矩形存在一条边与原多边形的边共线,限制旋转的角度范围,检测与多边形边长角度相同的方向作为旋转依据。
11、进一步的,所述获取低空航摄影像,无人机通过变高飞行摄取带有原始外方位元素的低空航摄影像,还包括:
12、确定航摄范围,利用奥维地图,将深度学习目标对象丰富的区域划定为航摄范围;
13、无人机航摄,下载数字高程模型数据,根据目标对象的空间尺度设置航高,在满足航向和旁向重叠度的基础上设置航带,通过变高飞行的方式摄取带有原始外方位元素的低空航摄影像。
14、进一步的,所述将所述低空航摄影像导入第一应用程序中,基于地面实测像控点进行空中三角测量,构建并导出数字高程模型和数字正射影像,还包括:
15、将带有原始外方位元素的所述低空航摄影像导入contextcapture或pix4d中,基于地面实测像控点进行空中三角测量;
16、导出空中三角测量后所述低空航摄影像中每张影像对应的外方位元素,设影像i的外方位元素为,其中,为位置坐标,为旋转坐标;
17、构建并导出数字高程模型和数字正射影像。
18、进一步的,所述将所述数字高程模型导入第二应用程序中,判读目标对象,手工绘制若干所述目标对象的矩形样本并获取所述矩形样本的角点坐标,还包括:
19、绘制样本,将导出的所述数字高程模型加载到arcmap软件中,通过目视解译的方法判读目标对象,手工绘制若干所述目标对象的矩形样本;
20、获取所述矩形样本的角点坐标,每个矩形样本包含4个角点,设角点p对应的地面坐标为,,其中,和可通过软件直接读取或转换,为所述数字正射影像对应坐标的高程值。
21、进一步的,所述采用摄影测量共线方程计算出所述角点坐标对应的像点坐标,判断所述像点坐标是否在规定范围内,如果是,保留所述像点坐标作为所述矩形样本的样本增强影像,否则舍弃,还包括:
22、确定计算范围,选取距离所述矩形样本的角点p最近的四条航带,遍历四条航带的所有影像;
23、根据所述四条航带的所有影像的外方位元素及角点p的地面坐标,,采用摄影测量共线方程,针对所述矩形样本计算出所述角点p对应的像点坐标,;
24、选取所述矩形样本的样本增强影像,判断所述角点p对应的像点坐标是否在规定范围内;
25、如果所述矩形样本的4个角点的像点坐标均在影像i的范围内,则保留影像i作为所述矩形样本的样本增强影像,否则舍弃。
26、进一步的,所述依据所述矩形样本的像点坐标构建简单外接矩形,几何旋转后获取最小外接矩形,旋转所述最小外接矩形后得到所述矩形样本在所述低空航摄影像上重构的原始影像增强样本,还包括:
27、获取所述矩形样本的像点坐标,在影像的原始像方坐标下,得到简单外接矩形的4个角点坐标并计算所述简单外接矩形的面积;
28、以所述简单外接矩形的4个角点的中心为旋转中心,逆时针旋转预设角度;
29、求取旋转预设角度后的4个角点的第二简单外接矩形,记录所述第二简单外接矩形的面积、顶点坐标以及旋转的度数;
30、获取多次旋转过程中求得的所有简单外接矩形,得到面积最小的简单外接矩形,获取该简单外接矩形的顶点坐标和旋转的角度;
31、将获得面积最小的简单外接矩形反方向旋转相同的角度,得到的最小外接矩形为所述矩形样本在影像i上重构的原始影像增强样本。
32、根据本发明第二方面,本发明请求保护一种基于低空摄影测量的深度学习样本增强装置,包括:
33、一个或多个处理器;
34、存储器,其上存储有一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现根据所述的一种基于低空摄影测量的深度学习样本增强方法。
35、本技术涉及遥感影像目标识别领域,特别涉及一种基于低空摄影测量的深度学习样本增强方法和装置。本发明通过无人机航飞和空中三角测量,形成dem、dom以及原始影像精确的pos数据;然后基于dom手工绘制目标对象矩形样本;再在pos数据的辅助下,基于摄影测量共线方程,计算出矩形样本角点在对应影像上的像点坐标;最后在原始影像上利用最小外接矩形重构矩形样本。本发明提出的基于低空摄影测量的深度学习样本增强方法,仅一次手工绘制即可扩充约数倍乃至数十倍的增强样本,有助于提升深度学习模型的泛化能力和应用效果;该方法具有参数设定简单、稳定可靠、在确保样本标识准确的情况下大幅度提升其制作效率的特点。
1.一种基于低空摄影测量的深度学习样本增强方法,其特征在于,包括:
2.根据权利要求1所述的一种基于低空摄影测量的深度学习样本增强方法,其特征在于,手工绘制若干所述目标对象的矩形样本时,为应对目标对象与地面的相对高度引起的像点位置偏移,所述矩形样本在包含目标对象的基础上进行裕度的外扩,取外扩h/2的距离,h为目标对象的平均相对高度。
3.根据权利要求1所述的一种基于低空摄影测量的深度学习样本增强方法,其特征在于,几何旋转和旋转所述最小外接矩形时,依据多边形的一个外接矩形存在一条边与原多边形的边共线,限制旋转的角度范围,检测与多边形边长角度相同的方向作为旋转依据。
4.根据权利要求1所述的一种基于低空摄影测量的深度学习样本增强方法,其特征在于,所述获取低空航摄影像,无人机通过变高飞行摄取带有原始外方位元素的低空航摄影像,还包括:
5.根据权利要求1所述的一种基于低空摄影测量的深度学习样本增强方法,其特征在于,所述将所述低空航摄影像导入第一应用程序中,基于地面实测像控点进行空中三角测量,构建并导出数字高程模型和数字正射影像,还包括:
6.根据权利要求1所述的一种基于低空摄影测量的深度学习样本增强方法,其特征在于,所述将所述数字高程模型导入第二应用程序中,判读目标对象,手工绘制若干所述目标对象的矩形样本并获取所述矩形样本的角点坐标,还包括:
7.根据权利要求5所述的一种基于低空摄影测量的深度学习样本增强方法,其特征在于,所述采用摄影测量共线方程计算出所述角点坐标对应的像点坐标,判断所述像点坐标是否在规定范围内,如果是,保留所述像点坐标作为所述矩形样本的样本增强影像,否则舍弃,还包括:
8.根据权利要求1所述的一种基于低空摄影测量的深度学习样本增强方法,其特征在于,所述依据所述矩形样本的像点坐标构建简单外接矩形,几何旋转后获取最小外接矩形,旋转所述最小外接矩形后得到所述矩形样本在所述低空航摄影像上重构的原始影像增强样本,还包括:
9.一种基于低空摄影测量的深度学习样本增强装置,其特征在于,包括:
