一种顾及空间分布特征的建筑物三维建模方法及系统,用于建筑物高度反演三维建模,属于三维建模。
背景技术:
1、建筑高度代表了城市形态的垂直维度,并可以较为直观的了解城市发展。建筑高度可为城市可持续发展提供必要的基础数据,在城市气候研究、建筑能耗、人口估算、城市三维重建等发挥着至关重要的作用。虽然建筑物高度可以作为土地管理和使用的有效评估手段,但会对航空航道、无线通信等带来很多干扰,准确的获取建筑物高度可以为航道规划等提供基础数据,有效避免相应的干扰。因此,建筑高度信息对于全面了解城市发展至关重要。目前获取建筑物高度的方法主要有激光测距法、立体像对法、基于sar影像及利用建筑物信息测高法,现有方法虽能完成建筑物高度反演任务,但是存在成本高、周期长、适应性差等问题,难以满足城市复杂空间分布的大范围、高效率、高精度监测需求。在此背景下,深度学习与遥感影像的联合技术逐渐备受关注。
2、深度学习技术与上述传统方法不同,该方法能够自动抽取目标特征,能有效利用输入影像数据的非线性特征表示,而不需要充分的先验知识,也不需要过分的人工干预。特别是卷积神经网络(cnns),基于它强大的特征学习能力,一个经过设计的神经网络框架能够很好的抽取建筑物信息,为后续高度反演提供强有力的信息支撑。随着遥感技术的不断发展,影像空间分辨率不断提高,获取方式愈多样,获取成本逐年降低,且高分辨率影像中地物信息表达丰富、清晰,使得高分辨率遥感影像成为提取地物信息的重要数据源之一,应用范围愈加广泛。但是在高分遥感影像中存在不同复杂的场景,进而导致部分建筑物信息受到某些地物遮挡,若不能针对不同空间分布类型提供相应的解决方案,可能会导致在面对复杂场景时高度反演精度大幅度下降。因此亟需提升针对高分影像中复杂空间场景建筑物高度反演自适应能力。
3、综上所述,现有建筑物三维建模方法存在如下技术问题:
4、面对复杂场景时,易造成高度反演精度大幅度下降,从而造成建筑物三维建模精度低的问题,如在复杂环境下,受建筑物形态、密度、太阳及卫星方位角和高度角的影响,各建筑阴影之间可产生重叠与粘连,导致阴影信息提取不完整或缺失,无法有效利用建筑物阴影提取高度信息,在实际场景中,建筑物类型丰富多样伴随着侧面的类型也有所不同,导致不同建筑物侧面表现出不同的纹理、光谱、上下文等特征;由于建筑物之间的重叠交叉,会使得阴影或侧面出现重叠、缺损、遗漏等情况,将会严重影响高度反演精度。
技术实现思路
1、本发明的目的在于提供一种顾及空间分布特征的建筑物三维建模方法及系统,解决现有技术面对复杂场景时,易造成高度反演精度大幅度下降,从而造成建筑物三维建模精度低的问题。
2、为了实现上述目的,本发明采用的技术方案为:
3、一种顾及空间分布特征的建筑物三维建模方法,包括如下步骤:
4、步骤1:基于构建的顾及特征间关联关系的信息提取网络提取高分辨率遥感影像中的建筑物特征,得到建筑物特征信息集;
5、步骤2:基于建筑物特征信息集进行空间分布类型识别,并基于空间分布类型和构建的高度反演模型进行建筑物三维建模。
6、进一步,所述步骤1的具体步骤为:
7、步骤1.1:建筑物几何特征与建筑物形态学特征提取;
8、步骤1.2:人为分析提取的建筑物几何特征和建筑物形态学特征,构建聚类特征约束多尺度注意力的阴影侧面提取网络,即信息提取网络;
9、步骤1.3:基于信息提取网络进行建筑物阴影与建筑物侧面提取;
10、步骤1.4:基于建筑物阴影和建筑物侧面构建建筑物特征信息集。
11、进一步,步骤1.2中的信息提取网络是端到端的对称结构,包括编码阶段和解码阶段;
12、编码阶段包括依次相连接的输入层、3×3卷积层、bn+relu层和五层聚类特征约束模块;
13、聚类特征约束模块包括与bn+relu层相连接的输入层,与输入层相连接并行操作的像素级特征提取模块和像素组特征提取模块,以及与像素级特征提取模块和像素组特征提取模块相连接的输出层,其中,像素级特征提取模块包括对输入层的输入依次进行卷积处理的1×1卷积层、3×3卷积层和1×1卷积层,卷积处理后与输入层的输入经过1×1卷积层卷积处理后的结果相加,像素组特征提取模块包括对输入层的输入依次进行处理的池化层、1×1卷积层和1×1卷积层,像素组特征提取模块得到的结果与像素级特征提取模块得到的结果聚合即为输出层输出的最终结果;
14、解码阶段包括五个阶段,每个阶段的第一步是上采样层,与上采样层和上下文信息特征融合模块相加连接的3×3卷积层,以及与第二阶段至第五阶段中的3×3卷积层相连接的深度多尺度聚合模块,其中,深度多尺度聚合模块有1/2、1/4、1/8和1四个尺度输出;
15、编码阶段中的bn+relu层和前四层聚类特征约束模块与解码阶段中五个阶段中的上下文信息特征融合模块分别相连,编码阶段中第五层聚类特征约束模块与解码阶段的第一阶段中的上采样层相连。
16、进一步,所述步骤1.1的具体步骤为:
17、步骤1.11:人为分析获取分辨率为0.5m以下的高分辨率遥感影像中不同建筑物的形状特征,并采用opencv中的形态学处理方法提取建筑物几何特征,得到建筑物几何特征的二值化图,其中,形状特征包括面积、周长、长宽比、紧致度、形状指数、边界指数、矩形相似度和椭圆相似度;
18、步骤1.12:对二值化图依次进行形态学开操作和闭操作后,采用opencv中的形态学处理方法提取建筑物形态学特征;
19、所述步骤1.3的具体步骤为:
20、步骤1.31:基于高分辨率遥感影像,人工在envi中绘制建筑物顶部信息并将建筑物群进行分类,得到高层建筑物、中低建筑物和工厂三类;
21、步骤1.32:基于分类后的高分辨率遥感影像的混合阴影检测指数msdi得到高分辨率遥感影像的索引图,并采用直方图阈值方法对各索引图进行处理得到粗阴影图像,对粗阴影图像进行形态学操作闭合操作,得到增强后的高分辨率遥感影像;
22、
23、
24、
25、
26、其中,t表示通过直方图阈值法对msdi索引图进行阈值化而产生的最合适的阈值,并且m(a)是根据最优阈值(t)计算得出的二值化图,m(a)c是二值化后的粗阴影图像,m(a)d是结构形态的要素,m(a)open是通过开操作获得的着色的最终结果图像,m(a)close是通过闭操作获得的着色的最终结果图像,g表示绿波段,b表示蓝波段,nir表示近红外波段,r表示红波段,pc表示pc1波段图像,表示开操作,·表示闭操作,表示扩展操作,表示侵蚀操作;
27、步骤1.33:利用训练后的信息提取网络提取增强后的高分辨率遥感影像的建筑物阴影和建筑物侧面。
28、进一步,所述步骤2的具体步骤为:
29、步骤2.1:基于已知的太阳与传感器方位角、建筑物本身和提取得到的建筑物阴影和建筑物侧面获取传感器和太阳之间的几何关系;
30、步骤2.2:基于步骤2.1进行建筑物与建筑物阴影分割;
31、步骤2.3:基于步骤2.2进行建筑物阴影和建筑物侧面长度计算;
32、步骤2.4:基于建筑物阴影和建筑物侧面长度构建自适应的建筑物高度反演模型得到高分辨率遥感影像中建筑物高度建立建筑物三维模型。
33、进一步,所述步骤2.1的具体步骤为:
34、步骤2.11:若太阳与传感器方位角相同时,建筑物阴影与建筑物侧面无遮挡;
35、步骤2.12:太阳与传感器方位角之差大于180°,传感器将获取到建筑物全部阴影信息,无任何建筑物侧面信息;
36、步骤2.13:当太阳与传感器方位角之差在0-180°之间时,建筑物阴影与建筑物侧面出现重叠,建筑物阴影与建筑物侧面轮廓均不完整。
37、进一步,所述步骤2.2的具体步骤为:
38、步骤2.21:将在envi中绘制的建筑物顶部矢量导出为矢量文件,并将其在arcgis中打开,获得建筑物顶部矢量边界;
39、步骤2.22:以建筑物顶部矢量边界为约束条件,对建筑物顶部矢量边界做包络矩形,并按照比例对包络矩形进行等比例缩放,缩放比例范围为0-1;
40、步骤2.23:获取包络矩形的角点坐标,并根据太阳方位角与角点坐标做裁剪线,裁剪粘连建筑物阴影,初步得到规则化阴影,其中,太阳方位角即指太阳与传感器方位角;
41、步骤2.24:根据太阳方位角方向将建筑物本身与规则化阴影进行匹配,判断每个建筑物是否都能匹配到有效阴影,若存在建筑物未匹配到规则化阴影,则对该建筑物顶部包络矩形的缩放比例降低0.1,否则,直至所有建筑物与规则化阴影完成匹配,即完成建筑物与建筑物阴影分割。
42、进一步,所述步骤2.3的具体步骤为:
43、步骤2.31:根据分割得到的建筑物阴影,获取分割后的建筑物阴影边界,并根据太阳方位角确定平行线角度,以高分辨率遥感影像左下角角点坐标为起点坐标,生成一簇具有间隔的且与太阳方位角方向保持一致的平行线;建筑物侧面按建筑物本身在高分辨率遥感影像上的投影方向生成一簇间距相等的平行线,即根据建筑物侧面的投影方向确定平行线角度,以高分辨率遥感影像左上角角点坐标为起点坐标,生成一簇间距相等的平行线;
44、步骤2.32:将生成的建筑物阴影和建筑物侧面的平行线分别与建筑物阴影和建筑物侧面轮廓形状叠加裁剪,生成裁剪线,统计裁剪线数值即分别为建筑物阴影和建筑物侧面长度。
45、进一步,所述步骤2.4的具体步骤为:
46、步骤2.41:太阳与传感器方位角相同时,建立基于建筑物阴影的建筑物高度反演模型,具体步骤为:
47、建筑物阴影长度为:
48、
49、建筑物高度为:
50、
51、建筑物高度与建筑物阴影长度成正比,比例系数为p,如下式所示:
52、mn=da×p
53、
54、其中,μ为太阳高度角,θ为传感器高度角,mn为建筑物高度或建筑物侧面长度,nd为建筑物阴影被遮挡部分,na为建筑物阴影总长度,da为高分辨率遥感影像上能观测到的阴影长度,即建筑物阴影长度;
55、太阳与传感器方位角之差大于180°时,建立基于建筑物阴影的建筑物高度反演模型;
56、建筑物高度为:
57、mn=na×tanμ
58、建筑物高度与建筑物阴影的比例系数为p1,如下式所示:
59、mn=na×p1
60、p1=tanμ
61、其中,μ为太阳高度角,mn为建筑物高度,na为建筑物阴影总长度,即高分辨率遥感影像中可检测到的建筑物阴影长度;
62、太阳与传感器方位角之差在0-180°之间时,将建筑物方位角每隔15°分为一个类别,每个类别对应一个比例系数,建立优化的基于阴影的建筑物高度反演模型;
63、建筑物高度为:
64、
65、建筑物高度与建筑物阴影长度的比例系数为p2,如下式所示:
66、mn=ad×p2
67、
68、其中,μ为太阳高度角,θ为传感器高度角,σ为太阳方位角,ν为传感器方位角,η为建筑物方向与其阴影投射沿顺时针方向形成的夹角,mn为建筑物高度,na为建筑物阴影总长度,ad为高分辨率遥感影像上观测的阴影长度;
69、步骤2.42:当建筑物阴影缺失或者建筑物阴影未被提取,而建筑物侧面信息存在时,建立基于建筑物侧面的高度反演模型,具体步骤为:
70、建筑物高度为:
71、mn=na×tanμ
72、将卫星高度角有关数值看作比例系数p3,如下式所示:
73、mn=na×p3
74、步骤2.43:在高度反演模型中加入自适应选择算子和一个行为算法,即根据自适应选择算子获取高分辨率遥感影像中太阳与传感器方位角之间的关系或/和建筑物阴影缺失或者阴影未被提取的信息,行为算法选择对应的高度反演模型,并根据高度反演模型得到建筑物高度建立建筑物三维模型。
75、一种顾及空间分布特征的建筑物三维建模系统,包括:
76、建筑物特征信息集构建模块:基于构建的顾及特征间关联关系的信息提取网络提取高分辨率遥感影像中的建筑物特征,得到建筑物特征信息集;
77、建筑物三维建模模块:基于建筑物特征信息集进行空间分布类型识别,并基于空间分布类型和构建的高度反演模型进行建筑物三维建模。
78、与现有技术相比,本发明的优点在于:
79、一、本发明实现了在复杂环境下,剖析建筑物各信息间的关联关系,充分考虑建筑物的几何与形态学特征,挖掘各特征的语义信息及上下文信息,设计顾及特征间关联关系的建筑物信息联合信息提取网络,对于建筑物几何与形态学特征提取,考虑抽取建筑物面积、紧致度、形状指数等参数并利用形态学操作来表征建筑物空间结构特性,以此来构建多特征信息集,即建筑物特征信息集,具体体现为:
80、(1)基于聚类特征约束多尺度注意力的阴影侧面提取网络是实现建筑物阴影、建筑物侧面提取的核心方法,有助于更全面地从复杂光谱特征、边缘细节特征及尺度差异特征入手捕获阴影的细节信息和上下文信息,克服传统语义分割网络对像素的依赖性,通过对像素和像素群特征进行重加权融合,获得阴影的聚类特征,提高了网络的特征提取能力,编解码阶段的特征图通过自注意力进行加权融合,将编码层的输出映射到相同尺度的解码层,进一步增强网络对不同尺度特征的实用性,提高了最终预测结果的准确性;
81、(2)建筑物阴影与侧面特征关系分析及建立特征信息集在于数据集的应用性,通过“提取-对比-分析-反馈”的良性循环模式,逐渐提高建筑物阴影、侧面提取的准确度,以此来增强整体算法的适用性,建立建筑物特征信息集,可以更有效、更方便的计算建筑物高度,在城市规划与发展、环境保护、能源管理等方面具有重大意义;
82、二、本发明基于充足的理论知识与严谨的计算,建立适配建筑物多信息的高度反演模型,顾及建筑物多特征以此弥补单一特征所带来的局限性,此外,在提取到的建筑物多特征基础上进一步分析不同场景下的空间分布特征,对于不同场景的空间分布类型自适应选择高度反演模型,提出不同空间分布类型下建筑物高度自适应反演方法,增强模型的可适应能力,实现遥感影像中不同场景下的建筑物高度快速、准确提取,建立建筑物三维模型,具体体现为:
83、(1)建筑物、建筑物阴影和建筑物侧面获取传感器和太阳之间的几何关系在于当太阳与传感器方位角变化时,比例系数会随着太阳与传感器方位角的变化而变化,而本案根据建筑物方位角将建筑物分为几个类别以减少建筑物方位角对建筑物高度估计的影响;
84、(2)建筑物阴影长度计算在于从重叠的阴影中有效地将单个阴影从复杂的覆盖层中分离出来,准确地计算出每栋建筑物对应的阴影长度,实现阴影单体化与长度计算;
85、(3)自适应的建筑物高度反演模型构建这在于充分利用建筑物信息,考虑太阳与传感器的几何关系,构建适配不同场景的高度反演模型;基于建筑物特征信息集,充分考虑建筑物空间分布并进行细化分类,融合建筑物高度特征,针对不同场景利用不同反演模型进行高度提取并进行精度对比,从而达到自适应的选择高度反演模型,通过对比取优的方式,以减少不同类型建筑物对建筑物高度估计的影响。
1.一种顾及空间分布特征的建筑物三维建模方法,其特征在于,包括如下步骤:
2.根据权利要求1所述的一种顾及空间分布特征的建筑物三维建模方法,其特征在于,所述步骤1的具体步骤为:
3.根据权利要求2所述的一种顾及空间分布特征的建筑物三维建模方法,其特征在于,步骤1.2中的信息提取网络是端到端的对称结构,包括编码阶段和解码阶段;
4.根据权利要求3所述的一种顾及空间分布特征的建筑物三维建模方法,其特征在于,所述步骤1.1的具体步骤为:
5.根据权利要求4所述的一种顾及空间分布特征的建筑物三维建模方法,其特征在于,所述步骤2的具体步骤为:
6.根据权利要求5所述的一种顾及空间分布特征的建筑物三维建模方法,其特征在于,所述步骤2.1的具体步骤为:
7.根据权利要求6所述的一种顾及空间分布特征的建筑物三维建模方法,其特征在于,所述步骤2.2的具体步骤为:
8.根据权利要求7所述的一种顾及空间分布特征的建筑物三维建模方法,其特征在于,所述步骤2.3的具体步骤为:
9.根据权利要求8所述的一种顾及空间分布特征的建筑物三维建模方法,其特征在于,所述步骤2.4的具体步骤为:
10.一种顾及空间分布特征的建筑物三维建模系统,其特征在于,包括: