本申请涉及自动化摄影和摄影测量。更尤其是,本申请涉及用于未知环境中的未知对象的摄影测量和3d建模的自动化图像收集。
背景技术:
1、模型构建和摄影测量是通过物理对象或环境的搜集的图像(rgb、ir)、点云数据、传感器位置等获得物理对象或环境的3维模型的过程。其具有广泛的工业应用,诸如数字孪生建模、结构检验(建筑物、发电厂、风力涡轮机)、设备维护(船舶、大型车辆/火车)、地理勘测(例如,谷歌地球、建筑规划、土木工程),以用于获得有关环境和关注物理对象的可靠且准确的信息。
2、传统的模型构建和摄影测量需要从各种地点收集图像和其他传感器(lidar、点云)数据,这些数据具有各种视角并且具有足够的重叠,使得图像和辅助数据的收集可以完全“覆盖”3d空间中的关注物理对象。然后,使用诸如bentley contextcapturel之类的摄影测量软件工具或其他等效工具,在离线过程中使用该数据来生成3d模型。取决于模型的大小和主机系统的计算能力,离线过程通常需要数小时或数天的密集计算。如果由摄影测量工具生成的模型不满足目标要求(典型地因为收集的数据不充分或质量不好),则将需要另一个数据收集过程。
3、这种传统过程与其说是严格的工程设计过程,不如说是一种“艺术”。这些照片是由摄影师在已知环境中手动拍摄的,主要是手动工作。摄影师使用对对象和环境的人类感知来做出关于如何拍照以及在哪里拍照的决定。这一过程是迭代的且缓慢的,因为它依赖于来自持续数小时至数天的离线建模迭代的反馈,并且重新拍照以捕获缺失的数据。
4、近年来,增加了诸如无人机之类的空中机器人作为用于模型构建过程中的数据获取的工具,扩展了图像数据收集的范围。在大多数情况下,无人机被用作飞行相机,但这一过程在很大程度上仍然是手动的,其中无人机由人类飞行员或无人机摄影师手动操作。此外,无人机带来了新的安全问题,无法保证提高数据质量。例如,在未知环境中收集图像时正确和安全地控制无人机是很困难的。人类操作者很难感知飞行对象的地点,尤其是在它于距离上移动得更远时。操作者还需要考虑安全性,在无人机靠近被检验对象时避免碰撞,同时沿着精确的扫描路径导航移动机器人。在操纵无人机于可能有隐藏障碍物的未知对象周围飞行时,图像搜集质量要求精确的姿态和路径重叠。对于涉及超大型结构的建模任务来说,所有这些挑战都被放大了。
技术实现思路
1、公开了一种具有基于无人机的自动化空中数据捕获的多阶段工作流程和用于未知环境中的未知对象的模型构建的摄影测量过程的系统和方法。在勘测阶段期间,相机无人机以在线和安全的方式自主获得粗略环境数据。从该粗略环境数据生成目标对象的低分辨率3d网格。在检验阶段中,从第一阶段信息生成导航计划,并且相机无人机自主执行确保安全性的飞行计划,同时捕获完整数据组的高质量图像。一旦检索到所有图像数据,模型构建阶段就涉及采用具有建模软件的模型构建器计算机来生成对数字孪生应用有用的高分辨率3d模型。
2、所公开的方法使用配备有能够检验大型室外结构的各种传感器(例如,lidar和相机)的空中无人机。然而,它可以适用于更广泛的用例以及涉及用于模型构建的图像数据收集的示例。
1.一种用于未知目标对象的摄影测量和模型构建的自动化数据捕获的计算机实现的多阶段方法,包括:
2.根据权利要求1所述的方法,其中,由模型构建器计算机基于重叠要求来定义所述虚拟航路点,用于在构造所述高分辨率3d模型时拼接图像。
3.根据权利要求1所述的方法,还包括:
4.根据权利要求1所述的方法,还包括:
5.根据权利要求1所述的方法,还包括:在所述检验阶段期间为用于蜂群操作的两个或更多个相机无人机生成所述飞行路径,其中,所述飞行路径被划分并分布在所述两个或更多个相机无人机之间。
6.根据权利要求1所述的方法,还包括:
7.根据权利要求1所述的方法,其中,生成所述飞行路径还包括:使用全局规划器算法来计算根据最小重叠要求覆盖所述虚拟航路点所需的扫描次数,其中,所述全局规划器算法使用直通过滤器来处理所述低分辨率3d网格的几何形状,以生成堆叠在所述目标对象的多个高度上的一组粗略周界并将所述周界扩展一个安全裕度,在扩展的周界上定义所述虚拟航路点。
8.根据权利要求1所述的方法,其中,生成所述飞行路径还包括:
9.一种用于未知目标对象的摄影测量和模型构建的自动化数据捕获的系统,包括:
10.根据权利要求9所述的系统,其中,由所述模型构建器计算机基于重叠要求来定义所述虚拟航路点,用于在构造所述高分辨率3d模型时拼接图像。
11.根据权利要求9所述的系统,其中,所述模型构建器计算机还被配置为:
12.根据权利要求9所述的系统,其中,所述模型构建器计算机还被配置为:
13.根据权利要求9所述的系统,其中,所述规划器模块还被配置为:在所述检验阶段期间为用于蜂群操作的两个或更多个相机无人机生成所述飞行路径,其中,所述飞行路径被划分并分布在所述两个或更多个相机无人机之间。
14.根据权利要求9所述的系统,其中,所述规划器模块还被配置为:
15.根据权利要求9所述的系统,其中,所述规划器模块还被配置为:使用全局规划器算法来计算根据最小重叠要求覆盖所述虚拟航路点所需的扫描次数,其中,所述全局规划器算法使用直通过滤器来处理所述低分辨率3d网格的几何形状,以生成堆叠在所述目标对象的多个高度上的一组粗略周界并将所述周界扩展一个安全裕度,在扩展的周界上定义所述虚拟航路点。
16.根据权利要求9所述的系统,其中,所述规划器模块还被配置为:
