本发明属于涉及图像处理,特别涉及一种基于深度图像超分辨率模型的图像处理方法。
背景技术:
1、激光雷达是以脉冲激光作为载波,通过计算目标场景反射的激光脉冲的飞行时间、振幅相位等参数获取距离信息的主动遥感技术。因其精度高、体积小、速度快、抗干扰能力强等优点被广泛应用于自动驾驶、三维重建、地形测绘等领域。而激光雷达所成雷达图像也因其具有远距离、大面积成像等优点,成为获取目标三维特征信息的重要载体。
2、随着技术的不断发展,目标场景愈加复杂,对激光雷达的性能要求也越来越高,其中雷达图像分辨率是限制激光雷达性能的一个重要因素,色彩相机图像轻而易举就能达到千万像素级别的分辨率,而相比之下雷达图像的分辨率非常低,由此导致目标场景的信息丢失,进而影响自动驾驶、三维重建等任务的完成质量。
3、因为技术壁垒的限制与经济成本的制约,通过色彩图像来对雷达图像进行引导超分辨重建成为了目前的热点研究领域,色彩图像引导的超分辨率重建利用了色彩图像与雷达图像的边缘一致性,即雷达图像的边缘必定为色彩图像的边缘,只要能正确提取色彩图像的边缘信息,就能作为先验信息完整重建雷达图像的高分辨边缘结构,进而提升重建质量,现有技术中一般采用色彩图像的边缘特征来引导雷达图像的超分辨率重建,该方法的问题在于色彩图像中的颜色纹理信息会对重建过程造成干扰,在针对高度失真的雷达图像进行重建时无法保证色彩图像先验信息的正确提取。但其难点在于如何去除色彩图像中的颜色纹理结构对重建过程造成的干扰,以及如何针对高度失真的图像进行重建时正确提取色彩图像的先验信息。
技术实现思路
1、本发明的目的在于提供一种基于深度图像超分辨率模型的图像处理方法,以用于解决高度失真的低分辨率深度图像无法重建精确细节,导致重建图像出现信息缺失、冗余的技术问题。
2、实现本发明目的的技术解决方案为:一种基于深度图像超分辨率重建网络模型的图像处理方法,步骤如下:建立基于权重互反馈机制的深度图像超分辨率重建网络模型;构建图像数据集;对深度图像超分辨率重建网络模型进行训练和验证;对深度图像超分辨率重建网络模型进行测试。所述深度图像超分辨率重建网络模型包括色彩图像特征提取网络、深度图像特征提取网络以及将两者结合的图像重建网络;色彩图像特征提取网络、深度图像特征提取网络是并列连接,图像重建网络与二者之间串联。
3、本发明与现有技术相比,其显著优点是:
4、(1)本发明通过建立基于权重互反馈机制的深度图像超分辨率重建网络模型,实现将低分辨率深度图像高质量的重建出高分辨率深度图像,即使在对高度失真图像进行的高倍率重建任务中依然能够恢复精细结构,保留优质的重建结果。
5、(2)本发明通过构建markov卷积核,能够实现对色彩图像中纹理以及边缘特征的正确提取,并为两者赋予可训练权重,保证重建过程中对纹理信息的去除。
6、(3)本发明通过建立权重互反馈机制,实现了色彩图像的边缘特征对雷达图像重建过程的正确引导,同时令雷达图像能够反过来引导色彩图像去除纹理信息,形成更加简洁的边缘结构。
1.一种基于深度图像超分辨率重建网络模型的图像处理方法,其特征在于,步骤如下:
2.根据权利要求1所述的图像处理方法,其特征在于,所述深度图像超分辨率重建网络模型包括色彩图像特征提取网络、深度图像特征提取网络以及将两者结合的图像重建网络;色彩图像特征提取网络、深度图像特征提取网络是并列连接,图像重建网络与二者之间串联。
3.根据权利要求1所述的图像处理方法,其特征在于,建立所述深度图像超分辨率重建网络模型具体步骤如下:
4.根据权利要求3所述的图像处理方法,其特征在于,超分辨率重建网络模型的模型的表达式如下:
5.根据权利要求3所述的图像处理方法,其特征在于,所述色彩图像特征提取网络包括三个并行的markov特征提取模块,markov特征提取模块由四组两层嵌套的特定卷积层相加组成;
6.根据权利要求3所述的图像处理方法,其特征在于,建立深度图像特征提取网络具体包括,
7.根据权利要求3所述的图像处理方法,其特征在于,建立图像重建网络具体包括,
8.根据权利要求5所述的图像处理方法,其特征在于,色彩图像特征提取网络中,则markov特征提取模块的执行方法如下:
9.根据权利要求6所述的图像处理方法,其特征在于,所述深度图像特征提取网络的执行方法如下:
10.根据权利要求7所述的图像处理方法,其特征在于,所述图像重建网络的执行方法如下: