本申请涉及图像处理,尤其涉及一种图像修复方法、装置及电子设备。
背景技术:
1、随着大模型的智能涌现,ai(artificial intelligence,人工智能)在科技发展中的战略位置进一步凸显出来,尤其是大语言模型chatgpt(chat generative pre-trainedtransformer,聊天生成预训练转换器)、大视觉模型sam(segment anything model,分割一切模型)成为主流后,数据链、技术链、场景链得以持续性加深,因此智能场景系统将随着大模型的发展变得更准确、更快速、更智能。
2、在视联网设备中,图像和视频的传输常常需要进行压缩,以减少存储空间和提高传输效率。然而,这种压缩可能会导致图像质量的下降。目前,低质监控图像修复是面向监控场景的智能场景系统的基本功能,其目的是在拍摄环境、硬件限制及传输过程中监控图像画质受损的前提下,利用各种图像修复方法将受损图像尽量恢复至原有水平,使得监管人员能够清晰的了解其感兴趣的目标。
3、现有的低质监控图像修复方法根据其修复的目标大致可以分为三种。第一种是对特定目标进行修复,这种修复方法通常专注于修复图像中的特定目标或区域,例如人脸、车牌等。它采用特定的算法和先验知识,以增强和恢复这些特定目标的信息。这种方法的优点是针对性强,修复效果往往较好。第二种是通用图像修复,这种修复方法不针对特定目标,而是对整个图像进行修复。它采用各种图像处理算法和技术,以增强整个图像的清晰度、对比度和细节。这种方法的优点是通用性强,可以处理各种类型的图像和目标。第三种是将以上两种修复方式进行结合,这种方法结合了针对特定目标的修复和通用图像的修复,以实现对感兴趣前景目标的特定修复和对背景的通用修复。它首先识别图像中的感兴趣目标,然后采用针对特定目标的修复技术对这些目标进行增强和恢复。同时,也采用通用图像修复技术对图像的背景和其他未被识别的目标进行增强和恢复。这种方法的优点是既能处理特定目标,又能处理其他目标和背景,具有较好的综合效果。
4、但是,现有技术中在对低质监控图像进行修复时存在以下问题:
5、1.视联网中智能场景系统的交互性不足,导致修复场景受限。例如,特定目标的修复极度依赖匹配的目标检测器,当只需要对画面中某个物体进行修复,但目前又没有此物体预训练的检测器时,特定目标修复方法就会失效,造成无法修复,转而使用通用目标修复方法,对整图进行修复,造成修复质量、修复效率下降,也会导致计算资源的浪费。
6、2.在针对特定目标修复之后返回特定目标对应的修复图像,容易遗漏与特定目标相关的关键信息(如环境信息),导致可用数据量降低。
技术实现思路
1、鉴于上述问题,本申请实施例提供一种克服上述问题或者至少部分地解决上述问题的图像修复方法、装置及电子设备。
2、第一方面,本申请实施例提供一种图像修复方法,包括:
3、接收图像修复请求,所述图像修复请求携带待修复图像、指示修复目标的第一指示信息和指示图像返回类型的第二指示信息;
4、在所述修复目标为所述待修复图像中目标对象的局部区域的情况下,对所述局部区域进行模糊分割,获取所述局部区域对应的局部图像和所述目标对象对应的整体图像;
5、根据所述第二指示信息,执行以下操作至少之一:
6、对所述局部图像进行膨胀修复处理获取局部修复放大图像;
7、对所述局部图像和所述整体图像进行膨胀修复处理获取整体修复图像;
8、对所述局部图像和所述整体图像进行膨胀修复处理,将修复后图像与背景图像进行融合,获取目标全局图像。
9、第二方面,本申请实施例提供一种图像修复装置,包括:
10、接收模块,用于接收图像修复请求,所述图像修复请求携带待修复图像、指示修复目标的第一指示信息和指示图像返回类型的第二指示信息;
11、分割获取模块,用于在所述修复目标为所述待修复图像中目标对象的局部区域的情况下,对所述局部区域进行模糊分割,获取所述局部区域对应的局部图像和所述目标对象对应的整体图像;
12、处理模块,用于根据所述第二指示信息,执行以下操作至少之一:对所述局部图像进行膨胀修复处理获取局部修复放大图像;对所述局部图像和所述整体图像进行膨胀修复处理获取整体修复图像;对所述局部图像和所述整体图像进行膨胀修复处理,将修复后图像与背景图像进行融合,获取目标全局图像。
13、第三方面,本申请实施例提供一种电子设备,包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现第一方面所述的图像修复方法的步骤。
14、第四方面,本申请实施例提供一种计算机可读存储介质,所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现第一方面所述的图像修复方法的步骤。
15、本申请实施例的技术方案,后端设备基于前端设备发送的图像修复请求确定修复目标,在修复目标为目标对象的局部区域时,通过模糊分割获取局部区域对应的局部图像和目标对象对应的整体图像,根据第二指示信息生成局部修复放大图像、整体修复图像和目标全局图像中的至少一项,可以实现基于前端设备的需求进行匹配修复,强化智能场景系统的交互性,为前端设备提供需求数据;且通过根据第二指示信息生成局部修复放大图像可以在针对性的进行图像修复提供匹配图像的同时提升处理效率,通过基于第二指示信息生成整体图像和/或目标全局图像,可以避免遗漏与指定目标相关的关键信息,保证前端设备获取关联数据,丰富前端设备的数据获取量。
1.一种图像修复方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,所述在所述修复目标为所述待修复图像中目标对象的局部区域的情况下,对所述局部区域进行模糊分割,包括:
3.根据权利要求1所述的方法,其特征在于,所述对所述局部图像和所述整体图像进行膨胀修复处理,将修复后图像与背景图像进行融合,获取目标全局图像,包括:
4.根据权利要求3所述的方法,其特征在于,所述对所述局部图像和所述整体图像进行膨胀修复处理获取整体膨胀图像,包括:
5.根据权利要求3所述的方法,其特征在于,所述基于图像矩阵相加将所述整体膨胀图像与所述背景图像进行融合,获取所述目标全局图像,包括:
6.根据权利要求1所述的方法,其特征在于,所述对所述局部图像和所述整体图像进行膨胀修复处理获取整体修复图像,包括:
7.根据权利要求6所述的方法,其特征在于,所述基于图像矩阵相加将所述局部修复参考图像和所述整体修复参考图像进行融合,获取所述整体修复图像,包括:
8.根据权利要求4或6所述的方法,其特征在于,所述对所述局部图像进行膨胀修复处理获取局部修复参考图像,包括:
9.根据权利要求4或6所述的方法,其特征在于,所述对所述整体图像进行膨胀修复处理获取整体修复参考图像,包括:
10.根据权利要求1所述的方法,其特征在于,所述对所述局部图像进行膨胀修复处理获取局部修复放大图像,包括:
11.根据权利要求1所述的方法,其特征在于,所述方法还包括:
12.根据权利要求1所述的方法,其特征在于,所述方法还包括:
13.一种图像修复装置,其特征在于,包括:
14.一种电子设备,其特征在于,包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如权利要求1至12任一项所述的图像修复方法的步骤。