基于信息聚合网络的图像超分辨率方法、装置和存储介质与流程

1.本技术涉及图像处理技术领域，特别涉及一种基于信息聚合网络的图像超分辨率方法、装置和存储介质。


背景技术：

2.目前，单图像超分辨率(single image super resolution, sisr)是一项经典的计算机视觉任务，旨在从给定的低分辨率(low resolution, lr)图像重建相应的高分辨率(high resolution, hr)图像。作为图像处理的底层视觉问题，超分辨率（super resolution, sr）方法已经受到越来越多的研究人员的关注，超分辨率重建技术已广泛应用于其他高级视觉任务，例如视频编解码器、安全和监视成像、卫星和航空成像以及面部分析，因此，重建高质量的超分辨率（sr）图像具有重要意义。
3.相关技术中，随着卷积神经网络的出现，研究人员提出了大量基于深度学习的sisr方法，在图像重建方面取得了显著成效，最开始提出了基于cnn的sr网络，用三层网络模拟了lr和hr的映射，为了进一步提高sr算法的重构性能，实现网络的快速收敛，一方面，出现了一种改进的图像sr算法（vdsr），它采用了具有残差学习的20个卷积层的非常深的结构，另一方面，又后续出现了一种改进的深度残差sr网络，此网络有两种学习方式：深度网络edsr和多尺度网络mdsr，且这两种方法都显着提高了图像sr的重建性能。随后，从另外一个角度，出现了新的残差密集网络，其充分利用了lr图像的层次特征，有效提升了视觉效果（residual dense network for image super
‑
resolution），一段时间后，研究人员又利用残差结构中的残差，引入通道注意力机制，形成一个非常深的残差通道注意力网络（image super
‑
resolution using very deep residual channel attention networks）。最近，一方面，出现了可以用于图像超分辨率的多尺度残差网络，它主要引入了不同尺寸的卷积核，来自适应地检测不同尺度的图像特征（multi
‑
scale residual network for image super
‑
resolution），另一方面，还出现了一种多尺度信息交叉融合网络，它不仅可以整合不同感受野下的互补信息，还可以帮助信息在网络中流动（single image super
‑
resolution with multi
‑
scale information cross
‑
fusion network）。
4.但是，当前sisr算法已经取得了前所未有的进步和发展，但上述基于cnn的sisr方法主要关注更广或更深的网络，忽略了多尺度特征之间的潜在关系，导致重构网络的表示能力有限。


技术实现要素：

5.本技术实施例提供一种基于信息聚合网络的图像超分辨率方法、装置和存储介质，以解决相关技术中图像超分辨率重建算法在网络的重建性能及图像聚合多尺度特征上均存在一定的局限性的问题。
6.第一方面，提供了一种基于信息聚合网络的图像超分辨率方法，其步骤包括：将高分辨率图像下采样至目标低分辨率图像，并对所述目标低分辨率图像进行分
块操作，以分出相互重叠的图像块，利用所述相互重叠的图像块得到相应的粗糙特征图；将所述粗糙特征图作为输入输入至由多个多尺度信息聚合模块依次串联形成的链式连接结构，并将每一所述多尺度信息聚合模块接收到对应的输入后生成的对应的输出结果输出，且同时将生成的输出结果作为输入再次输入至与其相邻的所述多尺度信息聚合模块，直至从位于尾端的所述多尺度信息聚合模块获取到对应的输出结果；利用所述粗糙特征图和所有所述多尺度信息聚合模块的输出结果共同生成目标超分辨率图像。
7.一些实施例中，所述在每一所述多尺度信息聚合模块接收到对应的输入后，均生成对应的输出结果，包括：将作为输入的所述粗糙特征图分为两部分，利用第一卷积层对其中一部分进行特征提取，并利用激活层对剩余部分进行激活更新；对经所述第一卷积层提取获得的特征和激活更新后的特征进行聚合，得到多尺度信息特征；将所述多尺度信息特征再次输入至另一所述第一卷积层中进行特征提取，将利用所述激活层激活更新后的特征再次输入至另一所述激活层进行激活更新，并将再次进行特征提取和激活更新后的特征进行聚合，得到最终的多尺度信息特征；对最终的所述多尺度信息特征进行第三次激活，并将第三次激活后的所述多尺度信息特征与未被第三次激活前的最终的所述多尺度信息特征进行叠加，将叠加后得到的特征再与所述粗糙特征图进行叠加，得到对应的输出结果。
8.一些实施例中，所述利用激活层对剩余部分进行激活更新，包括：将剩余的所述粗糙特征图再次分为两部分；将其中一部分作为输入输入至第二卷积层中，将剩余部分作为输入输入至第三卷积层中；将所述第二卷积层和第三卷积层提取的具有不同尺度的特征进行叠加，并对叠加后的特征进行激活更新。
9.一些实施例中，所述对经所述第一卷积层提取获得的特征和激活更新后的特征进行聚合，得到多尺度信息特征，包括：对经所述第一卷积层提取获得的特征和激活更新后的特征进行第一次特征融合；将第一次特征融合的结果与所述第二卷积层和第三卷积层提取的具有不同尺度的特征进行叠加并激活更新后的结果进行第二次特征融合，得到所述多尺度信息特征。
10.一些实施例中，在对最终的所述多尺度信息特征进行第三次激活前，对最终的所述多尺度信息特征进行降维处理。
11.一些实施例中，所述对最终的所述多尺度信息特征进行降维处理，包括：利用第七卷积层对最终的所述多尺度信息特征进行特征提取，对第二次激活更新后的特征再次进行激活更新，利用第八卷积层对该激活更新后的特征进行特征提取；将经所述第七卷积层和第八卷积层提取的特征作为共同输入输入至第九卷积层，以进行降维处理。
12.一些实施例中，所述利用所述粗糙特征图和所有所述多尺度信息聚合模块的输出结果共同生成目标超分辨率图像，包括：
将所述粗糙特征图和所有所述多尺度信息聚合模块的输出结果作为输入，分别依次通过具有不同卷积核尺寸的第四卷积层和第五卷积层，以得到精细特征图；将所述精细特征图通过第六卷积层后，再通过上采样使所述精细特征图恢复成初始尺寸，对恢复至初始尺寸的所述精细特征图进行重建，以生成所述目标超分辨率图像。
13.一些实施例中，所述将高分辨率图像下采样至目标低分辨率图像，并对所述目标低分辨率图像进行分块操作，以分出相互重叠的图像块，包括：将所选取的多张高分辨率图像通过下采样得到低分辨率图像数据集，并将所述低分辨率图像数据集中的图像进行分块操作，分成若干个预定像素大小的图像块，并对各所述图像块通过水平翻转以及旋转操作进行数据增强，以对增强后的数据集通过网络进行特征提取。
14.第二方面，提供了一种基于信息聚合网络的图像超分辨率装置，其包括：预处理单元，其用于将高分辨率图像下采样至目标低分辨率图像，并用于对所述目标低分辨率图像进行分块操作，以分出相互重叠的图像块，用于利用所述相互重叠的图像块得到相应的粗糙特征图；多尺度信息聚合单元，其用于接收所述预处理单元输出的所述粗糙特征图，所述多尺度信息聚合单元包括若干个多尺度信息聚合模块，若干个所述多尺度信息聚合模块依次串联形成链式连接结构，每一所述多尺度信息聚合模块接收到对应的输入后，均输出生成的对应的输出结果，且同时用于将生成的输出结果作为输入再次输入至与其相邻的所述多尺度信息聚合模块，直至从位于尾端的所述多尺度信息聚合模块获取到对应的输出结果；图像重建单元，其用于利用所述粗糙特征图和所有所述多尺度信息聚合模块的输出结果共同生成目标超分辨率图像。
15.第三方面，提供了一种计算机可读存储介质，其包括：所述计算机程序被处理器执行时实现上述图像超分辨率方法的步骤。
16.本技术提供的技术方案带来的有益效果包括：本技术实施例提供了一种基于信息聚合网络的图像超分辨率方法，针对单张图像超分辨率提出了端到端的超分辨率重建网络，通过在多个多尺度信息聚合模块的配合下共同提取多尺度图像特征，再进一步恢复低分辨率图像，实现可以在较少的网络参数量的情况下有效地提取图像特征的目的，提高了网络的重建性能，也在一定程度上缓解了其局限性。
附图说明
17.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
18.图1为本技术实施例提供的基于信息聚合网络的图像超分辨率方法的流程示意图；图2为本技术实施例提供的基于信息聚合网络的图像超分辨率方法的网络框架
图；图3为本技术实施例提供的基于信息聚合网络的图像超分辨率方法的多尺度信息聚合模块的结构图；图4为本技术实施例提供的基于信息聚合网络的图像超分辨率方法的浅层残差模块的结构图；图5为本技术实施例提供的基于信息聚合网络的图像超分辨率方法的对比感知通道注意力层的结构图；图6是本技术实施例提供的一种实验结果图，其中，(a)为carn图像；(b)为原始高分辨率图像；(c)为本技术的实验结果图。
具体实施方式
19.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术的一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本技术保护的范围。
20.本技术实施例提供了一种基于信息聚合网络的图像超分辨率方法、装置和存储介质，其能解决相关技术中图像超分辨率重建算法在网络的重建性能及图像聚合多尺度特征上均存在一定的局限性的问题。
21.参见图1所示，本图像超分辨率方法包括首先将高分辨率图像下采样至目标低分辨率图像，并对目标低分辨率图像进行分块操作，以分出相互重叠的图像块，利用相互重叠的图像块得到相应的粗糙特征图；随后将粗糙特征图作为输入输入至由多个多尺度信息聚合模块依次串联形成的链式连接结构，并将每一多尺度信息聚合模块接收到对应的输入后生成的对应的输出结果输出，且同时将生成的输出结果作为输入再次输入至与其相邻的多尺度信息聚合模块，直至从位于尾端的多尺度信息聚合模块获取到对应的输出结果；最后利用粗糙特征图和所有多尺度信息聚合模块的输出结果共同生成目标超分辨率图像。
22.进一步的，在每一多尺度信息聚合模块接收到对应的输入后，均生成对应的输出结果的具体步骤包括：将作为输入的粗糙特征图分为两部分，利用第一卷积层对其中一部分进行特征提取，并利用激活层对剩余部分进行激活更新；对经第一卷积层提取获得的特征和激活更新后的特征进行聚合，得到多尺度信息特征；将多尺度信息特征再次输入至另一第一卷积层中进行特征提取，将利用激活层激活更新后的特征再次输入至另一激活层进行激活更新，并将再次进行特征提取和激活更新后的特征进行聚合，得到最终的多尺度信息特征；对最终的多尺度信息特征进行第三次激活，并将第三次激活后的多尺度信息特征与未被第三次激活前的最终的多尺度信息特征进行叠加，将叠加后得到的特征再与粗糙特征图进行叠加，得到对应的输出结果。
23.进一步的，利用激活层对剩余部分进行激活更新的具体步骤包括：将剩余的粗糙特征图再次分为两部分；
将其中一部分作为输入输入至第二卷积层中，将剩余部分作为输入输入至第三卷积层中；将第二卷积层和第三卷积层提取的具有不同尺度的特征进行叠加，并对叠加后的特征进行激活更新。
24.进一步的，对经第一卷积层提取获得的特征和激活更新后的特征进行聚合，得到多尺度信息特征的具体步骤包括：对经第一卷积层提取获得的特征和激活更新后的特征进行第一次特征融合；将第一次特征融合的结果与第二卷积层和第三卷积层提取的具有不同尺度的特征进行叠加并激活更新后的结果进行第二次特征融合，得到多尺度信息特征。
25.具体的，将提取获得的粗糙特征图发送至由多个多尺度信息聚合模块依次串联形成的链式连接结构，若干个多尺度信息聚合模块以链式连接的方式堆叠在一起，逐步提取粗糙特征图的精细特征，以链式连接的方式堆叠在一起，可以较好的实现精细特征信息融合，以更有效的提高sr性能。而在每一多尺度信息聚合模块内，均使用具有不同大小的卷积核的浅层残差模块来提取粗糙特征图的精细特征信息，然后再利用对比感知通道注意力层来捕获图像的全局特征信息，有助于增强图像细节。
26.具体的，对于位于首端的多尺度信息聚合模块而言，其会先接收作为输入的粗糙特征图，在接收到该粗糙特征图这一输入后，多尺度信息聚合模块首先会先将其划分为两个部分，其中一部分先被保留，剩余一部分则被输入到一浅层残差模块中，参见图4所示，在浅层残差模块中，输入的粗糙特征图再次被分成了两个部分，其中一部分被作为输入输入至第二卷积层中，剩余一部分则被作为输入输入至第三卷积层中，然后将将第二卷积层和第三卷积层提取的具有不同尺度的特征进行叠加，叠加在一起后一起作为输入输入至激活层，以进行激活更新，激活更新后的特征即为浅层残差模块的最终结果。在最初被保留的一部分粗糙特征图则利用第一卷积层进行特征提取。
27.具体的，将经第一卷积层提取获得的特征和激活更新后的特征作为输入输入至第一连接层进行第一次特征融合，再将第一次特征融合的结果与第二卷积层和第三卷积层提取的具有不同尺度的特征进行叠加并激活更新后的结果进行第二次特征融合，得到最终的输出，以此获得多尺度信息特征。到此步为止，经历了一个完整的循环，将得到的多尺度信息特征和浅层残差模块的最终结果即激活更新后的特征再次作为输入重复上面的操作步骤，参见图3所示，srb即为浅层残差模块，其中，每一多尺度信息聚合模块内有3个浅层残差模块，分别为srb_1、srb_2和srb_3，将多尺度信息特征再次输入至另一第一卷积层中进行特征提取，将利用激活层激活更新后的特征再次输入至另一激活层进行激活更新，并将再次进行特征提取和激活更新后的特征进行聚合，得到最终的多尺度信息特征。
28.进一步的，在对最终的多尺度信息特征进行第三次激活前，对最终的多尺度信息特征进行降维处理。具体的，对最终的多尺度信息特征进行降维处理得具体步骤包括：首先利用第七卷积层对最终的多尺度信息特征进行特征提取，对第二次激活更新后的特征利用srb_3再次进行激活更新，利用第八卷积层对该激活更新后的特征进行特征提取，随后将经第七卷积层和第八卷积层提取的特征作为共同输入输入至第九卷积层，以进行降维处理。其中，第一卷积层、第七卷积层和第九卷积层的卷积核尺寸均为1*1，第二卷积层和第八卷积层的卷积核尺寸均为3*3,第三卷积层的卷积核尺寸为5*5。
29.进一步的，将经过降维处理后的多尺度信息特征作为输入再次输入至对比感知通道注意力层中，参见图5所示，对比感知通道注意力层主要包括一个对比层，两个卷积核尺寸为1*1的卷积层，和一个激活层，输入至对比感知通道注意力层的多尺度信息特征依次经过对比层和两个卷积层后，被激活层激活，最后将激活层激活后的输出结果与最开始经过降维处理后的多尺度信息特征叠加在一起，得到对比感知通道注意力层的输出结果，最后将最开始输入的粗糙特征图和对比感知通道注意力层的输出结果叠加在一起，得到该多尺度信息聚合模块最终的输出结果。
30.具体的，对于位于首端的多尺度信息聚合模块而言，其在生成对应的输出结果后，在将对应的输出结果输出的同时，还会将其输出结果再次作为输入输入至位于其下游且相邻的多尺度信息聚合模块内，接收到相应的输入后，该多尺度信息聚合模块内进行与位于首端的多尺度信息聚合模块内相同的操作，依次逐步向下传递，直至从位于尾端的多尺度信息聚合模块获取到对应的输出结果，参见图2所示，mipb即为多尺度信息聚合模块，多个多尺度信息聚合模块依次串联，数量为k个。
31.进一步的，利用粗糙特征图和所有多尺度信息聚合模块的输出结果共同生成目标超分辨率图像的具体步骤包括：将粗糙特征图和所有多尺度信息聚合模块的输出结果作为输入，分别依次通过具有不同卷积核尺寸的第四卷积层和第五卷积层，以得到精细特征图；将精细特征图通过第六卷积层后，再通过上采样使精细特征图恢复成初始尺寸，对恢复至初始尺寸的精细特征图进行重建，以生成目标超分辨率图像。
32.具体的，第四卷积层用于进一步地改进和融合图像特征，第五卷积层则能在此基础上使其变得更为平滑，以更有效的提高sr性能，第四卷积层的卷积核尺寸为1*1，第五卷积层的卷积核尺寸为3*3，第六卷积层的卷积核尺寸为3*3。
33.进一步的，将高分辨率图像下采样至目标低分辨率图像，并对目标低分辨率图像进行分块操作，以分出相互重叠的图像块放入具体步骤包括：将所选取的多张高分辨率图像通过下采样得到低分辨率图像数据集，并将低分辨率图像数据集中的图像进行分块操作，分成若干个预定像素大小的图像块，并对各图像块通过水平翻转以及旋转操作进行数据增强，以对增强后的数据集通过网络进行特征提取。
34.进一步的，利用相互重叠的图像块得到相应的粗糙特征图，其具体步骤包括：将相互重叠的图像块作为输入输入至粗糙特征提取层，以生成粗糙特征图；其中，粗糙特征提取层为卷积核尺寸为3*3的卷积层。
35.针对本图像超分辨率方法，进行了相关的测试实验，具体如下：实验采用div2k数据库作为训练集，然后使用urban100作为测试集，分别对测试集中低分辨率图像重建出对应的两倍、三倍、四倍的高分辨率图像。
36.本技术与其他的图像超分辨重建算法对比，提供实验数据来表达本方法的有效性，实验结果如图6所示，对比实验结果的相关参数如下表1所示，表1为图像分别在x2、x3、x4的条件下对比实验结果(平均psnr和ssim)，(a)为carn图像，(b)为原始高分辨率图像，(c)为本技术的实验结果图。
37.从以上表1的实验数据可以看出，本图像超分辨率方法与对比方法相比获得了高的分数，优于对比算法。
38.本技术还提供了一种基于信息聚合网络的图像超分辨率装置，其包括：预处理单元，其用于将高分辨率图像下采样至目标低分辨率图像，并用于对目标低分辨率图像进行分块操作，以分出相互重叠的图像块，用于利用相互重叠的图像块得到相应的粗糙特征图；多尺度信息聚合单元，其用于接收预处理单元输出的粗糙特征图，多尺度信息聚合单元包括若干个多尺度信息聚合模块，若干个多尺度信息聚合模块依次串联形成链式连接结构，每一多尺度信息聚合模块接收到对应的输入后，均输出生成的对应的输出结果，且同时用于将生成的输出结果作为输入再次输入至与其相邻的多尺度信息聚合模块，直至从位于尾端的多尺度信息聚合模块获取到对应的输出结果；图像重建单元，其用于利用粗糙特征图和所有多尺度信息聚合模块的输出结果共同生成目标超分辨率图像。
39.其中，上述图像超分辨率装置中的各个单元的功能实现与上述图像超分辨率方法中的各步骤相对应，其功能和实现过程在此处不再一一赘述。
40.本技术还提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，计算机程序被处理器执行时实现上述图像超分辨率方法的步骤。
41.其中，计算机程序被执行时所实现的方法可参照上述图像超分辨率方法的各个步骤，此处不再赘述。
42.在本技术的描述中，需要说明的是，术语“上”、“下”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本技术和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本技术的限制。除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本技术中的具体含义。
43.需要说明的是，在本技术中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
44.以上所述仅是本技术的具体实施方式，使本领域技术人员能够理解或实现本技术。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本技术的精神或范围的情况下，在其它实施例中实现。因此，本技术将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。