本发明涉及图像质量处理，尤其涉及一种基于高-低频特征增强的超分辨率图像质量评价方法及系统。
背景技术：
1、随着通信与互联网技术的快速发展，图像是目前最为重要的信息载体之一，其质量的好坏将直接影响后续目标识别、语义分割等一系列下游任务的应用。然而，图像在采集和远距离传输过程中，接受到的图像质量难以避免不同程度的下降。因此，图像质量评价（image quality assessment，iqa）的研究成为数字图像处理领域的一个重要内容。而超分辨率图像质量评价（super-resolution image quality assessment, sriqa）方法则是图像质量评价研究领域内的一个分支，它针对从低分辨率图像进行超分辨率重建后的图像进行质量评价的问题。
2、传统的超分辨率重建方法可以分为基于插值的方法、基于重建的方法以及基于学习的方法。基于插值的方法利用低分辨率图像自身像素及周围像素信息进行重构，导致结果模糊。基于重建的方法多基于多帧图像和先验知识，如贝叶斯分析和迭代反投影。文献image super-resolution as sparse representation of raw image patches和imagesuper-resolution via sparse representation中使用字典学习，通过字典和原子表达高低分辨率图像，训练字典后得到超分辨率结果，但仍存在锯齿问题。类似的方法包括基于样例和领域嵌入，但它们的特征设计复杂，重建效果有限，难以广泛应用于超分辨率重建场景。
3、近年来，学者们提出了许多基于深度学习的超分辨率重建方法。2014年，dong等人（dong c, loy c c, he k, et al. image super-resolution using deepconvolutional networks[j]. ieee transactions on pattern analysis and machineintelligence, 2016, 38(2): 295-307.）等首次将卷积神经网络（convolutional neuralnetwork，cnn）应用于超分辨率重建问题中，提出了srcnn。针对其网络层数过浅，网络感受野过小的问题，dong等人（chao d, chen c l, tang x. accelerating the super-resolution convolutional neural network[j]. springer, cham, 2016: 1-17.）提出了fsrcnn，加深了低分辨率到高分辨率特征映射的网络层数并利用可学习的反卷积层代替线性插值的操作。之后大批学者在此的基础上提出了许多改进的方法，将网络复杂化从而提升网络性能。kim（kim j, lee j k, lee k m. deeply-recursive convolutionalnetwork for image super-resolution[c]// ieee conference on computer visionand pattern recognition (cvpr), las vegas, nv, usa: ieee, 2016: 1637-1645.）等人提出了drcn，其中网络的递归模块通过重建网络生成多个重建结果，这些结果通过残差连接与输入相结合，最终通过加权平均得到最终输出。类似地，kim等人（kim j, lee j k,lee k m. accurate image super-resolution using very deep convolutionalnetworks[c]// ieee conference on computer vision and pattern recognition(cvpr), las vegas, nv, usa: ieee, 2016: 1646-1654.）的vdsr采用更深的网络结构，引入残差学习和梯度裁剪以解决深度增加导致的收敛问题。lim等人（lim b, son s, kimh, et al. enhanced deep residual networks for single image super-resolution[c]// ieee conference on computer vision and pattern recognition workshops(cvprw), honolulu, hi, usa: ieee, 2017: 1132-1140.）针对resnet（he k, zhang x,ren s, et al. deep residual learning for image recognition[c]// ieeeconference on computer vision and pattern recognition (cvpr), las vegas, nv,usa: ieee, 2016: 770-778.）在超分辨率任务中的不适用性，改进了残差单元，提出了edsr，去除批次归一化层以增加性能。另一方面，tong等人（tong t, li g, liu x, et al.image super-resolution using dense skip connections[c]// ieee internationalconference on computer vision (iccv). venice, italy: ieee, 2017: 4809-4817）引入了稠密连接思想，提出了srdensenet，用于超分辨率重建任务。实验证明这些方法优于传统的超分辨率重建方法，但这类方法也普遍存在着以下几点问题：首先，模型特征提取阶段，缺乏对关键的高低频率信息挖掘；其次，模型质量回归阶段忽略了超分辨率图像特性，直接照搬了自然图像质量评价网络结构，因此还有很大的改进空间。
技术实现思路
1、本发明的目的在于解决当前图像质量评价方法对严重失真图像的评价不准确问题，提出了一种基于高-低频特征增强的超分辨率图像质量评价方法及系统。该方法设计了高频特征增强模块与低频特征增强模块，充分挖掘了超分辨率图像的高频特征与低频特征，同时引入了颜色矩与局部二值模式（local binary pattern，lbp）特征辅助卷积神经网络，对特征进行补充并增强算法的可解释性。最后根据超分辨率图像的特性，设计了双分支加权打分的回归策略进一步增强算法性能。本发明通过在多个数据库上进行测试，结果表明，本发明整体性能优异。
2、本发明的上述技术问题主要是通过下述技术方案得以解决的：
3、一种基于高-低频特征增强的超分辨率图像质量评价方法，包括以下步骤：
4、步骤s1，利用卷积神经网络作为主干网络提取超分辨率图像多层级特征；
5、步骤s2，通过高频特征增强模块hfem和低频特征增强模块lfem增强所述超分辨率图像的多层级特征，然后分别对增强后的多层级高频特征和多层级低频特征中各层级特征进行融合，得到高频融合特征和低频融合特征；
6、步骤s3，高频融合特征与对应的颜色矩相融合得到融合后的高频特征，低频融合特征与局部二值模式lbp特征相融合得到融合后的低频特征；
7、步骤s4，根据高频特征和低频特征，采用双分支加权打分的回归结构计算出超分辨率图像的质量分数与对应权重，通过权重加权计算出最终的质量分数，输出图像超分辨率图像质量评价结果。
8、进一步的，步骤s1中，通过resnet50主干网络提取超分辨率图像多层级特征。
9、进一步的，步骤s2中，高频特征增强模块hfem由两个并行的卷积核尺寸分别为3和5的两个小卷积层，三个最大池化操作层，一个1×1卷积核的卷积层组成，并行的卷积核尺寸为3和5的两个小卷积层进行特征提取；最大池化操作层分别对多层级特征以及经过两个卷积层后的特征进行处理，接着将最大池化并行获取的三个特征在通道上进行拼接，拼接的特征再通过一个1×1卷积核的卷积层实现特征融合，最终获取到经过hfem增强后输出的增强后的多层级高频特征，其表示公式如下：
10、
11、其中，表示经过hfem增强后输出的特征， i1表示层级特征的索引，表示卷积核尺寸为 j1的卷积层， j1取1、3和5，表示最大池化操作，表示特征的拼接操作。
12、进一步的，低频特征增强模块lfem由两个并行的卷积核尺寸分别为9和11的两个卷积层，三个平均池化操作层，一个1×1卷积核的卷积层组成；并行的卷积核尺寸为9和11的两个卷积层用更大的感受野来捕捉特征图的全局特征；平均池化操作层分别对多层级特征以及经过两个卷积层后的特征进行处理，接着将平均池化并行获取的三个特征在通道上进行拼接，拼接的特征再通过一个1×1卷积核的卷积层实现特征融合，获取增强后的低频特征，最终获取到经过lfem增强后输出的增强后的多层级低频特征，其表示公式如下：
13、
14、其中，表示经过lfem增强后输出的特征， i2表示层级特征的索引，表示卷积核尺寸为 j2的卷积层， j2取1、9和11，表示平均池化操作，表示特征的拼接操作。
15、进一步的，步骤s3中，采用了一阶矩即均值、二阶矩即方差以及三阶矩即斜度，分别在hsv三个颜色分量上对原始的超分辨率图像进行颜色特征提取，得到共9维的颜色特征作为颜色矩，各阶矩的计算方式如下：
16、
17、
18、
19、其中，表示第个像素的第个颜色分量，为图像的像素点数量，表示通道的一阶矩，表示通道的二阶矩，表示通道的三阶矩，由此得到九维的颜色特征，其中下标h、s、v分别表示在色相hue、饱和度saturation、明度value通道上的指标，分别表示在hue通道上一阶矩、二阶矩、三阶矩，分别表示在saturation通道上一阶矩、二阶矩、三阶矩，分别表示在value通道上一阶矩、二阶矩、三阶矩，与展开为一维的高频特征拼接融合得到，用于后续的质量回归。
20、进一步的，步骤s3中，采用原始模式的lbp算子进行特征提取得到局部二值模式lbp特征，定义灰度级不变lbp的计算公式如下：
21、
22、其中，记局部区域内的像素点个数为p，表示相应局部邻域的中心像素的灰度值，表示图像的局部领域内，以中心像素为圆心并在区域范围内的像素点的灰度值，表示以中心像素的灰度值为阈值对周围像素进行标记，， x为自变量；
23、计算图像中每个区域的lbp直方图，即每个二进制数出现的频率，对该直方图进行归一化处理，得到每个区域的统计直方图连接而成的lbp纹理特征向量，并与展开为一维的低频特征拼接融合得到，用于后续的质量回归。
24、进一步的，步骤s4中， 双分支加权打分的回归结构由高频特征回归分支与低频特征回归分支组成，每个分支都由权重回归全连接层与分数回归全连接层构成，分别用于得到各自分支特征的权重与得分，然后通过加权求和得到最终的图像质量分数，具体过程由下式描述：
25、
26、
27、
28、
29、
30、，分别表示高频特征和低频特征对应的权重，，分别表示高频特征和低频特征对应的分数，表示权重回归全连接层函数，表示分数回归全连接层函数， score表示预测的质量分数。
31、进一步的，还包括根据预测的质量分数和真实质量分数计算损失，从而优化步骤s1-步骤s4构成的整体网络：
32、
33、其中， score表示预测的质量分数，表示真实的质量分数，loss表示损失。
34、本发明还提供一种基于高-低频特征增强的超分辨率图像质量评价系统，包括以下单元：
35、多层级特征提取单元，用于利用卷积神经网络提取超分辨率图像多层级特征；
36、特征增强单元，用于通过高频特征增强模块hfem和低频特征增强模块lfem增强所述超分辨率图像的多层级特征，然后分别对增强后的多层级高频特征和多层级低频特征中各层级特征进行融合，得到高频融合特征和低频融合特征；
37、特征融合单元，用于高频融合特征与对应的颜色矩相融合得到融合后的高频特征，低频融合特征与局部二值模式lbp特征相融合得到融合后的低频特征；
38、质量评价单元，用于根据高频特征和低频特征，采用双分支加权打分的回归结构计算出超分辨率图像的质量分数与对应权重，通过权重加权计算出最终的质量分数，输出图像超分辨率图像质量评价结果。
39、与现有技术相比，本发明的有益效果如下：
40、本发明提出了一种基于高-低频特征增强的超分辨率图像质量评价方法及系统。该方法充分挖掘了超分辨率图像的高频特征与低频特征，同时引入了颜色矩与局部二值模式（local binary pattern，lbp）特征辅助卷积神经网络，对特征进行补充并增强算法的可解释性。最后根据超分辨率图像的特性，设计了双分支加权打分的回归策略进一步增强算法性能。本发明通过在多个数据库上进行测试，结果表明，本发明整体性能优异。
1.高-低频特征增强的超分辨率图像质量评价方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的高-低频特征增强的超分辨率图像质量评价方法，其特征在于：步骤s1中，通过resnet50主干网络提取超分辨率图像多层级特征。
3.根据权利要求1所述的高-低频特征增强的超分辨率图像质量评价方法，其特征在于：步骤s2中，高频特征增强模块hfem由两个并行的卷积核尺寸分别为3和5的两个小卷积层，三个最大池化操作层，一个1×1卷积核的卷积层组成，并行的卷积核尺寸为3和5的两个小卷积层进行特征提取；最大池化操作层分别对多层级特征以及经过两个卷积层后的特征进行处理，接着将最大池化并行获取的三个特征在通道上进行拼接，拼接的特征再通过一个1×1卷积核的卷积层实现特征融合，最终获取到经过hfem增强后输出的增强后的多层级高频特征，其表示公式如下：
4.根据权利要求1所述的高-低频特征增强的超分辨率图像质量评价方法，其特征在于：低频特征增强模块lfem由两个并行的卷积核尺寸分别为9和11的两个卷积层，三个平均池化操作层，一个1×1卷积核的卷积层组成；并行的卷积核尺寸为9和11的两个卷积层用更大的感受野来捕捉特征图的全局特征；平均池化操作层分别对多层级特征以及经过两个卷积层后的特征进行处理，接着将平均池化并行获取的三个特征在通道上进行拼接，拼接的特征再通过一个1×1卷积核的卷积层实现特征融合，获取增强后的低频特征，最终获取到经过lfem增强后输出的增强后的多层级低频特征，其表示公式如下：
5.根据权利要求1所述的高-低频特征增强的超分辨率图像质量评价方法，其特征在于：步骤s3中，采用了一阶矩即均值、二阶矩即方差以及三阶矩即斜度，分别在hsv三个颜色分量上对原始的超分辨率图像进行颜色特征提取，得到共9维的颜色特征作为颜色矩，各阶矩的计算方式如下：
6.根据权利要求1所述的基于高-低频特征增强的超分辨率图像质量评价方法，其特征在于：步骤s3中，采用原始模式的lbp算子进行特征提取得到局部二值模式lbp特征，定义灰度级不变lbp的计算公式如下：
7.根据权利要求1所述的高-低频特征增强的超分辨率图像质量评价方法，其特征在于：步骤s4中， 双分支加权打分的回归结构由高频特征回归分支与低频特征回归分支组成，每个分支都由权重回归全连接层与分数回归全连接层构成，分别用于得到各自分支特征的权重与得分，然后通过加权求和得到最终的图像质量分数，具体过程由下式描述：
8.根据权利要求1所述的高-低频特征增强的超分辨率图像质量评价方法，其特征在于：还包括根据预测的质量分数和真实质量分数计算损失，从而优化步骤s1-步骤s4构成的整体网络：
9.高-低频特征增强的超分辨率图像质量评价系统，其特征在于，包括以下单元：
