本发明涉及一种外部参考图像质量评价系统，属于计算机视觉与图像处理。
背景技术：
1、目前，针对基于深度学习的图像质量评价算法的研究已取得了较为广泛的研究成果。按照参考图像的信息完整度，客观图像质量评价可以分为全参考图像质量评价、半参考图像质量评价与无参考图像质量评价三种类型。其中，全参考图像质量评价由于有参考图像的参与，性能较好，是目前图像质量评价中比较成熟的领域。但受限于参考图像的限制条件，全参考图像质量评价应用场景较少，仅适用于能够提供参考图像的场景。相对的，无参考图像质量评价仅需待评测退化图像就可完成质量评估，具有广泛的应用场景与现实意义。但与此同时，由于无法利用参考图像信息，图像质量的定义本身变得模糊，进而使得算法往往无法很好地理解及评价图像质量，导致现有的无参考算法性能普遍低于全参考算法。
2、为解决该问题，学者们提出引入外部参考图像的外部参考图像质量评价算法。该类算法通过使用与待评测图像内容完全无关的任意高质量图像作为参考图像。但由于任意选择的外部参考图像的语义信息各不相同，如何应对外部参考图像质量评价任务中参考图像全局内容信息变化多样带来的特征不稳定性问题是此类模型性能提升的关键。但目前基于外部参考图像的外部参考图像质量评价算法研究较少，并且已有的方法中也并未将外部参考图像丰富多样的语义信息考虑在内，导致其性能受限。同时，如何有效利用外部参考图像信息来衡量其与待评测低质量图像的差异也是目前仍待解决的难题。
技术实现思路
1、鉴于此，本发明提出一种能够有效提取并利用外部参考图像的内容稳健性特征的外部参考图像质量评价系统，通过图卷积网络进行外部参考图像全局语义特征推理，利用外部参考图像内容信息生成全局上下文注意力掩码，并依此实现神经元功能的动态调节，增强模型对外部参考图像内容变化的鲁棒性。
2、一种外部参考图像质量评价系统，包括：多尺度特征提取模块，用于提取外部参考图像和待评测失真图像的浅层特征；特征转换与对齐模块，连接于所述多尺度特征提取模块，用于将待评测失真图像浅层特征转换为待评测失真图像特征向量，以及，将待评测失真图像浅层特征与外部参考图像浅层特征对齐后的特征转换为差分特征向量；mlp-mixer编码模块，连接于所述特征转换与对齐模块，用于对所述待评测失真图像特征向量和所述差分特征向量分别进行编码，获得待评测失真图像编码后特征和差分特征向量的编码后特征；以及质量回归模块，连接于所述mlp-mixer编码模块，用于以所述待评测失真图像编码后特征和所述差分特征向量的编码后特征的融合特征作为输入，输出评测分数。
3、进一步地，所述多尺度特征提取模块包括外部参考图像分支和待评测失真图像分支；所述外部参考图像分支以外部参考图像为输入，进行多尺度特征提取，输出多尺度的所述外部参考图像浅层特征；所述待评测失真图像分支以待评测失真图像为输入，进行多尺度特征提取，输出多尺度的所述待评测失真图像浅层特征。
4、更进一步地，所述外部参考图像分支和所述待评测失真图像分支均通过使用随机可重叠的裁剪方式将输入的相应图像随机划分为多个固定大小的图像块，并且，均是使用resnet50构建多尺度特征提取网络来对相应图像块提取浅层特征。
5、进一步地，所述特征转换与对齐模块包括动态语义图学习组、基于可形变卷积的特征对齐模块、第一特征转换模块、第二特征转换模块、差分模块、第一拼接模块以及第二拼接模块；所述动态语义图学习组连接于所述多尺度特征提取模块，用于对所述外部参考图像浅层特征进行自适应卷积核调制，得到调制后的外部参考图像特征；所述特征对齐模块连接于所述动态语义图学习组和所述多尺度特征提取模块，用于将所述待评测失真图像浅层特征与所述调制后的外部参考图像特征进行特征层面的对齐，得到对齐后的外部参考图像特征图；所述第一特征转换模块连接于所述多尺度特征提取模块，用于将所述待评测失真图像浅层特征转换为第一特征向量；所述第二特征转换模块连接于所述特征对齐模块，用于将所述对齐后的外部参考图像特征图转换为第二特征向量；所述差分模块连接于所述第一特征转换模块和所述第二特征转换模块，用于计算所述第一特征向量与所述第二特征向量的差分特征；所述第一拼接模块连接于所述第一特征转换模块，用于将所述第一特征向量按通道串联的方式拼接，得到所述待评测失真图像特征向量；所述第二拼接模块连接于所述差分模块，用于将所述差分特征按通道串联的方式拼接，得到所述差分特征向量。
6、更进一步地，所述特征转换与对齐模块包括多个所述动态语义图学习组，每个所述动态语义图学习组用于处理一个尺度的外部参考图像浅层特征i表示第i个尺度；每个所述动态语义图学习组包含第一动态语义图学习模块、修正线性单元relu和第二动态语义图学习模块；其中，所述第一动态语义图学习模块用于以为输入，输出调制后的第一卷积核w1i*；使用第一卷积核w1i*对进行卷积操作后输入所述线性修正单元relu；所述第二动态语义图学习模块用于以所述线性修正单元relu的输出作为输入，获得调制后的第二卷积核使用第二卷积核对进行卷积操作后再与进行融合，得到第i个尺度调制后的外部参考图像特征
7、更进一步地，所述第一动态语义图学习模块和所述第二动态语义图学习模块具有相同的网络结构，所述网络结构被配置为：首先通过一个全连接层将输入特征映射到潜在表示空间，获取输入特征的全局上下文描述符；其次通过图卷积网络gcn构建语义推理模型获得增强后的上下文描述符；然后通过混合空间注意力与通道注意力机制，分别沿通道维度与空间维度对通道相互作用因子与空间相互作用因子进行建模，经维度变换后分别获得空间维度注意力掩码与通道维度注意力掩码；再通过将所述空间维度注意力掩码与所述通道维度注意力掩码相加获得混合空间与通道维度的注意力掩码；最后利用所述混合空间与通道维度的注意力掩码与一卷积核逐元素相乘，获得调制后的卷积核。
8、更进一步地，所述特征对齐模块包括偏移量生成分支与可形变卷积；所述偏移量生成分支包括一个卷积层，用于对所述调制后的外部参考图像特征与所述待评测失真图像浅层特征进行卷积，卷积结果再与所述调制后的外部参考图像特征共同输入所述可形变卷积中完成对齐操作，获得所述对齐后的外部参考图像特征图。
9、更进一步地，所述第一特征转换模块和所述第二特征转换模块的结构相同，均包括一个1×1卷积层和平均池化层；所述差分模块用于对所述第一特征向量与所述第二特征向量进行逐元素相减，获得所述差分特征。
10、更进一步地，所述mlp-mixer编码模块包括第一编码分支与第二编码分支；所述第一编码分支连接于所述第一拼接模块，包括9个mlp-mixer结构，用于对所述待评测失真图像特征向量进行mlp-mixer编码，获得所述待评测失真图像编码后特征；所述第二编码分支包括18个mlp-mixer结构，用于对所述差分特征向量进行mlp-mixer编码，获得所述差分特征向量的编码后特征。
11、更进一步地，所述质量回归模块包括两个全连接层，所述评测分数为
12、
13、其中，*代表卷积，wfc1、wfc2表示两个全连接层参数，flq_mlp表示所述待评测失真图像编码后特征，fdiff_mlp表示所述差分特征向量的编码后特征，表示逐元素相加。
14、与现有技术相比，本发明的有益效果体现在：
15、作为外部参考图像的任意图像内容的高质量图像涵盖了大量不同的图像内容信息，若无法通过模型正确提取外部参考图像中的质量特征与内容不变性特征，那么外部参考图像反而会对算法性能产生负面影响。本发明针对外部参考图像质量评价算法的上述问题，提出了前述基于动态语义图学习的外部参考图像质量评价系统和算法，引入外部参考图像为网络设置理想上限，并提出适合该场景的动态语义图学习模块，使得网络根据任意外部参考图像的语义信息自适应调节神经元功能，提取出最适配该语义特征场景下的高质量图像特征以辅助图像质量预测。同时，为精准计算图像质量差分特征，提出外部参考图像的可形变卷积对齐方式进行先对齐后差分的运算，提升网络的信息利用能力。与现有外部参考图像质量评价网络相比，本发明所提出的方案能够根据外部参考图像内容信息进行神经元功能自适应调节，有效解决了无参考图像质量评价中无法利用参考图像的问题，弥合了无参考图像质量评价与全参考图像质量评价之间的差距。
1.一种外部参考图像质量评价系统，其特征在于，包括：
2.如权利要求1所述的外部参考图像质量评价系统，其特征在于：所述多尺度特征提取模块包括外部参考图像分支和待评测失真图像分支；所述外部参考图像分支以外部参考图像为输入，进行多尺度特征提取，输出多尺度的所述外部参考图像浅层特征；所述待评测失真图像分支以待评测失真图像为输入，进行多尺度特征提取，输出多尺度的所述待评测失真图像浅层特征。
3.如权利要求2所述的外部参考图像质量评价系统，其特征在于：所述外部参考图像分支和所述待评测失真图像分支均通过使用随机可重叠的裁剪方式将输入的相应图像随机划分为多个固定大小的图像块，并且，均是使用resnet50构建多尺度特征提取网络来对相应图像块提取浅层特征。
4.如权利要求1所述的外部参考图像质量评价系统，其特征在于：所述特征转换与对齐模块包括动态语义图学习组、基于可形变卷积的特征对齐模块、第一特征转换模块、第二特征转换模块、差分模块、第一拼接模块以及第二拼接模块；
5.如权利要求4所述的外部参考图像质量评价系统，其特征在于：所述特征转换与对齐模块包括多个所述动态语义图学习组，每个所述动态语义图学习组用于处理一个尺度的外部参考图像浅层特征i表示第i个尺度；
6.如权利要求5所述的外部参考图像质量评价系统，其特征在于，所述第一动态语义图学习模块和所述第二动态语义图学习模块具有相同的网络结构，所述网络结构被配置为：首先通过一个全连接层将输入特征映射到潜在表示空间，获取输入特征的全局上下文描述符；其次通过图卷积网络gcn构建语义推理模型获得增强后的上下文描述符；然后通过混合空间注意力与通道注意力机制，分别沿通道维度与空间维度对通道相互作用因子与空间相互作用因子进行建模，经维度变换后分别获得空间维度注意力掩码与通道维度注意力掩码；再通过将所述空间维度注意力掩码与所述通道维度注意力掩码相加获得混合空间与通道维度的注意力掩码；最后利用所述混合空间与通道维度的注意力掩码与一卷积核逐元素相乘，获得调制后的卷积核。
7.如权利要求4所述的外部参考图像质量评价系统，其特征在于：所述特征对齐模块包括偏移量生成分支与可形变卷积；所述偏移量生成分支包括一个卷积层，用于对所述调制后的外部参考图像特征与所述待评测失真图像浅层特征进行卷积，卷积结果再与所述调制后的外部参考图像特征共同输入所述可形变卷积中完成对齐操作，获得所述对齐后的外部参考图像特征图。
8.如权利要求4所述的外部参考图像质量评价系统，其特征在于：所述第一特征转换模块和所述第二特征转换模块的结构相同，均包括一个1×1卷积层和平均池化层；
9.如权利要求4所述的外部参考图像质量评价系统，其特征在于：所述mlp-mixer编码模块包括第一编码分支与第二编码分支；所述第一编码分支连接于所述第一拼接模块，包括9个mlp-mixer结构，用于对所述待评测失真图像特征向量进行mlp-mixer编码，获得所述待评测失真图像编码后特征；所述第二编码分支包括18个mlp-mixer结构，用于对所述差分特征向量进行mlp-mixer编码，获得所述差分特征向量的编码后特征。
10.如权利要求9所述的外部参考图像质量评价系统，其特征在于：所述质量回归模块包括两个全连接层，所述评测分数为
