本技术涉及图像水印,尤其是涉及一种中间过程监督的深度学习图像水印提取方法及系统。
背景技术:
1、基于深度学习的图像水印提取算法一般都是端到端的,水印的嵌入和提取过程是联合训练的,嵌入和提取各由一个深度模型完成。端到端的深度学习包含嵌入、提取和噪声三个模块。其中,嵌入模块接收无水印图像和水印信息,输出含水印图像;噪声模块对含水印图像进行加噪操作,包括裁剪、旋转、色彩变换等,且噪声模块需要满足可微分的形状;提取模块输入加噪后的水印图像,输出水印信息。
2、在该端到端的图像水印模型进行训练时,嵌入和提取模块将同时训练,损失函数为提取水印信息和原始水印信息一致性及加水印前后图像一致性的加权和,也就是说,模型训练过程中将根据噪声层的噪声,自己学习如何在不能大幅改变图像的限制下,向无水印图像添加能抵抗这些噪声的水印信息,及如何从含水印图像中解码水印信息。
3、然而,在实际场景中,这一套端到端的水印嵌入提取算法很可能是无法使用的。例如,嵌入端对速度有较高要求,基于深度学习的嵌入算法往往速度偏慢,无法满足需求;或者嵌入端的图片分辨率要求很高,基于深度学习的嵌入算法要求嵌入图片为指定大小,同样也无法满足要求。对嵌入端有较高要求时,往往会在嵌入端使用传统算法以满足速度和分辨率需求。同时,实际场景中泄密图片数量是很少的,所以对泄密图片中水印提取算法的计算速度没有要求,但对提取算法的准确率有很高要求,适合采用复杂的深度学习模型进行水印提取任务。
4、针对上述中的相关技术,认为当水印嵌入算法直接采用传统卷积神经网络encoder结构的模型时,水印嵌入算法较为复杂,训练模型提取嵌入在图片中的水印信息时,容易导致水印提取模型无法收敛,影响水印信息提取的效果。
技术实现思路
1、为了改善当水印嵌入算法直接采用传统卷积神经网络encoder结构的模型时,水印嵌入算法较为复杂,训练模型提取嵌入在图片中的水印信息时,容易导致水印提取模型无法收敛,影响水印信息提取的效果的问题,本技术提供一种中间过程监督的深度学习图像水印提取方法及系统。
2、第一方面,本技术提供的一种中间过程监督的深度学习图像水印提取方法,采用如下的技术方案:包括:
3、根据预设的无水印图像以及水印信息,生成含水印图像;
4、根据所述含水印图像以及所述无水印图像,提取降采样水印特征图和完整水印特征图;
5、将所述含水印图像以及所述降采样水印特征图输送至预设的水印提取模型中,输出恢复水印特征图;
6、将所述恢复水印特征图输送至所述水印提取模型中,得到恢复水印信息。
7、可选的,所述根据所述含水印图像以及所述无水印图像,提取降采样水印特征图和完整水印特征图,包括:
8、根据所述含水印图像以及所述无水印图像进行残差计算,确定添加水印后的两个图像的第一残差图像;
9、对所述残差图像进行局域线性变化,获取简化和滤波后的所述完整水印特征图;
10、对所述完整水印特征图进行降采样,获取所述降采样水印特征图。
11、可选的,所述对所述完整水印特征图进行降采样,获取所述降采样水印特征图,包括:
12、对所述完整水印特征图进行多重降采样,每一重降采样输出的所述降采样水印特征图的降采样倍数为2的i次方;
13、其中,i为多重降采样由先到后依次排序的序数。
14、可选的,所述水印提取模型包括两层encoder卷积神经网络层以及一层decode卷积神经网络层;
15、所述decode卷积神经网络层位于两层所述encoder卷积神经网络层之间。
16、可选的,所述将所述含水印图像以及所述降采样水印特征图输送至预设的水印提取模型中,输出恢复水印特征图,包括:
17、将所述含水印图像进行加噪处理,输出加噪含水印图像;
18、将所述加噪含水印图像输送至所述encoder卷积神经网络层中,提取第一水印特征;
19、将所述第一水印特征以及所有的所述降采样水印特征图输送至所述decode卷积神经网络层中,输出所述恢复水印特征图。
20、可选的,所述将所述第一水印特征以及所有的所述降采样水印特征图输送至所述decode卷积神经网络层中,输出所述恢复水印特征图,还包括:
21、将所述第一水印特征以及所述降采样水印特征图输送至所述decode卷积神经网络层中;
22、所述decode卷积神经网络层对所述降采样水印特征图进行多重升采样,并根据所述第一水印特征对升采样过程中的所述降采样水印特征图进行特征补充,获取升采样特征图;
23、将所述升采样特征图与同样分辨率的所述降采样特征图进行比较,若不一致,则根据预设的优化函数对所述decode卷积神经网络层进行优化;
24、若一致,则输出所述恢复水印特征图。
25、可选的,在所述将所述含水印图像以及所述降采样水印特征图输送至预设的水印提取模型中,输出恢复水印特征图之后,还包括:
26、若所述恢复水印特征图与所述完整水印特征图不一致,则根据所述优化函数对所述水印提取模型进行优化。
27、可选的,所述优化函数的具体公式如下:
28、
29、其中,downsamplei代表进行i次降采样,d1i代表所述decode卷积神经网络层d1中倒数第i+1层的输出,dis1表示水印信息空间中距离的衡量方法,dis2表示图像空间中距离的衡量方法,和为权重系数,a代表所述无水印图像,w代表所述水印信息,d代表所述水印提取模型,n代表加噪算法,e代表水印嵌入算法,c代表特征图生成算法,包括了残差算法以及局域线性变化算法。
30、进一步的,参照图4,将恢复水印特征图输送至第二层encoder卷积神经网络层中,得到恢复水印信息。应当注意的是,图4中的水印信息w’就是本技术中的恢复水印信息。
31、第二方面,本技术一种中间过程监督的深度学习图像水印提取装置,采用如下技术方案,包括:
32、水印嵌入模块,用于根据预设的无水印图像以及水印信息,生成含水印图像;
33、特征生成模块,用于根据所述含水印图像以及所述无水印图像,提取降采样水印特征图和完整水印特征图;
34、特征提取模块,用于将所述含水印图像以及所述降采样水印特征图输送至预设的水印提取模型中,输出恢复水印特征图;
35、信息提取模块,用于将所述恢复水印特征图输送至所述水印提取模型中,得到恢复水印信息。
36、综上所述,本技术中系统先根据水印嵌入算法将水印信息嵌入无水印图像中,系统再将含水印图像经过加噪处理发送至水印提取模型中,同时,系统将含水印图像与无水印图像进行残差计算,得到残差图像,并对残差图像进行局部线性变化,得到完整水印特征图,系统对完整水印特征图进行多级的降采样处理,输出降采样水印特征图,最后系统将降采样水印特征图发送至水印提取模型中进行升采样,并依据加噪含水印图像进行细节补充,若所述恢复水印特征图与所述完整水印特征图不一致或所述升采样特征图与同样分辨率的所述降采样特征图不一致,则通过优化函数对水印提取模型进行优化训练,最后水印提取模型根据恢复水印特征图提取出恢复水印信息,恢复水印信息应当与水印信息一致,从而通过优化函数对水印提取模型的训练过程进行监督和优化,以便于提高水印提取模型的准确率。并且,通过水印特征图对水印模型训练的过程进行引导,将水印提取任务分为恢复水印特征图和恢复水印信息两个子任务,通过多个模块分别去完成这两个相对容易的子任务。恢复水印特征图的任务过程上变得更明确,水印提取模型只需要先估计出低分辨率的特征图这一简单任务,再从分辨率很低的特征图逐渐进行水印特征图细节的恢复,明确了模型每个模块的目标,同时也能为模型结构上的设计提供指导,使得传统训练方法难以收敛的任务,在此框架下模型训练得以收敛。
1.一种中间过程监督的深度学习图像水印提取方法,其特征在于,包括:
2.根据权利要求1所述的一种中间过程监督的深度学习图像水印提取方法,其特征在于,所述根据所述含水印图像以及所述无水印图像,提取降采样水印特征图和完整水印特征图,包括:
3.根据权利要求2所述的一种中间过程监督的深度学习图像水印提取方法,其特征在于,所述对所述完整水印特征图进行降采样,获取所述降采样水印特征图,包括:
4.根据权利要求1所述的一种中间过程监督的深度学习图像水印提取方法,其特征在于,所述水印提取模型包括两层encoder卷积神经网络层以及一层decode卷积神经网络层;
5.根据权利要求4所述的一种中间过程监督的深度学习图像水印提取方法,其特征在于,所述将所述含水印图像以及所述降采样水印特征图输送至预设的水印提取模型中,输出恢复水印特征图,包括:
6.根据权利要求5所述的一种中间过程监督的深度学习图像水印提取方法,其特征在于,所述将所述第一水印特征以及所有的所述降采样水印特征图输送至所述decode卷积神经网络层中,输出所述恢复水印特征图,还包括:
7.根据权利要求6所述的一种中间过程监督的深度学习图像水印提取方法,其特征在于,在所述将所述含水印图像以及所述降采样水印特征图输送至预设的水印提取模型中,输出恢复水印特征图之后,还包括:
8.根据权利要求6所述的一种中间过程监督的深度学习图像水印提取方法,其特征在于,所述优化函数的具体公式如下:
9.根据权利要求4所述的一种中间过程监督的深度学习图像水印提取方法,其特征在于,所述将所述恢复水印特征图输送至所述水印提取模型中,得到恢复水印信息,包括:
10.一种中间过程监督的深度学习图像水印提取装置,其特征在于,所述装置包括: