本发明涉及人脸伪造检测,具体地讲,涉及基于双分支协作学习的跨域人脸伪造检测方法。
背景技术:
1、随着深度学习技术的快速发展,人脸伪造技术的影响日益广泛,对社会和个人都产生了深远的影响,deepfake技术可用于传播虚假信息、冒充身份和诈骗活动,严重损害信息可信度和个人隐私。因此,开发有效的人脸伪造检测方法具有十分重要的意义。人脸伪造检测技术可以简化为一个二元分类问题,目的是区分人脸是真实的还是伪造的。目前的广义深度造假检测技术主要集中在三个方面,即数据视角,特征视角和学习策略视角。在本研究中,我们提出了一种新的域适应深度造假检测方法,该方法在一个统一的框架内同时进行域对齐和知识蒸馏。通过相互促进,增强了模型在目标域中的检测能力。
2、目前,大多数方法主要侧重于提高单个数据集内的检测精度,而没有考虑模型的泛化能力,模型的跨域检测精度需要提高。随着深度造假技术的快速发展,人脸伪造方法的种类越来越多样化。当训练数据(源域)和测试数据(目标域)来自不同的深度造假技术时,仅对源域进行训练的模型应用于目标域时,检测精度明显下降。针对特定类型伪造方式的深度造假检测方法已不能满足实际需求。为此,如何提高深度造假检测方法的可泛化性成为研究的重点。
技术实现思路
1、本发明要解决的技术问题是提供基于双分支协作学习的跨域人脸伪造检测方法,方便人脸伪造检测。
2、本发明采用如下技术方案实现发明目的:
3、基于双分支协作学习的跨域人脸伪造检测方法,其特征在于,包括以下步骤:
4、s1:将双分支协作学习框架划分为两个分支,每个分支包含一个教师网络和一个学生网络,其中,第一个分支的教师和学生分别记作和,第二个分支的教师和学生分别记作和;
5、s2:使用基于fft的风格转换方法来生成潜在域图像,保持源域图像的内容与目标域图像的风格;
6、s3:对学生网络进行优化;
7、s4:对教师网络进行优化;
8、s5:使用xception作为骨干网络,对两对教师和学生网络,进行人脸伪造检测。
9、作为本技术方案的进一步限定,所述s2的具体步骤为,通过将的振幅替换为的振幅,利用fft生成类目标图像;
10、s21:将源域、潜在域和目标域分别定义为、及;
11、其中:、及分别表示每一个域中图像的个数;
12、由于和有着相同的内容,因此可作为标签同时使用;
13、,,分别表示源域、潜在域、目标域中随机选取的第,,张人脸图像;,分别表示源域和目标域中的第,张人脸图像的标签;
14、s22:构造了两对自适应,即和;;
15、第一个分支的和在对上进行域对齐和知识蒸馏,第二个分支的和在对上处理相同的过程。
16、作为本技术方案的进一步限定,所述s3的具体步骤为:
17、s31:先通过fft引入一个额外的潜在域,减轻图像层面的域适应难度;
18、通过将和其它域分别放在两个分支中进行对齐,使得两个分支可通过两个学生网络探索更丰富的跨域知识,为伪标签的细化提供更多的线索;
19、在中,输入和依次经过特征提取器、对抗鉴别器和域分类器;
20、s32:利用对抗学习在特征级实现域对齐;
21、在特征提取器和域分类器之间引入了梯度反转层,当中的缺乏标号时,的损失函数可认为是无监督损失,表示如下:
22、(1)
23、其中:表示域标签;
24、为无监督损失中平衡两个分类重要性的权重,设置为0.1;
25、表示用于区分真假人脸的负对数似然损失;
26、表示用于从哪个域分类特征的负对数似然损失;
27、表示的标签。
28、作为本技术方案的进一步限定,所述s4中,采用了ema将学生网络中的参数传递到教师网络中,可表示为:
29、(2)
30、其中:和分别为和的参数;
31、为ema的平滑系数,设置为0.994,该系数决定了参数更新的权值。
32、作为本技术方案的进一步限定,所述s5的具体步骤为:
33、s51:提出动态更新模块,以提高教师网络生成伪标签的可靠性;
34、对于相同的,引入两个丢弃层,分别从和产生个预测结果,然后计算个预测结果的标准差,表示为:
35、(3)
36、其中:表示个预测结果的平均值,设置为5;
37、表示第次的预测结果;
38、s52:通过在线调整策略来更新在第次的二进制概率,可表示为:
39、(4)
40、其中:表示在第个epoch后预测的二进制概率;
41、表示更新后的二进制概率,即被分为真脸或假脸的概率;
42、表示具体采用的分支,,即表示两个分支都进行公式4的操作;
43、为epoch数;
44、s53:根据公式3和4,通过比较与的值来选择不确定性较低的教师网络生成伪标签,细化后的伪标签可表示为:
45、(5)
46、其中:为类别数;
47、为通道数;
48、为第一个分支第个通道的预测概率值;
49、为第二个分支第个通道的预测概率值;
50、s54:s54:采用平滑策略来更好地利用伪标签,的预测概率值调整如下:
51、(6)
52、其中:表示平滑系数,设置为0.1;
53、当得到细化后的伪标签时,使用交叉熵损失来优化:
54、(7)
55、其中,表示调整后的预测概率值;
56、因此,公式1中的无监督损失可以转化为半监督域自适应损失;
57、因此,和的总损失函数可以表示为:
58、(8)
59、其中,是控制的超参数,设置为1.0。
60、与现有技术相比,本发明的优点和积极效果是:本发明提出了一种双分支协作学习框架来学习域不变量表示,以实现域适应人脸伪造检测。为了实现更有效的域对齐,我们利用fft动态生成类目标潜在域图像,并在此基础上构建了一个新的自适应管道,该自适应管道包含两个对,实现了在特征和图像层面上的有效域对齐。本发明第一次通过域对齐和知识蒸馏联合优化的方式进行人脸伪造检测,从而相互促进提高模型的跨域能力。引入了一种动态更新策略来细化伪标签,从优化进学生网络的知识提取,有效地缓解了噪声对传递模型的不利影响。本发明采用的是动态生成类目标潜在域的方式,并在此基础上构建了一个新的自适应管道,实现了在特征和图像层面上的有效对齐;利用知识蒸馏技术生成伪标签可以更有效地将模型转移到无标签的未知目标域,但伪标签中潜在的错误标签很容易引发模型的错误学习,本发明的教师网络采用动态更新策略,可以为学生网络提供更可靠的伪标签,从而降低伪标签内部潜在的错误噪声。
1.基于双分支协作学习的跨域人脸伪造检测方法,其特征在于,包括以下步骤:
2.根据权利要求1所述的基于双分支协作学习的跨域人脸伪造检测方法,其特征在于:所述s2的具体步骤为,通过将的振幅替换为的振幅,利用fft生成类目标图像;
3.根据权利要求2所述的基于双分支协作学习的跨域人脸伪造检测方法,其特征在于:所述s3的具体步骤为:
4.根据权利要求1所述的基于双分支协作学习的跨域人脸伪造检测方法,其特征在于:所述s4中,采用了ema将学生网络中的参数传递到教师网络中,表示为:
5.根据权利要求1所述的基于双分支协作学习的跨域人脸伪造检测方法,其特征在于:所述s5的具体步骤为:
