本发明涉及计算机视觉领域，具体设计一种基于活跃天和稳态信息融合的人脸表情识别方法。
背景技术：
1、面部表情是传达人类情感最直接和自然的方式之一。在人机交互、感知心理学、智能控制、医疗保健、自动驾驶等领域，理解人类情感是需要解决的关键问题之一，尤其是在自动驾驶领域中，驾驶员的情绪和表情可以作为驾驶行为的重要指标。深度人脸表情识别方法的发展很大程度上得益于大规模的标注数据集，然而，由于面部表情的模糊性和注释者的主观性，对大规模的面部表情数据集进行标注非常困难。传统的人脸表情识别方法通常假设训练集和测试集需符合同一分布，一旦违反此准则，将训练集训练的模型应用在测试集上的效果将受到严重影响。但在现实情境中，由于拍摄的光线、天气、摄像头质量以及被测者本身的面部属性不同(如年龄、肤色、性别等因素)，获取的数据通常无法满足同一分布，这导致跨数据集之间存在领域偏移。传统的人脸表情识别方法默认训练集和测试集符合相同的数据分布。然而，其缺点在于需要大量的训练数据和标注信息，这在实际应用中会受到限制。跨域人脸表情识别方法，旨在解决训练集(源域)和测试集(目标域)之间的数据分布不一致问题。它通过将源域的知识迁移到目标领域，从而有效解决目标领域中样本标签较少甚至没有标签的问题。跨域人脸表情识别方法的出现填补了传统人脸表情识别方法在应对不同数据分布时的不足，使得模型更具适应性和普适性。通过有效地利用源域知识，跨域人脸表情识别方法为解决实际场景中样本稀缺或无标签的挑战提供了一种可行的解决方案。
2、尽管此类方法在常见的分类任务上表现出色，但仍然存在以下两方面挑战：(1)在面部表情数据集中，样本间存在类别不均衡的情况，导致各类别样本的置信度有显著差异。类别不均衡会导致网络对高置信度样本关注过多，同时忽略其他类别的样本。若各类别均设置较高的固定阈值，则会导致数据的利用率太低，若设置较低的固定阈值，又会不可避免地引入噪声信息。(2)跨域人脸表情数据集间的跨域分布差异较大，当知识传递达到瓶颈时，单纯利用源域知识以及目标域中的部分伪标签样本，很难完成高效的目标域模型训练。
技术实现思路
1、本发明是为了解决上述现有技术存在的不足之处，提出一种基于基于活跃态和稳态信息融合的跨域人脸表情识别方法，以期能有效解决因环境和个体差异导致的人脸表情识别准确性低的问题，即便是在人脸表情图像分布具有较大差异的情况下，即在不同采集条件下(如光线、天气变化，以及人的年龄、性别和肤色差异)，也能实现显著的分类准确率提升，从而显示出良好的实际应用潜力。
2、本发明为达到上述发明目的，采用如下技术方案：
3、本发明一种基于活跃态和稳态信息融合的跨域人脸表情识别方法的特点在于，是按如下步骤进行：
4、步骤1：获取含标注信息的源域人脸表情数据集以及目标域人脸表情数据集其中，代表第i个源域样本，为对应的标签，ns是源域样本的数量；代表第j个目标域样本，nt是目标域样本的数量，和中包含相同的c个人脸表情类别；步骤2：构建活跃态和稳态信息融合的领域自适应网络，包括：特征提取器g和分类器f；步骤3：基于领域自适应网络的训练策略，包含：活跃态样本筛选策略、跨域稳态样本筛选策略以及加权跨域对齐策略；
5、步骤3.1：活跃态样本筛选策略用于评估目标域样本的自身活跃程度，从而将目标域样本划分为活跃态样本集合和非活跃态样本集合
6、步骤3.2：稳态样本筛选策略用于计算初始类阈值集合t，从而将非活跃态样本集合划分为稳态样本集合i1和低置信样本集合i2；
7、步骤3.3：加权跨域对齐策略用于构建跨域对齐损失源域活跃态样本的分类损失稳态样本的分类损失
8、步骤4：利用式(13)构造总体损失函数并对特征提取器g和分类器f进行训练，并计算总体损失函数以更新网络参数，直至总体损失函数收敛为止，从而得到最优人脸表情图像分类模型，用于对目标域的图像进行预测分类；
9、
10、式(13)中，λ2,λ3是两个权重因子。
11、本发明所述的一种基于活跃态和稳态信息融合的跨域人脸表情识别方法的特点也在于，所述步骤3.1包括：
12、利用式(1)评估所述第j个目标域样本的自身活跃程度
13、
14、式(1)中，代表第j个目标域样本经过领域自适应网络后输出的第c个类下的预测概率值，θ是领域自适应网络的参数，代表预测概率值中最大概率和次大概率之间的差值，c是类别数目，λ1是权重系数；
15、将自身活跃程度值最高的前若干个目标域样本作为活跃态样本，并给予真实标签的标注后，构建活跃态评估策略后的活跃态样本集合其中，令中第m个活跃态样本记为
16、将其余目标域样本作为非活跃态样本，并构建非活跃态样本集合其中，令中第n个非活跃态样本记为
17、所述步骤3.2包括：
18、步骤3.2.1：利用式(2)建立源域信息融合集合hs：
19、
20、式(2)中，是第i个源域样本经过领域自适应网络后输出的预测概率值；
21、利用式(3)计算第i*个源域样本在第c个类下的类阈值
22、
23、式(3)中，为源域中第c个类下源域样本的数目；是第i*个源域样本经过领域自适应网络后输出的预测概率值；
24、步骤3.2.2：利用式(4)建立活跃态信息融合集合
25、
26、式(4)中，是第j个活跃态样本经过领域自适应网络后输出的预测概率值；
27、利用式(5)计算第j*个活跃态样本在第c个类下的类阈值
28、
29、式(5)中，代表活跃态样本集合中第c个类下活跃态样本的数目；是第j*个活跃态样本经过领域自适应网络后输出的预测概率值；
30、步骤3.2.3：利用式(6)构建第c个类的类阈值tc，从而得到初始类阈值集合t＝{t1,t2,,...,tc,...,tc}：
31、
32、步骤3.2.4：根据t，将非活跃态样本集合划分为稳态样本集合i1和低置信样本集合i2；
33、步骤3.2.5：利用式(8)得到更新后的第c个类阈值t'c，从而得到更新后的类阈值集合t'＝{t1',t'2,...,t'c,...,t'c}：
34、
35、式(8)中，表示在第c个维度上的聚合伪标签值。
36、所述步骤3.2.4包括：
37、步骤3.2.4.1：将中第r个非活跃态样本进行两种方式的增广，得到第一增广样本和第二增广样本
38、利用式(7)得到在第c个维度上的聚合伪标签值
39、
40、式(7)中，和分别表示和经过领域自适应网络后输出的第c个维度上的概率值；
41、步骤3.2.4.2：若聚合伪标签值大于类阈值tc时，则将作为稳态样本加入稳态集合i1中，并将作为的标签；否则，将将加入低置信样本集合i2中。
42、所述步骤3.3包括：
43、步骤3.3.1：利用式(9)构建源域和目标域数据之间显式的跨域对齐损失
44、
45、式(9)中，是中属于第c个类别的源域样本数目；φ(·)表示原变量映射到再生核希尔伯特空间中的操作；代表第j个目标域样本对第c个类的贡献度，并由式(10)得到：
46、
47、式(10)中，是中属于第c个类别的目标于样本数目；
48、步骤3.3.2：利用式(11)计算源域活跃态样本的分类损失
49、
50、式(11)中，表示源域和目标域的并集集合中的第q个样本，表示经过领域自适应网络后输出的第c个类下的预测概率值，是源域样本和活跃态样本的总数量，是样本的标签；
51、利用式(12)计算稳态样本的分类损失
52、
53、式(12)中，表示稳态样本集合i1中的第v个样本，代表稳态样本的数目，表示样本的聚合伪标签，表示经过领域自适应网络后在第c个类下的预测概率值。
54、本发明一种电子设备，包括存储器以及处理器的特点在于，所述存储器用于存储支持处理器执行所述跨域人脸表情识别方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。
55、本发明一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序的特点在于，所述计算机程序被处理器运行时执行所述跨域人脸表情识别方法的步骤。
56、与现有技术相比，本发明的有益效果在于：
57、1.本发明通过活跃态评估策略，能够筛选出目标域中信息量最丰富的活跃态样本，并将这些标注数据融入域适应过程中，为模型的训练提供更多有益的信息。这一创新方法有效地提升了在不同测试条件下的人脸表情识别的准确性。
58、2.本发明提出了一种跨域动态类阈值筛选稳态样本的方法，根据已有的先验知识，自适应地学习每个类的动态阈值，以筛选出符合不同类别置信度分布的稳态样本，提高了模型对于整体数据集的适应能力，使模型更具鲁棒性和泛化能力。
59、3.本发明引入一种创新的加权跨域对齐方法，通过跨域动态类阈值来计算每个目标域样本对类中心的贡献度，以处理领域间的分布偏移，进一步提升了人脸表情识别的准确性。
1.一种基于活跃态和稳态信息融合的跨域人脸表情识别方法，其特征在于，是按如下步骤进行：
2.根据权利要求1所述的一种基于活跃态和稳态信息融合的跨域人脸表情识别方法，其特征在于，所述步骤3.1包括：
3.根据权利要求2所述的一种基于活跃态和稳态信息融合的跨域人脸表情识别方法，其特征在于，所述步骤3.2包括：
4.根据权利要求3所述的一种基于活跃态和稳态信息融合的跨域人脸表情识别方法，其特征在于，所述步骤3.2.4包括：
5.根据权利要求4所述的一种基于活跃态和稳态信息融合的跨域人脸表情识别方法，其特征在于，所述步骤3.3包括：
6.一种电子设备，包括存储器以及处理器，其特征在于，所述存储器用于存储支持处理器执行权利要求1-5中任一所述跨域人脸表情识别方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。
7.一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行权利要求1-5中任一所述跨域人脸表情识别方法的步骤。
