本发明属于协同训练、半监督学习与情绪识别的交叉领域，具体涉及一种基于脑机协同训练的半监督面部情绪识别方法。
背景技术：
1、机器学习在面部情绪识别(facial emotion recognition，fer)方面借助于大量的有标签数据集取得了卓越的成果，但是人工标记数据集的成本很高。半监督学习(semi-supervised learning，ssl)是一种机器学习方法，旨在利用有标签和无标签数据提高模型的性能。半监督学习在很多实际应用中都很有效，包括面部情绪识别。协同训练是一种著名的ssl范式，即两个冗余视图分类器在不同视图上进行迭代训练，并用各自的预测结果增强对方的训练集。
2、由于脑电信号包含大脑对视觉图像刺激反应的情感认知和图像视觉信息，脑电信号和视觉图像提供了适合协同训练的多视角数据。视觉图像反映外部视觉信息，而脑电图信号则反映内部认知状态。脑机协同训练是对传统协同训练的补充，遵循迭代训练和增加训练样本的框架。它能实现多视角融合，提供互补信息以提高性能。视觉图像在机器学习中已得到广泛应用，使用的是为视觉图像分类量身定制的卷积神经网络(convolutionneural network，cnn)。视觉图像可以用来激发脑电信号，从认知模式中引入新的视角。脑电信号反映了神经元活动和大脑反应先前的研究表明，脑电信号包含有关视觉刺激的认知和视觉信息。这为脑电信号成为协同训练的一个新视角提供了条件。
技术实现思路
1、本发明的目的是针对面部情绪识别，提出一种基于脑机协同训练的半监督面部情绪识别方法。脑电信号包含大脑活动的认知信息和诱发其产生的视觉对象的视觉信息。与脑机接口(brain-computer interface，bci)研究的目标类似，本发明提供一种脑机协同训练方法，以脑电信号和视觉图像为两个视角，以迭代的方式进行学习。
2、第一方面，本发明提供一种基于脑机协同训练的半监督面部情绪识别方法，其具体步骤如下：
3、步骤1、获取带有标签的图像数据和脑电数据；有标签的图像数据组成训练集。采集无标签图像；无标签图像中存在具有不同情绪类别的对象，但并未经过添加标签的过程。针对脑电数据提取出脑电表征，并根据标签类别对脑电表征进行分类，分别对各类别对应的所有脑电表征取均值，作为各类别的脑电类表征。
4、步骤2、构建对图像中对象的情绪类别进行识别的分类模型；并使用训练集对分类模型进行训练；构建图像映射到脑电空间的认知模型。利用训练集及各样本对应的脑电类表征对认知模型进行训练。
5、步骤3将未使用的部分无标签图像输入分类模型；将分类模型的输出结果作为无标签图像的第一伪标签。将无标签图像输入认知模型，得到图像表征；分别测量脑电类表征与图像表征之间的相似性，取相似性最高的脑电类表征对应的类别作为无标签图像的第二伪标签。
6、步骤4、判断各无标签图像的第一伪标签与第二伪标签是否一致；则第一伪标签与第二伪标签一致的无标签图像转化为伪标签图像；将伪标签图像扩增到训练集中。
7、步骤5、利用训练集对分类模型和认知模型进行训练；并重新执行步骤3和4，直到所有无标签图像使用完毕。
8、步骤6、利用测试集对每一轮迭代得到的分类模型进行测试，将检测效果最佳的分类模型作为最终分类模型。
9、步骤7、将被测图像输入最终分类模型；最终分类模型输出被测图像中的对象的情绪类型。
10、作为优选，所述的步骤1中，提取脑电表征的模型包括时间卷积块、深度卷积块和可分离卷积块，用于分层处理不同的输入维度。可分离卷积块的输出提供给全连接层；全连接层输出脑电表征。
11、作为优选，所述的时间卷积块、深度卷积块和可分离卷积块中的所有卷积层均经过批量归一化和整流线性单元激活。
12、作为优选，步骤2的认知模型和分类模型均包括三个卷积模块组成的卷积神经网络。每个卷积模块均包括卷积层、归一化层、非线性激活层和最大池化层。认知模型中卷积神经网络的输出连接至投影到脑电表征维度的全连接层，分类模型中卷积神经网络的输出连接至投影到标签类维度的全连接层。
13、作为优选，所述的认知模型采用三元组边际损失函数进行训练。训练时，针对认知模型输出的每个图像表征v1，均给定两对图像表征/脑电类表征(v1，e1)，和(v1，e2)；脑电类表征e1是与图像表征v1同一类别的正项，脑电类表征e2是与图像表征v1不同类别的负项。三元组边际损失函数的表达式如下：
14、max(d(v1，e1)-d(v1，e2)+margin，0)
15、其中，d(·，·)是欧氏距离函数；margin为边际参数。
16、作为优选，步骤5中所述的分类模型使用交叉熵作为训练的损失函数。
17、作为优选，步骤1中所述图像数据的图像尺寸为32×32；脑电数据的通道数量为62，每个通道采样的记录数为500。
18、作为优选，步骤1中所述的脑电数据经过滤波处理，保留1hz-75hz频率范围内的信号。
19、作为优选，被识别的情绪类型共有七种，分别为愤怒、厌恶、恐惧、悲伤、惊奇、中立、快乐。
20、第二方面，本发明提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述存储器存储计算机程序；所述处理器执行前述的一种基于脑机增强智能的半监督面部情绪识别方法。
21、第三方面，本发明提供一种可读存储介质，存储有计算机程序；所述计算机程序被处理器执行时用于实现前述的一种基于脑机增强智能的半监督面部情绪识别方法。
22、本发明的有益效果如下：
23、1、本发明通过交替训练认知模型和分类模型，获取两组预测结果，相互验证获得更高质量的伪标签，减少因单一模型过度拟合预测错误的伪标签数据，从而更充分、高效地利用无标签图像数据。
24、2、本发明提供一种基于脑机协同训练的半监督面部情绪识别方法，利用认知模型和分类模型基于无标签图像扩展训练集，并且认知模型和分类模型每次利用部分无标签图像进行迭代更新，有助于获取最佳的分类模型，从而能够提高面部情绪识别的性能。
1.一种基于脑机协同训练的半监督面部情绪识别方法，其特征在于：其具体步骤如下：
2.根据权利要求1所述的一种基于脑机协同训练的半监督面部情绪识别方法，其特征在于：所述的步骤1中，提取脑电表征的模型包括时间卷积块、深度卷积块和可分离卷积块，用于分层处理不同的输入维度；可分离卷积块的输出提供给全连接层；全连接层输出脑电表征。
3.根据权利要求2所述的一种基于脑机协同训练的半监督面部情绪识别方法，其特征在于：所述的时间卷积块、深度卷积块和可分离卷积块中的所有卷积层均经过批量归一化和整流线性单元激活。
4.根据权利要求1所述的一种基于脑机协同训练的半监督面部情绪识别方法，其特征在于：步骤2的认知模型和分类模型均包括三个卷积模块组成的卷积神经网络；每个卷积模块均包括卷积层、归一化层、非线性激活层和最大池化层；认知模型中卷积神经网络的输出连接至投影到脑电表征维度的全连接层，分类模型中卷积神经网络的输出连接至投影到标签类维度的全连接层。
5.根据权利要求1所述的一种基于脑机协同训练的半监督面部情绪识别方法，其特征在于：所述的认知模型采用三元组边际损失函数进行训练；训练时，针对认知模型输出的每个图像表征v1，均给定两对图像表征/脑电类表征(v1,e1),和(v1,e2)；脑电类表征e1是与图像表征v1同一类别的正项，脑电类表征e2是与图像表征v1不同类别的负项；三元组边际损失函数的表达式如下：
6.根据权利要求1所述的一种基于脑机协同训练的半监督面部情绪识别方法，其特征在于：步骤5中所述的分类模型使用交叉熵作为训练的损失函数。
7.根据权利要求1所述的一种基于脑机协同训练的半监督面部情绪识别方法，其特征在于：步骤1中所述的脑电数据经过滤波处理，保留1hz-75hz频率范围内的信号。
8.根据权利要求1所述的一种基于脑机协同训练的半监督面部情绪识别方法，其特征在于：被识别的情绪类型共有七种，分别为愤怒、厌恶、恐惧、悲伤、惊奇、中立、快乐。
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于：所述存储器存储计算机程序；所述处理器执行如权利要求1-8中任意一项所述的一种基于脑机增强智能的半监督面部情绪识别方法。
10.一种可读存储介质，存储有计算机程序；其特征在于：所述计算机程序被处理器执行时用于实现如权利要求1-8中任意一项所述的一种基于脑机增强智能的半监督面部情绪识别方法。
