一种基于面部行为数据的抑郁情绪障碍识别方法和装置

专利检索2025-08-04  15


本技术涉及健康监测,尤其涉及一种基于面部行为数据的抑郁情绪障碍识别方法和装置。


背景技术:

1、抑郁情绪障碍会增加自杀和死亡的风险,对个人和社会都造成了严重的危害和负担。在确定患者是否存在抑郁情绪障碍的过程中,精神科医师通过访谈的方式确定患者是否存在抑郁情绪障碍,这种方式存在主观性大、准确率不高的问题。

2、随着人工智能的发展,越来越多的研究人员利用人工智能技术来寻求识别抑郁情绪障碍的客观指标。利用面部行为数据来识别抑郁情绪障碍在情感计算领域具有重大前景。面部行为数据在情绪表达方面包含有大量有价值的信息。目前采用神经网络模型通过面部行为数据来识别抑郁情绪障碍的方法,虽然能够提升识别抑郁情绪障碍的客观性和准确性,但是,存在着神经网络模型的泛化性能较低,导致难以部署到真实医疗场景中的问题。例如基于刺激内容a分别采集抑郁情绪障碍人员的面部行为数据和健康人员的面部行为数据,形成数据集a。然后采用该数据集a训练的神经网络模型能够通过抑郁情绪障碍人员和健康人员的回答内容,学习抑郁情绪障碍人员和健康人员的差异。但是,在实践中获知,采用数据集a训练后的神经网络模型还会学习到与识别抑郁情绪障碍无关的特征,造成学习到的差异包括虚假的差异,导致该神经网络模型在数据集b上的泛化性能较差。其中,数据集b是由基于刺激内容b分别采集抑郁情绪障碍人员的回答内容和健康人员的回答内容构成的。

3、由于无法穷尽所有刺激的内容来采集面部行为的数据集对神经网络模型进行训练,而在真实医疗场景中基于何种刺激的内容识别抑郁情绪障碍是不确定的,因此,目前用于识别抑郁情绪障碍的神经网络模型难以部署到真实医疗场景中。


技术实现思路

1、本技术提供了一种基于面部行为数据的抑郁情绪障碍识别方法和装置,使得神经网络模型能够基于任何内容和形式的刺激数据,通过面部行为数据识别被试者是否存在抑郁情绪障碍,提升了神经网络模型的泛化性能,对于将模型部署在实际的医疗场景中有着重要的意义。

2、第一方面,提供了一种基于面部行为数据的抑郁情绪障碍识别方法,其特征在于,包括:

3、获取向目标被试者提供的目标刺激数据,目标刺激数据用于对目标被试者的感官产生刺激作用;

4、获取目标被试者经过目标刺激数据刺激后产生的目标面部行为数据;

5、对目标刺激数据进行编码,得到目标刺激数据的情感特征的第一向量表示;

6、对目标面部行为数据进行编码,得到目标面部行为数据的面部特征的第二向量表示;

7、向transformer模型输入第一向量表示和第二向量表示,得到transformer模型通过识别目标刺激数据和目标面部行为数据之间的关系特征,输出的分类结果,分类结果用于指示目标被试者是否存在抑郁情绪障碍。

8、在一种可行的设计中,目标面部行为数据的类型为视频数据,对目标面部行为数据进行编码,得到目标面部行为数据的面部特征的第二向量表示,包括:

9、采用三维卷积神经网络对目标面部行为数据进行编码后,得到第一中间向量表示;

10、向长短期记忆网络输入第一中间向量表示,得到长短期记忆网络输出的第二中间向量表示;

11、向自注意力层输入第一中间向量表示与第二中间向量表示的和,得到自注意力层输出的第三中间向量表示;

12、向解码器输入第二中间向量表示与第三中间向量表示的和,得到解码器输出的目标面部行为数据的面部特征的第二向量表示。

13、在一种可行的设计中,目标刺激数据的类型为视频数据,对目标刺激数据进行编码,得到目标刺激数据的情感特征的第一向量表示,包括:

14、向三维残差网络输入目标刺激数据,得到三维残差网络输出的目标刺激数据的情感特征的第一向量表示。

15、在一种可行的设计中,方法还包括:

16、获取源刺激域,源刺激域包括向多个被试者中每一被试者提供的至少一个刺激数据,刺激数据用于对被试者的感官产生刺激作用;

17、获取源响应域,源响应域包括每一被试者经过至少一个刺激数据刺激后产生的相应的面部行为数据;

18、获取每一被试者的分类标签,分类标签用于指示被试者是否存在抑郁情绪障碍;

19、采用刺激编码模型对源刺激域的每一刺激数据进行编码,得到每一刺激数据的第一向量表示;

20、采用面部行为编码模型对源响应域的每一面部行为数据进行编码,得到每一面部行为数据的第二向量表示;

21、使用每一第一向量表示、每一对应的第二向量表示和相应被试者的分类标签,训练transformer模型、刺激编码模型和面部行为编码模型,使得transformer模型学习每一刺激数据和每一对应的面部行为数据之间的关系特征,以及从多个对应存在抑郁情绪障碍的被试者的数据对的各个关系特征中,学习对应存在抑郁情绪障碍的分类标签的共有的关系特征,使得刺激编码模型学习从刺激数据中提取情感特征,使得面部行为编码模型从面部行为数据中提取存在抑郁情绪障碍的被试者的面部特征。

22、在一种可行的设计中,源刺激域包括正性类型的刺激数据、中性类型的刺激数据和负性类型的刺激数据,正性类型的刺激数据表达积极的情感,中性类型的刺激数据无情感偏向,负性类型的刺激数据表达消极的情感。

23、在一种可行的设计中,方法还包括:

24、获取目标刺激域,目标刺激域包括向多个被试者中每一被试者提供的至少一个刺激数据,目标刺激域的每一刺激数据与源刺激域的每一刺激数据均不同;

25、获取目标响应域,目标响应域包括每一被试者经过目标刺激域的至少一个刺激数据刺激产生的相应的面部行为数据;

26、获取每一被试者的分类标签;

27、对目标刺激域的每一刺激数据进行编码,得到目标刺激域的每一刺激数据的第一向量表示;

28、对目标响应域的每一面部行为数据进行编码,得到目标响应域的每一面部行为数据的第二向量表示;

29、使用目标刺激域的每一第一向量表示、目标响应域的对应的第二向量表示和相应被试者的分类标签,对训练后的transformer模型进行性能评估,获取评估结果;

30、根据评估结果改进transformer模型。

31、在一种可行的设计中,在对目标刺激数据进行编码之前,方法还包括:对目标刺激数据进行预处理;和/或,

32、在对目标面部行为数据进行编码之前,方法还包括:对目标面部行为数据进行预处理。

33、在一种可行的设计中,解码器包括至少一个第一全连接层和至少一个第一激活层。

34、在一种可行的设计中,三维残差网络包括多个残差块。

35、第二方面,提供了一种基于面部行为数据的抑郁情绪障碍识别装置,包括:

36、数据采集模块,用于获取向目标被试者提供的目标刺激数据,目标刺激数据用于对目标被试者的感官产生刺激作用;

37、数据采集模块,用于获取目标被试者经过目标刺激数据刺激后产生的目标面部行为数据;

38、刺激编码模型,用于对目标刺激数据进行编码,得到目标刺激数据的情感特征的第一向量表示;

39、面部行为编码模型,用于对目标面部行为数据进行编码,得到目标面部行为数据的面部特征的第二向量表示;

40、抑郁情绪障碍识别模块,用于向transformer模型输入第一向量表示和第二向量表示,得到transformer模型通过识别目标刺激数据和目标面部行为数据之间的关系特征,输出的分类结果,分类结果用于指示目标被试者是否存在抑郁情绪障碍。

41、本技术实施例中,首先获取向目标被试者提供的用于对其感官产生刺激作用的目标刺激数据,以及目标被试者作出的反应信息(即目标面部行为数据)。对目标刺激数据进行编码,得到第一目标向量表示,能够将目标刺激数据转化为具有一定结构和意义的编码数据(即向量表示),使得transformer模型能够对目标刺激数据进行解读和理解。同样地,将目标面部行为数据编码为第二目标向量表示,使得transformer模型能够对目标面部行为数据进行解读和理解。将第一目标向量表示和第二目标向量表示输入transformer模型中,使得transformer模型通过识别目标刺激数据和目标面部行为数据之间的关系特征,识别目标被试者是否存在抑郁情绪障碍。相比于目前只研究健康人员和抑郁人员的面部行为数据的差异来进行抑郁情绪障碍识别,由于本技术采用的transformer模型能够整合目标刺激数据和目标面部行为数据的信息,根据两者的本质上的关系特征来全面地理解被试者从接收目标刺激数据到作出反应的情绪变化过程,从而准确地识别被试者是否具有抑郁情绪障碍。本技术提供的抑郁情绪障碍识别方法中,无论目标刺激数据的内容和形式是什么,transformer模型均能够识别抑郁情绪障碍,增强了transformer模型的泛化性能,对于将模型部署在实际的医疗场景中有着重要的意义。


技术特征:

1.一种基于面部行为数据的抑郁情绪障碍识别方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述目标面部行为数据的类型为视频数据,所述对所述目标面部行为数据进行编码,得到所述目标面部行为数据的面部特征的第二向量表示,包括:

3.根据权利要求1或2所述的方法,其特征在于,所述目标刺激数据的类型为视频数据,所述对所述目标刺激数据进行编码,得到所述目标刺激数据的情感特征的第一向量表示,包括:

4.根据权利要求1或2所述的方法,其特征在于,所述方法还包括:

5.根据权利要求4所述的方法,其特征在于,所述源刺激域包括正性类型的刺激数据、中性类型的刺激数据和负性类型的刺激数据,所述正性类型的刺激数据表达积极的情感,所述中性类型的刺激数据无情感偏向,所述负性类型的刺激数据表达消极的情感。

6.根据权利要求4所述的方法,其特征在于,所述方法还包括:

7.根据权利要求1或2所述的方法,其特征在于,在对所述目标刺激数据进行编码之前,方法还包括:对所述目标刺激数据进行预处理;和/或,

8.根据权利要求2所述的方法,其特征在于,所述解码器包括至少一个第一全连接层和至少一个第一激活层。

9.根据权利要求4所述的方法,其特征在于,所述三维残差网络包括多个残差块。

10.一种基于面部行为数据的抑郁情绪障碍识别装置,其特征在于,包括:


技术总结
本申请提供了一种基于面部行为数据的抑郁情绪障碍识别方法和装置,使得神经网络模型能够基于任何内容和形式的刺激数据,通过面部行为数据识别被试者是否存在抑郁情绪障碍,提升了神经网络模型的泛化性能,对于将模型部署在实际的医疗场景中有着重要的意义。方法包括:获取向目标被试者提供的用于刺激感官的目标刺激数据;获取目标被试者经过目标刺激数据刺激后产生的目标面部行为数据;对目标刺激数据进行编码得到第一向量表示;对目标面部行为数据进行编码得到第二向量表示;向神经网络模型输入第一向量表示和第二向量表示,得到模型通过识别目标刺激数据和目标面部行为数据之间的关系特征,输出的用于指示是否存在抑郁情绪障碍的分类结果。

技术研发人员:胡斌,刘振宇,张世贸
受保护的技术使用者:兰州大学
技术研发日:
技术公布日:2024/5/29
转载请注明原文地址:https://win.8miu.com/read-1157373.html

最新回复(0)