本发明实例涉及图像识别，尤其涉及基于红外热成像的情绪识别方法。
背景技术：
1、情绪是人类认知过程的重要环节，表达着人最本能、最真实的需求和期待，是人与人沟通的重要方式。例如，在婴儿学会语言、行为表达之前，父母仅通过哭、笑等本能情绪表达便能与其沟通、为其服务。因此，情绪识别对机器理解人类需求、人机交互具有重要意义，人机情感交互是人工智能发展的必然趋势。
2、情绪是一种内部的主观体验，在发生时常常伴随着外部表现。上世纪70年代，心理学家paul eckman提出情绪具有6种基本情绪，包括幸福、悲伤、厌恶、恐惧、惊讶和愤怒。因此，许多研究者通过情绪的外部表现来识别基本情绪类别，例如基于面部表情的情绪识别、基于语言的情绪识别、基于肢体动作的情绪识别等。然而，表情、语音语调、姿态等外部表现常常可以伪装，不能代表人最真实的情绪，现有情绪识别技术具有运算过程复杂、准确率低的局限性。
3、认知神经科学的研究表明，人体情绪变化伴随着激素分泌、肌肉活动、微血管循环变化等生理反应，从而导致身体表皮散热量的变化。这些生理变化为情绪识别提供了最直接、最准确的依据。而红外热成像传感器根据热辐射强度采集辐射体温度，可以获取人体表面温度信息，进一步可用于识别情绪。因此，本文提出一种基于红外热成像的情绪识别方法，构建数据集，设计模型框架学习红外热成像数据与情绪的映射关系，从而用于情绪识别。该方法具有非接触性、成本低、速度快、识别准确率高等优势。
技术实现思路
1、本发明提出一种基于红外热成像的情绪识别方法，包括数据集构建、模型训练、情绪识别三部分。本发明利用以下原理：红外热成像能够采集人体表面温度信息，进一步识别情绪：(1)人体情绪变化伴随着激素分泌、肌肉活动、微血管循环变化等生理反应，从而导致身体表皮散热量的变化；(2)红外热成像技术根据热辐射强度采集辐射体温度，可以获取人体表面温度信息；(3)神经网络模型可以提取红外热成像数据特征，学习其与情绪的映射关系，从而识别情绪。
2、为实现上述任务，本发明采用以下技术方案：
3、一种基于红外热成像的情绪识别方法，包括以下步骤：
4、步骤1：数据集构建。组织志愿者参与实验，记录志愿者在不同情绪下的红外热成像数据，对图像标注人体目标区域与情绪类别，划分训练集与测试集。具体步骤如下：
5、(1)数据采集：组织志愿者观看内容为不同基本情绪e的视频，记录志愿者在观看期间的红外热成像图像d，得到标注情绪的红外图像数据(d,e)。
6、(2)数据标注：对每个图像标注人体目标区域(x,y,h,w)，其中，(x,y)表示目标区域左上角的坐标，h表示目标区域的长度，w表示目标区域的宽度。得到数据集d，其中每项数据为[d,e,(x,y,h,w)]。
7、(3)数据划分：按比例将数据集d随机划分成训练集dtrain与测试集dtest。
8、步骤2：模型训练。基于训练集dtrain进行模型训练，得到情绪识别模型f(·)。模型包括数据增强、特征提取、目标检测、情绪分类模块，通过双目标学习来训练，输入为红外图像d，输出为目标检测结果(x,y,h,w)和情绪识别结果e。具体步骤如下：
9、(1)数据增强步骤：通过预处理器对原始红外图像d∈dtrain进行随机裁剪、随机遮挡或随机旋转操作，得到增强后的红外图像d′，从而增加训练数据多样性与模型鲁棒性。
10、(2)特征提取步骤：通过编码器提取红外图像d′特征，得到特征向量f。
11、(3)目标检测步骤：通过检测器识别人体目标位置，得到目标检测结果(x,y,h,w)，该辅助任务用于增强编码器的准确性。
12、(4)情绪分类步骤：通过分类器识别人体情绪类别，得到情绪识别结果e。
13、步骤3：情绪识别。基于测试集dtest进行情绪识别，得到情绪识别结果。
14、(1)特征提取步骤：通过编码器对测试数据d∈dtest提取特征，得到特征向量f。
15、(2)情绪分类步骤：通过分类器识别人体情绪类别，得到情绪识别结果e。
1.一种基于红外热成像的情绪识别方法，其特征在于，所述基于红外热成像的情绪识别方法包括：
2.根据权利要求1所述的一种基于红外热成像的情绪识别方法，其特征在于，所述数据集构建步骤包括：组织志愿者观看不同情绪情节的视频，记录志愿者在观看期间的红外热成像数据，对每个图像标注人体目标区域与情绪类别，最后按比例随机划分成训练集与测试集。
3.根据权利要求1所述的一种基于红外热成像的情绪识别方法，其特征在于，所述模型训练步骤包括：
4.根据权利要求1所述的一种基于红外热成像的情绪识别方法，其特征在于，所述情绪识别步骤包括：
