本发明实施例涉及脑机接口，尤其涉及一种基于eeg信号的心理负荷追踪方法和装置、设备及介质。
背景技术：
1、在脑机接口和健康监测系统的前沿研究领域中，脑电图(electroencephalogram,eeg)信号因其直接映射大脑活动的独特属性，已被广泛认可为衡量和解析心理负荷的有力生物指标。然而，现有的基于脑电信号的心理负荷追踪方法由于采用传统卷积层，因此存在提取重复特征的现象，从而使得因内存资源占用过高，而导致出现其他有价值且有利于回归任务的有效特征被边缘化的问题。
技术实现思路
1、本发明实施例提供了一种基于eeg信号的心理负荷追踪方法和装置、设备及介质，通过引入时间重构模块与通道重构模块，关注脑电信号中的时间信息和卷积通道信息，采用重构结构规避传统卷积层存在提取重复特征的问题，从而有效减轻了内存资源占用过高的潜在风险，避免了对其他对回归任务具有关键价值的有效特征表达的忽视或稀释效应。
2、第一方面，本发明实施例提供了一种基于eeg信号的心理负荷追踪方法，包括：
3、通过脑电记录设备获取测试者的eeg信号，所述eeg信号包含时间信息和卷积通道信息；
4、通过滤波方式对所述eeg信号进行预处理，得到滤波后的所述eeg信号；
5、将滤波后的所述eeg信号输入至预先训练好的eeg心理负荷追踪模型，输出所述测试者的心理负荷状态结果，其中，所述eeg心理负荷追踪模型包括时间重构模块和通道重构模块，所述时间重构模块用于处理所述时间信息，所述通道重构模块用于处理所述卷积通道信息。
6、在一些实施例中，所述eeg心理负荷追踪模型的训练方法包括：
7、采集原始脑电信号和对应所述原始脑电信号的真实标签值，所述真实标签值用于表征真实心理负荷水平；
8、对所述原始脑电信号进行滤波处理，得到滤波后的脑电信号训练集；
9、基于脑电信号训练集对所述eeg心理负荷追踪模型进行预训练，计算预测值与所述真实标签值之间的损失，并通过反向传播将损失传递回所述eeg心理负荷追踪模型，得到调整好的模型参数；
10、根据所述模型参数确定训练好的所述eeg心理负荷追踪模型。
11、在一些实施例中，所述eeg心理负荷追踪模型还包括二维卷积层、深度卷积层、平均池化层、全连接层、elu函数、dropout函数和sigmoid函数，所述将滤波后的所述eeg信号输入至预先训练好的eeg心理负荷追踪模型，输出所述测试者的心理负荷状态结果，包括：
12、采用二维卷积层及批量归一化技术对滤波后的所述eeg信号进行处理，生成f1个c×t的第一特征图，其中，c为脑电通道，t为时间长度；
13、将所述第一特征图输入至深度卷积层，生成f2个1×(t//4)的第二特征图，其中，所述深度卷积层的深度为自定义参数d，卷积核大小为c×1，步长为1；
14、将所述第二特征图输入至所述时间重构模块和所述通道重构模块进行处理，得到处理后的第二特征图；
15、将处理后的所述第二特征图依次通过1×1的卷积层、elu函数、1×4的平均池化层以及随机丢失概率设为0.25的dropout函数，生成f3个1×(t//16)的第三特征图；
16、将所述第三特征图输入至所述时间重构模块和所述通道重构模块进行处理，得到处理后的所述第三特征图；
17、将处理后的所述第三特征图依次通过1×1的卷积核、elu函数、1×2的平均池化层以及随机丢失概率设为0.25的dropout函数，生成f4个1×(t//32)的第四特征图，其中，f1、f2、f3和f4为卷积输出通道数，//为向下取整整除操作；
18、将所述第四特征图展平，通过全连接层及sigmoid函数进行输出，得到所述心理负荷状态结果，其中，所述心理负荷状态结果包括心理负荷水平值。
19、在一些实施例中，所述采用二维卷积层及批量归一化技术对滤波后的所述eeg信号进行处理，生成f1个c×t的第一特征图，包括：
20、采用尺寸为1×f/2的二维卷积层对滤波后的所述eeg信号进行处理，得到第一输出，其中，f为所述eeg信号的采样频率；
21、对所述第一输出执行same填充策略，生成f1个c×t的第一特征图。
22、在一些实施例中，所述将所述第一特征图输入至深度卷积层，生成f2个1×(t//4)的第二特征图，包括：
23、将所述第一特征图输入至深度卷积层，不进行填充操作，得到第二输出；
24、对所述第二输出进行批量归一化并应用非线性函数elu激活，得到第三输出；
25、将所述第三输出通过核大小为1×4的平均池化层以及随机丢失概率设为0.25的dropout函数，得到d×f1个大小为1×(t//4)的特征图，再经过1×1的卷积层来变换特征维度，生成f2个1×(t//4)的第二特征图。
26、在一些实施例中，所述时间重构模块对输入的特征图处理过程包括如下：
27、当输入f个特征图，对f个特征图批量归一化,其中，i为1至f的正整数，所述特征图包括第二特征图和/或第三特征图，其计算公式如下：
28、
29、其中，x为特征矩阵，xout为批量归一化后的特征矩阵，μ和σ分别为特征矩阵中所有值的平均值和方差，τ为用于确保稳定性的极小数值，ωi参数值越大，表示对应的特征图的时间信息越丰富；对获取的可训练参数ωi进行归一化，并将经过批量规一化后的特征矩阵与可训练参数ωi所组成的向量相乘，通过sigmoid函数映射到0至1之间，再进入门控阈值设置为0.5的门控单元，其中，所述门控单元分为第一部分和第二部分，所述第一部分将矩阵中大于阈值的数值置为一，其余数值维持不变；所述第二部分将矩阵中小于阈值的数值置为零，其余数值维持不变；再分别对所述第一部分和所述第二部分所获得的特征矩阵与初始输入矩阵相乘，最后进行矩阵相加，得到最后输出。
30、在一些实施例中，所述通道重构模块对输入的特征图处理过程包括如下：
31、当输入f个特征图，将f个特征图均等为上半部分和下半部分，上半部分和下半部分的特征图数为的，上半部分和下半部分的特征图均通过1×1的一维卷积层，其中，上半部分通过多组卷积层和逐点卷积层采集通道主要信息，下半部分通过残差卷积层采集通道次要信息，所述特征图包括第二特征图和/或第三特征图；将上半部分和下半部分所产生的特征图经过全局池化层，得到相应的权值k1和k2，并经过softmax函数映射到0至1之间，得到权值k1和k2；将k1乘以具有通道重要信息的特征矩阵，将k2乘以通道次要信息的特征矩阵，并将其相加得到最后输出。
32、第二方面，本发明实施例还提供了一种基于eeg信号的心理负荷追踪装置，所述装置包括：
33、获取模块，用于通过脑电记录设备获取测试者的eeg信号，所述eeg信号包含时间信息和卷积通道信息；
34、滤波模块，用于通过滤波方式对所述eeg信号进行预处理，得到滤波后的所述eeg信号；
35、处理模块，用于将滤波后的所述eeg信号输入至预先训练好的eeg心理负荷追踪模型，输出所述测试者的心理负荷状态结果，其中，所述eeg心理负荷追踪模型包括时间重构模块和通道重构模块，所述时间重构模块用于处理所述时间信息，所述通道重构模块用于处理所述卷积通道信息。
36、第三方面，本发明实施例还提供了一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如第一方面所述的基于eeg信号的心理负荷追踪方法。
37、第四方面，本发明实施例还提供了一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行如第一方面所述的基于eeg信号的心理负荷追踪方法。
38、根据本发明实施例提供的基于eeg信号的心理负荷追踪方法和装置、设备及介质，其中，基于eeg信号的心理负荷追踪方法包括：通过脑电记录设备获取测试者的eeg信号，eeg信号包含时间信息和卷积通道信息；通过滤波方式对eeg信号进行预处理，得到滤波后的eeg信号；将滤波后的eeg信号输入至预先训练好的eeg心理负荷追踪模型，输出测试者的心理负荷状态结果，其中，eeg心理负荷追踪模型包括时间重构模块和通道重构模块，时间重构模块用于处理时间信息，通道重构模块用于处理卷积通道信息。基于此，本发明实施例通过引入时间重构模块与通道重构模块，关注脑电信号中的时间信息和卷积通道信息，采用重构结构规避传统卷积层存在提取重复特征的问题，有效减轻了内存资源占用过高的潜在风险，避免其他有价值且有利于回归任务的有效特征被边缘化。
1.一种基于eeg信号的心理负荷追踪方法，包括：
2.根据权利要求1所述的方法，其特征在于，所述eeg心理负荷追踪模型的训练方法包括：
3.根据权利要求1所述的方法，其特征在于，所述eeg心理负荷追踪模型还包括二维卷积层、深度卷积层、平均池化层、全连接层、elu函数、dropout函数和sigmoid函数，所述将滤波后的所述eeg信号输入至预先训练好的eeg心理负荷追踪模型，输出所述测试者的心理负荷状态结果，包括：
4.根据权利要求3所述的方法，其特征在于，所述采用二维卷积层及批量归一化技术对滤波后的所述eeg信号进行处理，生成f1个c×t的第一特征图，包括：
5.根据权利要求3所述的方法，其特征在于，所述将所述第一特征图输入至深度卷积层，生成f2个1×(t//4)的第二特征图，包括：
6.根据权利要求3所述的方法，其特征在于，所述时间重构模块对输入的特征图处理过程包括如下：
7.根据权利要求3所述的方法，其特征在于，所述通道重构模块对输入的特征图处理过程包括如下：
8.一种基于eeg信号的心理负荷追踪装置，其特征在于，所述装置包括：
9.一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任意一项所述的基于eeg信号的心理负荷追踪方法。
10.一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行如权利要求1至7任意一项所述的基于eeg信号的心理负荷追踪方法。
