本发明属于脑电信号处理领域，具体涉及一种基于脑电时频转换及混合神经网络的警觉度估计方法。
背景技术：
1、警觉度是指人集中注意力执行同一任务的保持程度，警觉度越低，人在执行任务时出错率越大。警觉度的检测方法主要有主观评价、生物反应测试、生理信号检测等，其中生理信号检测具有较好的效果。相对其他生理信号而言，脑电能够直接反应大脑的活跃程度。
2、常用的脑电特征提取方法主要包括时域分析、频域分析、时频域分析和非线性分析法等，比如：提取最大值、最小值、功率谱密度或熵值等特征。然而手动提取特征耗时耗力，并且需要一定的先验知识。
技术实现思路
1、为解决上述问题，本发明公开了一种基于脑电时频转换及混合神经网络的警觉度估计方法，通过短时傅里叶变换将一维脑电信号转换为二维时频图，并构建混合神经网络对警觉度进行估计。
2、为达到上述目的，本发明的技术方案如下：
3、一种基于脑电时频转换及混合神经网络的警觉度估计方法，包括以下步骤：
4、步骤一：脑电信号采集及预处理：采用电极导联ft7、ft8、t7、t8、tp7、tp8采集23个受试者颞部的脑电信号。为了获取跟警觉度紧密相关的脑电频带，对每个受试者导联进行带通滤波处理。
5、步骤二：时频转换：采用短时傅里叶变换将滤波后的每个导联一维脑电时间信号序列转变为二维时频图，其二维矩阵大小为(65,101)，并将颞部所有导联的时频图按纵向进行拼接。短时傅里叶变换的公式如下：
6、
7、其中，x(τ)表示脑电信号，h(τ-t)为分析窗函数，f表示频率，e-j2πfτ表示复指数函数，dτ表示进行积分操作，τ表示时间变量。
8、hann窗口函数如下:
9、
10、其中，n为窗函数的点数。
11、步骤三：卷积神经网络时频特征提取：搭建二维卷积神经网络模型，将拼接好的二维时频图输入到卷积模型中自动提取时频特征。其中，卷积神经网络包含两个卷积块，每个卷积块由卷积层、归一化层、relu激活函数层、平均池化层和dropout层组成。
12、步骤四：双向长短时记忆神经网络时序特征提取：脑电信号往往具有时序特性，因此使用长短期记忆神经网络可以捕捉时间序列依赖关系。由于单向lstm下一时刻的预测输出仅仅收到前面多个时刻输入的影响，而大多数情况下会受到前面和后面多个时刻输入的共同影响，为了充分提取特征前后之间的关联性并且取得更好的预测效果，本文引入双向长短期记忆网络，它是长短期记忆神经网络的扩展，同时考虑过去和未来的时序信息。
13、步骤五：回归模型建立：将提取的时序特征放入全连接层和sigmoid函数进行回归分析。计算每个受试者的皮尔逊相关系数和均方根误差，最后求23个受试者皮尔逊相关系数和均方根误差的均值。
14、进一步地，步骤一中采集的样本同时包含ft7、ft8、t7、t8、tp7、tp8电极导联信号，采样频率为1000hz，并对采集的脑电信号进行带通滤波。
15、进一步地，步骤二中采用hann窗口函数的短时傅里叶变换将每个导联的一维脑电时间信号序列转换为二维时频图，计算公式如下：
16、
17、其中，x(τ)表示脑电信号，h(τ-t)为分析窗函数，f表示频率，e-j2πfτ表示复指数函数，dτ表示进行积分操作，τ表示时间变量。每个时频图二维矩阵大小为(65,101)，将颞部6个导联时频图按纵向进行拼接，作为卷积神经网络的输入。
18、hann窗口函数如下:
19、
20、其中，n为窗函数的点数。
21、进一步地，步骤三中构建二维卷积神经网络模型提取时频特征，其中卷积神经网络模型包含两个卷积模块，每个卷积模块由卷积层、归一化层、relu激活函数层、平均池化层和dropout层组成。
22、卷积层计算公式如下：
23、
24、式中，fcov为激活函数，hi-1代表卷积网络第i-1层的特征输出，运算符代表卷积运算，bi是偏置顶，wi表示第i层使用卷积核的权重值。
25、卷积核尺寸计算公式:
26、
27、其中，i是输入的尺寸，p是边界扩充，k是卷积核的大小，s是步幅，o是输出尺寸。
28、批量归一化层的计算公式如下:
29、h＝batchnorm(k)
30、式中k表示通道。
31、relu函数具体的计算公式如下：
32、f(x)＝max(0,x)
33、池化层旨在对数据进行降采样，保留了主要的特征信息，降低了特征维度，其计算公式如下:
34、p＝avgpooling(hi,l)
35、式中的l表示长度为l池化窗口进行平均池化。
36、进一步地，步骤四将卷积神经网络提取的时频特征输入到双向长短期记忆神经网络模型中挖掘脑电信号长序列时间依赖关系。双向长短期记忆神经网络从正反两个方向计算上下文信息，长短期记忆神经网络通过三个门来实现信息的保护和控制，即输出门、遗忘门和输出门，计算公式如下所示：
37、ft＝σ(wf[ht-1,xt]+bf)
38、it＝σ(wi[ht-1,xt]+bi)
39、
40、
41、ot＝σ(wo×xt+bo)
42、ht＝ot×tanh(ct)
43、式中，为细胞单元暂时性的状态，ct为细胞单元状态输出，ct-1表示细胞单元状态在时间t-1处的输出，ft为遗忘门信号，it为其输入门信号，ot为输出门信号，ht表示隐藏状态在时间t处的结果，ht-1表示在隐藏状态在时间t-1处的结果，wf，wi，wc，wo表示权重矩阵，bf，bi，bc，bo表示偏置项，xt表示当前t时刻的输入。
44、进一步地，步骤五使用五折交叉验证将原始数据划分为五个相等的子集，每次使用其中四个子集作为训练数据，剩余一个子集作为测试数据。重复五次，每次选择不同的测试子集，并将测试子集输入全连接层和sigmoid激活函数进行回归分析，计算每个受试者的皮尔逊相关系数和均方根误差。
45、本发明的有益效果是：
46、(1)本发明使用短时傅里叶变换将滤波后的一维脑电信号转换为二维时频图，作为卷积神经网络的输入，能够对脑电信号的时频特性进行充分表征。
47、(2)本发明设计cnn-bilstm混合神经网络模型自动提取时频特征。首先，使用cnn卷积神经网络自动提取时频特征，随后使用bilstm双向长短时记忆时神经网络提取脑电时频特征表示的时序信息，bilstm由两个lstm结构组成，一个用于处理原始样本，另外一个用于处理输入序列的反向样本。这种结构的目的是捕捉输入序列的前向和后向关联信息，以提高序列建模的性能。
1.一种基于脑电时频转换及混合神经网络的警觉度估计方法，其特征在于：包括以下步骤，
2.根据权利要求1所述的一种基于脑电时频转换及混合神经网络的警觉度估计方法，其特征在于：步骤一中采集的样本包含ft7、ft8、t7、t8、tp7、tp8共6个导联脑电信号，受试者为23个，采样频率为1000hz，且带通滤波频带为8～31hz。
3.根据权利要求2所述的一种基于脑电时频转换及混合神经网络的警觉度估计方法，其特征在于：步骤二中采用hann窗口函数的短时傅里叶变换提取脑电信号的时频图，其二维矩阵大小为(65,101)，将颞部6个导联时频图按纵向进行拼接，作为卷积神经网络的输入；具体公式如下：
4.根据权利要求1所述的一种基于脑电时频转换及混合神经网络的警觉度估计方法，其特征在于：步骤三构建的二维卷积神经网络包括输入层、卷积层、归一化层、relu激活函数层和池化层，将二维时频图输入到卷积神经网络模型中，提取时频特征；
5.根据权利要求1所述的一种基于脑电时频转换及混合神经网络的警觉度估计方法，其特征在于：步骤四所述的双向长短期记忆神经网络是由前向长短期记忆神经网络和后向长短期记忆神经网络组合而成，长短期记忆神经网络通过三个门来实现信息的保护和控制，即输出门、遗忘门和输出门，计算公式如下所示：
6.根据权利要求1所述的一种基于脑电时频转换及混合神经网络的警觉度估计方法，其特征在于：步骤五中采用全连接层和sigmoid函数进行警觉度回归估计，sigmoid函数计算公式如下：
