本发明涉及一种基于脑电数据的无人机控制系统,属于人工智能控制。
背景技术:
1、当前大部分无人机都需要使用手动遥控技术来控制,无人机的大部分指令都需要控制者实时手动遥控或是提前输入指令;除了使用遥控和编程技术控制的无人机,部分使用多通道脑机接口也可以实现对无人机的多方向控制。
2、目前市场上尚不存在使用单通道脑机接口实现对无人机的多方向控制的技术方案,当前存在的单通道脑机接口控制无人机技术,都只能实现控制无人机在竖直方向上的上升和下降,无法控制无人机实现更多方向的移动。
技术实现思路
1、本发明提出的是一种基于脑电数据的无人机控制系统,其目的旨在解决如何根据脑电耳机采集的脑电数据实现对无人机的飞行控制。
2、本发明的技术解决方案:一种基于脑电数据的无人机控制系统,该系统包括脑电控制单元,无人机飞行单元;所述脑电控制单元包括脑电耳机、脑波传感器模块、初步数据处理器模块、蓝牙传输模块、特征指令计算模块、wifi传输模块;所述无人机飞行单元包括无人机信号传输处理模块、飞行驱动模块;其中,脑电耳机的信号输出端与脑波传感器模块的信号输入端连接,脑波传感器模块的信号输出端与初步数据处理器模块的信号输入端连接,初步数据处理器模块的信号输出端与蓝牙传输模块的信号输入端连接,蓝牙传输模块的信号输出端与特征指令计算模块的信号输入端连接,特征指令计算模块的信号输出端通过wifi传输模块与无人机信号传输处理模块的信号输入端无线连接,无人机信号传输处理模块的信号输出端与飞行驱动模块的信号输入端连接。
3、进一步地,所述脑电耳机用于接收脑电数据并将接收的脑电数据通过脑波传感器模块传输给初步数据处理器模块,初步数据处理器模块用于对脑波传感器模块传输来的脑电数据进行干扰滤波以及脑电数据特征的初步提取,蓝牙传输模块接收经过初步数据处理器模块处理后的脑电数据并传输给特征指令计算模块,特征指令计算模块用于接收蓝牙传输模块传输来的经过初步数据处理器模块处理后的脑电数据,提取集中度、冥想度、眨眼强度并分类出左腿运动想象和右手运动想象作为无人机的控制参量,并将控制参量转化为无人机控制指令信号;所述wifi传输模块接收经过特征指令计算模块处理后的无人机控制指令信号并将该无人机控制指令信号传输给无人机信号传输处理模块;
4、所述无人机信号传输处理模块用于接收脑电控制单元传输来的无人机控制指令信号并将无人机控制指令信号传输给飞行驱动模块,飞行驱动模块将基于接收到无人机控制指令信号的不同做出不同的飞行动作。
5、进一步地,所述脑电耳机每隔一定时间发出 1个数据包,所有数据包通过脑波传感器模块传输给初步数据处理器模块处理后经蓝牙传输模块进入到特征指令计算模块所设置的虚拟串口中,并提取集中度、冥思度、眨眼强度、不良信号值以及8个波段的脑波能量值共12个有效的初步数据信号。
6、进一步地,所述集中度、冥思度、眨眼强度、不良信号值以及8个波段的脑波能量值的提取过程包括:首先找到以十六进制的oxaa oxaa开头的数据包,接着依次找到02,04,05,16,83这五个数开头的数据信号;02后面是需要的不良信号值,其范围为0~200;04后面是需要的集中度,05后面是需要的冥想度,16后面是需要的眨眼强度;83后面有24个字节,83后面的24个字节每三个相邻字节为一组分为八组分别对应8个波段的脑波能量值;8个波段中每个波段的脑波能量值通过如下公式(1)计算得到:
7、data = val1 65536 + val2 256 + val3 (1);
8、其中,val1、val2、val3分别指每一组中相邻的3个字节的十进制值,data为脑波能量值。
9、进一步地,所述特征指令计算模块包含垂直模式、水平模式、旋转模式;
10、所述垂直模式中首先需使用眨眼强度判断使用者在上一秒内是否有眨眼行为,若眨眼强度超过预设阈值,则将特征指令计算模块的模式切换为水平模式,若眨眼强度低于预设阈值,则根据集中度和冥想度判断应该如何控制无人机在竖直方向上的移动;
11、所述水平模式中首先需使用眨眼强度判断使用者在上一秒内是否有眨眼行为,若眨眼强度超过预设阈值,则将特征指令计算模块的模式切换为旋转模式,若眨眼强度低于预设阈值,则根据集中度和冥想度判断应该如何控制无人机在水平方向上的移动;
12、所述旋转模式中首先需使用眨眼强度判断使用者在上一秒内是否有眨眼行为,若眨眼强度超过预设阈值,则将特征指令计算模块的模式切换为垂直模式,若眨眼强度低于预设阈值,则旋转模式将12个有效的初步数据信号输入基于mlp算法的运动想象特征二分类深度学习模型中,特征指令计算模块根据得到的二分类结果向无人机发送指令;若二分类结果显示为左腿运动想象,特征指令计算模块向无人机发送逆时针旋转指令;若二分类结果显示为右手运动想象,特征指令计算模块向无人机发送顺时针旋转指令。
13、进一步地,所述根据集中度和冥想度判断应该如何控制无人机在竖直方向上的移动,具体包括:当集中度大于第一指定阈值且冥想度小于第二指定阈值时,特征指令计算模块向无人机发送上升指令;当集中度小于第二指定阈值且冥想度大于第一指定阈值时,特征指令计算模块向无人机发送下降指令;所述第一指定阈值为80、第二指定阈值为50。
14、进一步地,所述根据集中度和冥想度判断应该如何控制无人机在水平方向上的移动,具体包括:当集中度大于第一指定阈值且冥想度小于第二指定阈值时,特征指令计算模块向无人机发送前进指令;当集中度小于第二指定阈值且冥想度大于第一指定阈值时,特征指令计算模块向无人机发送后退指令;所述第一指定阈值为80、第二指定阈值为50。
15、进一步地,所述基于mlp算法的运动想象特征二分类深度学习模型包括输入数据层,若干网络模块;每个网络模块均包括全连接层、批标准化层、dropout层,若干网络模块依次连接,输入数据层的输入数据通过若干网络模块后将高维特征映射到左腿运动想象和右手运动想象两个分类上。
16、进一步地,所述输入数据层包含12个节点,用于接收输入的12个有效的初步数据信号;所述全连接层利用公式(2)将输入数据映射到高维的特征空间,所述公式(2)具体如下:
17、output=input×weights+bias (2);
18、其中,input是输入数据,weights是该全连接层的权重矩阵,bias是偏置向量,output是该全连接层的输出;
19、所述批标准化层利用公式(3)减少内部协变量偏移,提高梯度流动,并增强模型的泛化能力,所述公式(3)具体如下:
20、 (3);
21、其中,是该批标准化层的输入数据,是输入数据的均值,是输入数据的标准差,是常数用于数值稳定性, γ是缩放参数, β是平移参数,是批标准化层的输出;
22、所述若干网络模块为3个网络模块,3个网络模块依次串接接;每一个网络模块中全连接层后接批标准化层,批标准化层后使用relu激活函数和dropout层;输入数据层的输入数据通过3个网络模块后再使用一个全连接层作为最终输出层,将高维特征映射到左腿运动想象和右手运动想象两个分类上。
23、进一步地,所述基于mlp算法的运动想象特征二分类深度学习模型的构建方法包括:
24、1)通过脑电耳机、脑波传感器模块、初步数据处理器模块、蓝牙传输模块,视觉提示屏,有蓝牙传输和python程序运行功能的计算机分别收集若干组使用者在做左腿运动想象和右手运动想象时的12个有效的初步数据信号,且12个有效的初步数据信号称为一组;所述左腿运动想象是指使用者不进行任何躯体活动,在端坐的姿势下想象自己的左腿抬起,所述右手运动想象是指使用者不进行任何躯体活动,在端坐的姿势下想象自己的右手抬起;若干组使用者在做左腿运动想象和右手运动想象时的12个有效的初步数据信号共同构成样本集;
25、2)将样本集中70%的一维数组作为训练集,剩余30%的一维数组作为测试集;训练集用于训练运动想象特征二分类深度学习模型,确定运动想象特征二分类深度学习模型参数;测试集用于测试已经训练好的运动想象特征二分类深度学习模型的泛化能力。
26、本发明的有益效果:
27、本发明是一种将脑科学eeg(脑电图)、bci(brain computer interface,脑机接口技术)和人工智能技术结合的控制技术领域,能够根据脑电数据获取大脑发出的行动指令而控制无人机在竖直方向和水平方向的飞行。
1.一种基于脑电数据的无人机控制系统,其特征是包括脑电控制单元,无人机飞行单元;所述脑电控制单元包括脑电耳机、脑波传感器模块、初步数据处理器模块、蓝牙传输模块、特征指令计算模块、wifi传输模块;所述无人机飞行单元包括无人机信号传输处理模块、飞行驱动模块;其中,脑电耳机的信号输出端与脑波传感器模块的信号输入端连接,脑波传感器模块的信号输出端与初步数据处理器模块的信号输入端连接,初步数据处理器模块的信号输出端与蓝牙传输模块的信号输入端连接,蓝牙传输模块的信号输出端与特征指令计算模块的信号输入端连接,特征指令计算模块的信号输出端通过wifi传输模块与无人机信号传输处理模块的信号输入端无线连接,无人机信号传输处理模块的信号输出端与飞行驱动模块的信号输入端连接。
2.根据权利要求1所述的一种基于脑电数据的无人机控制系统,其特征是所述脑电耳机用于接收脑电数据并将接收的脑电数据通过脑波传感器模块传输给初步数据处理器模块,初步数据处理器模块用于对脑波传感器模块传输来的脑电数据进行干扰滤波以及脑电数据特征的初步提取,蓝牙传输模块接收经过初步数据处理器模块处理后的脑电数据并传输给特征指令计算模块,特征指令计算模块用于接收蓝牙传输模块传输来的经过初步数据处理器模块处理后的脑电数据,提取集中度、冥想度、眨眼强度并分类出左腿运动想象和右手运动想象作为无人机的控制参量,并将控制参量转化为无人机控制指令信号;所述wifi传输模块接收经过特征指令计算模块处理后的无人机控制指令信号并将该无人机控制指令信号传输给无人机信号传输处理模块;
3. 根据权利要求1所述的一种基于脑电数据的无人机控制系统,其特征是所述脑电耳机每隔一定时间发出 1个数据包,所有数据包通过脑波传感器模块传输给初步数据处理器模块处理后经蓝牙传输模块进入到特征指令计算模块所设置的虚拟串口中,并提取集中度、冥思度、眨眼强度、不良信号值以及8个波段的脑波能量值共12个有效的初步数据信号。
4. 根据权利要求3所述的一种基于脑电数据的无人机控制系统,其特征是所述集中度、冥思度、眨眼强度、不良信号值以及8个波段的脑波能量值的提取过程包括:首先找到以十六进制的oxaa oxaa开头的数据包,接着依次找到02,04,05,16,83这五个数开头的数据信号;02后面是需要的不良信号值,其范围为0~200;04后面是需要的集中度,05后面是需要的冥想度,16后面是需要的眨眼强度;83后面有24个字节,83后面的24个字节每三个相邻字节为一组分为八组分别对应8个波段的脑波能量值;8个波段中每个波段的脑波能量值通过如下公式(1)计算得到:
5.根据权利要求1所述的一种基于脑电数据的无人机控制系统,其特征是所述特征指令计算模块包含垂直模式、水平模式、旋转模式;
6.根据权利要求5所述的一种基于脑电数据的无人机控制系统,其特征是所述根据集中度和冥想度判断应该如何控制无人机在竖直方向上的移动,具体包括:当集中度大于第一指定阈值且冥想度小于第二指定阈值时,特征指令计算模块向无人机发送上升指令;当集中度小于第二指定阈值且冥想度大于第一指定阈值时,特征指令计算模块向无人机发送下降指令;所述第一指定阈值为80、第二指定阈值为50。
7.根据权利要求5所述的一种基于脑电数据的无人机控制系统,其特征是所述根据集中度和冥想度判断应该如何控制无人机在水平方向上的移动,具体包括:当集中度大于第一指定阈值且冥想度小于第二指定阈值时,特征指令计算模块向无人机发送前进指令;当集中度小于第二指定阈值且冥想度大于第一指定阈值时,特征指令计算模块向无人机发送后退指令;所述第一指定阈值为80、第二指定阈值为50。
8.根据权利要求5所述的一种基于脑电数据的无人机控制系统,其特征是所述基于mlp算法的运动想象特征二分类深度学习模型包括输入数据层,若干网络模块;每个网络模块均包括全连接层、批标准化层、dropout层,若干网络模块依次连接,输入数据层的输入数据通过若干网络模块后将高维特征映射到左腿运动想象和右手运动想象两个分类上。
9.根据权利要求8所述的一种基于脑电数据的无人机控制系统,其特征是所述输入数据层包含12个节点,用于接收输入的12个有效的初步数据信号;所述全连接层利用公式(2)将输入数据映射到高维的特征空间,所述公式(2)具体如下:
10.根据权利要求5所述的一种基于脑电数据的无人机控制系统,其特征是所述基于mlp算法的运动想象特征二分类深度学习模型的构建方法包括: