本发明涉及手势识别，具体涉及一种基于多传感器融合的手势识别系统。
背景技术：
1、手部动作的检测和识别在游戏、体育、医学、vr/ar、电影制作、无障碍沟通等各种场景中扮演着重要角色。目前，基于视觉的手部动作识别解决方案仍然是主流，其中一种主要的视觉检测方案需要在人体上附加光学标记，并使用多个摄像头跟踪这些标记以实现手部动作捕捉。虽然该方法具有非常高的准确性，但它需要昂贵的基础设施和侵入性设备，并不适合消费级别的应用。另一种视觉检测方法是利用少量rgb相机或rgb-d相机从图像中提取手部特征，以实现手部动作识别。这种方案更轻量级，但易受被识别者手部穿戴和周围环境光线的影响。同时所有基于视觉的手部动作检测技术，手部的运动范围都会受到相机视野范围的限制，使用者必须确保手部的动作位于相机的检测范围内，并且还需要考虑障碍物遮挡的影响。
2、为了解决这些问题，基于可穿戴电子设备来实现手部动作检测应运而生。然而，在现有的手势识别手套中通常使用单一类型的传感器方案，无法全面获取手部动作信息。目前主流的方案包括：柔性弯曲传感器方案：使用柔性弯曲传感器来获取手指的弯曲动作。这种方案可以减少穿戴者对手套的异物感知，提升穿戴的舒适度，但由于弯曲传感器只能检测手指的弯曲角度，导致手指横向运动信息的缺失。此外，对于手指的弯曲程度，多数方案只能检测到整体弯曲，无法区分不同指关节的弯曲情况，同时柔性弯曲传感器对手指微小动作的检测也不够灵敏。惯性传感器方案：使用纯惯性传感器来识别手指的动作信息。虽然这种方案可以提供更全面的手部动作姿态信息，但需要增加大量传感器以获取准确的数据。这会增加设备的复杂性和成本，并会降低手套穿戴的舒适度。因此，需要一种基于多传感器融合的手势识别系统，利用多种不同种类传感器提高手部动作信息采集的全面性，实现多传感器的数据融合，提升手部动作识别的准确性和鲁棒性。
技术实现思路
1、为解决现有技术所存在的技术问题，本发明提供一种基于多传感器融合的手势识别系统，包括手势识别手套和数据处理单元，通过利用多种不同种类传感器的特性，提升手部动作识别的准确性和鲁棒性，通过构建并训练birnn识别模型，实现多传感器的数据融合，输出得到相应的运动学手部模型参数，可以提高手势动作的识别精准度。
2、为了实现上述目的，本发明采用如下技术方案：
3、一种基于多传感器融合的手势识别系统，包括手势识别手套和数据处理单元；所述手势识别手套包括手套本体；所述手套本体的指尖位置设置有指尖惯性传感器模块，所述手套本体的手指位置设置有柔性弯曲传感器模块，所述手套本体的手背位置设置有手背惯性传感器模块，所述手套本体的手腕位置设置有手腕惯性传感器、气压计和主控模块；所述主控模块分别与所述指尖惯性传感器模块、柔性弯曲传感器模块、手背惯性传感器模块、手腕惯性传感器和气压计连接；
4、所述指尖惯性传感器模块，用于采集手指指尖运动姿态信息，将手指指尖运动姿态信息传输至主控模块；所述柔性弯曲传感器模块，用于采集手指弯曲信息，将手指弯曲信息传输至主控模块；所述手背惯性传感器模块，用于采集手背的姿态信息，将手背的姿态信息传输至主控模块；所述手腕惯性传感器，用于采集手腕处的姿态信息，将手腕处的姿态信息传输至主控模块；所述气压计，用于测量手腕处的气压数据；
5、所述主控模块，用于根据手指弯曲信息解算得到手指关节的弯曲角度，将手腕处的气压数据转换为手腕的高度数据；将所述手指指尖运动姿态信息、手指关节的弯曲角度，手背的姿态信息、手腕处的姿态信息和手腕的高度数据整合为手部动作序列数据，将所述手部动作序列数据传输至数据处理单元；
6、所述数据处理单元，用于对接收到的手部动作序列数据进行预处理，得到预处理后的手部动作序列数据；构建并训练birnn识别模型，将预处理后的手部动作序列数据输入birnn识别模型，通过birnn识别模型输出运动学手部模型的参数序列数据；
7、所述数据处理单元，用于对接收到的手部动作序列数据进行预处理，得到预处理后的手部动作序列数据，包括：
8、建立运动学手部模型，确立手部模型坐标系，运动学手部模型用于描述手部姿态和运动；
9、分别将手部动作序列数据中的手指指尖运动姿态信息、手背的姿态信息、手腕处的姿态信息转换为手部模型坐标系中的线性加速度数据和方向，分别得到运动学手部模型坐标系下的指尖线性加速度数据和方向、手背线性加速度数据和方向、手腕处线性加速度数据和方向；
10、分别将运动学手部模型坐标系下的指尖线性加速度数据和方向、手背线性加速度数据和方向相对于运动学手部模型坐标系下的手腕惯性传感器的性加速度数据和方向进行归一化，得到归一化的指尖线性加速度数据和方向、手背线性加速度数据和方向；
11、根据归一化公式，分别对手指关节的弯曲角度和手腕的高度数据进行归一化处理，将手指关节的弯曲角度和手腕的高度数据的数据范围限制在[0，1]之间，得到归一化后的手指关节的弯曲角度和手腕的高度数据；
12、将归一化的指尖线性加速度数据和方向、归一化的手背线性加速度数据和方向、运动学手部模型坐标系下的手腕处线性加速度数据和方向、归一化后的手指关节的弯曲角度和手腕的高度数据构成的手部动作数据向量，将手部动作数据向量作为预处理后的手部动作序列数据。
13、具体地，所述指尖惯性传感器模块包括多个指尖惯性传感器，其中3个指尖惯性传感器分别位于手套本体的拇指的指尖、食指的指尖和中指的指尖；所述指尖惯性传感器、手背惯性传感器模块、手腕惯性传感器模块均为九轴惯性传感器。
14、具体地，所述柔性弯曲传感器模块包括10个电阻式柔性弯曲传感器，10个电阻式柔性弯曲传感器分别位于五根手指的掌指关节和指骨间关节处。
15、具体地，所述主控模块包括数据采集模块、主控芯片，数据采集模块分别与柔性弯曲传感器模块、主控芯片电相连，数据采集模块用于将电阻式柔性弯曲传感器的电阻值模拟信号转化为数字信号并输给主控芯片进行处理；主控芯片将手部动作序列数据传输至数据处理单元。
16、具体地，所述构建并训练birnn识别模型，将预处理后的手部动作序列数据输入birnn识别模型，包括：
17、获取训练数据集，使用训练数据集对birnn双向循环神经网络进行训练；
18、使用对角线协方差的正态分布对目标姿态进行建模，使用标准对数似然损失函数来训练birnn识别模型，使用adam优化器来加快收敛速度。
19、具体地，所述获取训练数据集，包括：通过手势识别手套采集手指指尖运动姿态信息、手指关节的弯曲角度，手背的姿态信息、手腕处的姿态信息和手腕的高度数据，对手势识别手套采集到的数据进行预处理得到预处理后的手部动作序列数据，获取与手部动作序列数据相应的运动学模型参数序列数据，将预处理后的手部动作序列数据与相应的运动学模型参数序列数据作为训练数据集。
20、具体地，所述运动学手部模型的参数包括手部骨骼关节的角度、全局移动和全局旋转，手部骨骼关节角度包括五指的掌指关节角度、近侧指间关节角度、远侧指间关节角度和手腕关节角度；
21、运动学手部模型对于拇指的腕掌关节角度使用2个自由度来描述骨骼关节角度，对于拇指的掌指关节角度和指间关节角度均使用一个自由度来描述骨骼关节角度，对于其余四个手指的掌指关节角度使用2个自由度来描述骨骼关节的角度，对近侧指间关节角度和远侧指间关节角度均使用一个自由度来描述骨骼关节的角度，对手腕关节角度使用一个自由度进行描述骨骼关节的角度，所述全局旋转使用四元数进行表示，全局移动使用运动学手部模型手腕节点的三维坐标进行表示。
22、具体地，所述分别将手部动作序列数据中的手指指尖运动姿态信息、手背的姿态信息、手腕处的姿态信息转换为手部模型坐标系中的线性加速度数据和方向，包括：
23、建立传感器坐标系到惯性坐标系的映射ris；所述手指指尖运动姿态信息包括指尖惯性传感器的线性加速度数据和方向，所述手背的姿态信息包括手背惯性传感器的线性加速度数据和方向，所述手腕处的姿态信息包括手腕惯性传感器的线性加速度数据和方向；
24、建立惯性坐标系到运动学手部模型坐标系的映射rti，将映射rti设置为初始化时的根节点传感器的方向rroot的逆矩阵；
25、根据映射rti分别计算运动学手部模型坐标系下的指尖惯性传感器的方向、手背惯性传感器的方向、手腕惯性传感器方向，根据映射ris和映射rti分别计算运动学手部模型坐标系下的指尖惯性传感器的线性加速度数据、手背惯性传感器的线性加速度数据、手腕惯性传感器的线性加速度数据。
26、具体地，所述分别将运动学手部模型坐标系下的指尖线性加速度数据和方向、手背线性加速度数据和方向相对于运动学手部模型坐标系下的手腕惯性传感器的线性加速度和方向进行归一化，包括：根据以下公式进行归一化：
27、；
28、；
29、其中，表示在时间t时手腕惯性传感器的方向，是惯性传感器s在时间t时的方向，表示在时间t时手腕惯性传感器的线性加速度，是惯性传感器s在时间t时的线性加速度，表示的逆矩阵。
30、具体地，所述数据处理单元，还用于根据运动学手部模型的参数序列通过unity平台，进行手部动作的可视化展示。
31、与现有技术相比，本发明的有益效果是：
32、（1）本发明提供一种基于多传感器融合的手势识别系统，包括手势识别手套和数据处理单元；所述手势识别手套结合电阻式柔性弯曲传感器、九轴惯性传感器、气压计三种类型的传感器，通过在手部的关节和关键节点进行合理部署，拓展手部动作采集的动作种类，实现更多复杂及精细手部动作的采集和识别，提升响应的灵敏度和响应范围。
33、（2）本发明通过在单根手指指尖安装特制的指尖惯性传感器模块和两个柔性弯曲传感器，不仅实现了手指的不同关节的弯曲检测，而且实现了手指的横向运动检测，极大的扩展了可检测的手指运动类型。
34、（3）本发明通过数据处理单元对采集到的手部动作序列数据进行预处理，构建并训练birnn识别模型，通过birnn识别模型来实现多传感器的数据融合，从而得到相应的运动学手部模型参数，充分利用手部动作序列数据的时间连续性，结合过去和未来的动作信息，可以提高手势动作的识别精准度。
1.一种基于多传感器融合的手势识别系统，其特征在于，包括手势识别手套和数据处理单元；
2.根据权利要求1所述的一种基于多传感器融合的手势识别系统，其特征在于：所述指尖惯性传感器模块包括多个指尖惯性传感器，其中3个指尖惯性传感器分别位于手套本体的拇指的指尖、食指的指尖和中指的指尖；所述指尖惯性传感器、手背惯性传感器模块、手腕惯性传感器模块均为九轴惯性传感器。
3.根据权利要求2所述的一种基于多传感器融合的手势识别系统，其特征在于：所述柔性弯曲传感器模块包括10个电阻式柔性弯曲传感器，10个电阻式柔性弯曲传感器分别位于五根手指的掌指关节和指骨间关节处。
4.根据权利要求1所述的一种基于多传感器融合的手势识别系统，其特征在于：所述主控模块包括数据采集模块、主控芯片，数据采集模块分别与柔性弯曲传感器模块、主控芯片电相连，数据采集模块用于将电阻式柔性弯曲传感器的电阻值模拟信号转化为数字信号并输给主控芯片进行处理；主控芯片将手部动作序列数据传输至数据处理单元。
5.根据权利要求1所述的一种基于多传感器融合的手势识别系统，其特征在于：所述构建并训练birnn识别模型，将预处理后的手部动作序列数据输入birnn识别模型，包括：
6.根据权利要求5所述的一种基于多传感器融合的手势识别系统，其特征在于：所述获取训练数据集，包括：通过手势识别手套采集手指指尖运动姿态信息、手指关节的弯曲角度，手背的姿态信息、手腕处的姿态信息和手腕的高度数据，对手势识别手套采集到的数据进行预处理得到预处理后的手部动作序列数据，获取与手部动作序列数据相应的运动学模型参数序列数据，将预处理后的手部动作序列数据与相应的运动学模型参数序列数据作为训练数据集。
7.根据权利要求5所述的一种基于多传感器融合的手势识别系统，其特征在于：所述运动学手部模型的参数包括手部骨骼关节的角度、全局移动和全局旋转，手部骨骼关节角度包括五指的掌指关节角度、近侧指间关节角度、远侧指间关节角度和手腕关节角度；
8.根据权利要求7所述的一种基于多传感器融合的手势识别系统，其特征在于：所述分别将手部动作序列数据中的手指指尖运动姿态信息、手背的姿态信息、手腕处的姿态信息转换为手部模型坐标系中的线性加速度数据和方向，包括：
9.根据权利要求8所述的一种基于多传感器融合的手势识别系统，其特征在于：所述分别将运动学手部模型坐标系下的指尖线性加速度数据和方向、手背线性加速度数据和方向相对于运动学手部模型坐标系下的手腕惯性传感器的线性加速度数据和方向进行归一化，包括：根据以下公式进行归一化：
10.根据权利要求1所述的一种基于多传感器融合的手势识别系统，其特征在于：所述数据处理单元，还用于根据birnn识别模型输出的运动学手部模型的参数序列数据，通过unity平台进行手部动作的可视化展示。
