本发明属于语音识别,具体涉及一种语音侧信道分析方法。
背景技术:
1、近年来,耳机因其丰富的功能引起了广泛关注,智能耳机丰富的功能依赖于嵌入的多种多样的传感器,例如运动传感器收集到的数据可以被用作运动监测,身份认证和面部表情识别等,但是,这些传感器的大量使用也引发了一些担忧,如果传感器收集到的数据被恶意攻击者获取并进行分析,那么用户的隐私将会受到极大威胁。为了保护用户的隐私,操作系统会严格限制麦克风、照相机等传感器对用户数据的访问。例如,苹果手机的上方会有一个绿色的指示灯亮起以提示用户有应用正在使用照相机,如果是恶意应用的话,用户可以及时对其进行终止。与这些数据访问比较严格的传感器相比,运动传感器访问接口通常处于开放式访问状态,开发人员可以在未申请任何权限的情况下直接调用运动传感器接口,因此黑客可以很容易地开发一款能够访问移动设备上运动传感器的恶意程序,并且在用户不知情的情况下窃取运动传感器产生的数据。
2、为了缓解此种侧信道分析带来的危害,一个比较容易的方法是限制运动传感器的采样频率。android 12通过将运动传感器的采样频率限制在200hz以下来保护和用户有关的潜在敏感信息。如果某些特殊的应用程序需要以更高的采样率获取传感数据,则必须经过用户授权。随着人们对此类侧信道攻击的危害认识的越来越深刻,未来可能也会对耳机的采样频率进行限制。因此研究在低采样率下利用耳机运动传感器的侧信道分析具有重要意义,一方面可以让用户意识到此类信息泄露方式,另一方面也督促智能耳机生产厂商从硬件和软件两方面改进智能耳机,增强智能耳机的抗风险能力。
技术实现思路
1、为了克服现有技术的不足,本发明提供了一种低采样率下耳机运动传感器语音侧信道分析方法,首先采用零均值化技术对来自耳机运动传感器的原始数据进行预处理,采用移动标准差使原始数据序列更加平滑;然后从加速度计的z轴数据中选择合适的分割点分割数据;再将每个轴的数据看做是一个独立的通道进行输入,并将其处理成二维矩阵;使用两个卷积层从处理后的数据中提取特征,然后再使用池化层处理来自卷积层的数据;使用通道注意力机制,动态地调整每个通道的权重,最后使用全局池化层将高维的特征转化为一维的特征向量并使用softmax层对其进行分类。本发明一方面可以让用户意识到此类信息泄露方式,另一方面也督促智能耳机生产厂商从硬件和软件两方面改进智能耳机,增强智能耳机的抗风险能力。
2、本发明解决其技术问题所采用的技术方案包括如下步骤:
3、步骤1:耳机运动传感器包括加速度计和陀螺仪;采用零均值化技术对来自耳机运动传感器的原始数据进行预处理;
4、步骤2:从加速度计的z轴数据中选择分割点将耳机运动传感器的数据分割成片段,并将分割点应用于耳机运动传感器的其他轴上,即在加速度计的xy轴和陀螺仪的xyz轴上找到相同的分割点;采用移动标准差对原始数据序列进行平滑;
5、步骤3:将步骤2得到的耳机运动传感器数据经过正则化后表示为一个l*c的矩阵,l表示运动传感器每个轴所采集的数据长度,c表示运动传感器所有轴的数量,所有轴包括加速度计的x轴、y轴、z轴和陀螺仪的x轴、y轴、z轴;
6、将每个轴的数据看做是一个独立的通道进行输入,并将其处理成h*w的二维矩阵l=h*w;传感器的数据被处理成h*w*c的数据格式;
7、步骤4:使用两个卷积层从步骤3的数据中提取特征,再使用池化层处理来自卷积层的数据,然后再使用两个卷积层处理来自上一层的数据,之后是一个池化层;
8、步骤5:使用通道注意力机制,动态调整每个通道的权重;在通道注意力机制之后,使用全局池化层将高维的特征图转化为一维的特征向量并使用softmax层对其进行分类;
9、使用类别交叉熵函数作为损失函数进行训练。
10、优选地,所述侧信道分析的结果包括语音内容、用户的性别和身份信息。
11、优选地,所述c的值为6。
12、优选地,所述用移动标准差对原始数据序列进行平滑具体为:
13、首先确定窗口大小计算移动标准偏差,将窗口大小设置为80;
14、计算每个窗口内数据的标准差,迭代这个过程,直到计算出所有窗口的标准差;
15、定位数据序列中的最大值max和最小值min,设置阈值为0.9*min+0.1*max,从超过阈值的序列中提取片段。
16、优选地,所述卷积层包括100个卷积核,每个卷积核的大小为3*3,卷积核的移动步长为1*1。
17、本发明的有益效果如下:
18、本发明一方面可以让用户意识到此类信息泄露方式,另一方面也督促智能耳机生产厂商从硬件和软件两方面改进智能耳机,增强智能耳机的抗风险能力。
1.一种低采样率下耳机运动传感器语音侧信道分析方法,其特征在于,包括以下步骤:
2.根据权利要求1所述的一种低采样率下耳机运动传感器语音侧信道分析方法,其特征在于,所述侧信道分析的结果包括语音内容、用户的性别和身份信息。
3.根据权利要求1所述的一种低采样率下耳机运动传感器语音侧信道分析方法,其特征在于,所述c的值为6。
4.根据权利要求1所述的一种低采样率下耳机运动传感器语音侧信道分析方法,其特征在于,所述用移动标准差对原始数据序列进行平滑具体为:
5.根据权利要求1所述的一种低采样率下耳机运动传感器语音侧信道分析方法,其特征在于,所述卷积层包括100个卷积核,每个卷积核的大小为3*3,卷积核的移动步长为1*1。
