本发明涉及物联网系统隐私保护，具体为一种应对物联网隐私保护的联邦知识蒸馏方法。
背景技术：
1、在5g的推动下，越来越多的智能边缘设备接入互联网，物联网正通过电子医疗、智能制造、智慧城市、数字家庭等领域重塑并渗透现代生活，实现万物互联互通的愿景，物联网正从各个方面改变着人们的生活。然而，物联网的兴起也带来了许多不可预知的风险，物联网设备数量庞大、种类繁多且分布广泛，作为新兴事物，与互联网一样存在许多安全漏洞，成为黑客攻击的重点目标，物联网设备在受到攻击或发生意外情况，导致硬件设备损坏无法正常运行，甚至可能导致广大用户的个人隐私数据泄露，造成无法估量的损失。物联网数据的爆炸式增长对机器学习模型的训练速度提出更高要求，与此同时，推荐系统随着模型的复杂度越来越高，联邦学习需要交换的权重系数也越来越多，并且真实场景下的数据绝大多数都是异构的，可能会造成数据、模型上的异构，给联邦学习的训练带来了严峻的挑战。因此，我们需要寻找更加高效和安全的方法来保护物联网系统和用户的隐私。
2、现有方案中，物联网设备的数据多数是异构性的，会极大地降低检测效率，一旦被攻击，会造成设备的瘫痪，存在隐私泄露风险。
技术实现思路
1、为解决上述物联网数据隐私泄露的问题，本发明提供了一种应对物联网隐私保护的联邦知识蒸馏方法。
2、本发明技术方案如下：
3、一种应对物联网隐私保护的联邦知识蒸馏方法，包括以下步骤：
4、s1、客户端模型训练：客户端本地数据经第一本地模型处理后，输出预测数据，第一本地模型处理过程为客户端本地数据依次经过卷积处理、池化处理、归一化处理、非线性处理、多头自注意力处理、全局池化处理；
5、客户端的生成器模型对客户端本地数据进行处理，生成第一增强数据；
6、基于生成的第一增强数据、本地数据标签、生成器模型参数中的logits向量、客户端数量、第一本地模型参数，得到客户端生成器模型参数的最小目标函数，得到优化后的生成器模型参数，将优化后的生成器模型参数上传至服务器；
7、s2、构建全局生成器模型：服务器对所有客户端上传的生成器模型参数进行求和、引入高斯噪声，进行平均化处理，得到全局生成器模型参数，将得到的全局生成器模型参数下发至客户端；
8、s3、无蒸馏训练：基于接收的全局生成器模型参数，客户端的生成器模型进行更新，得到更新后的生成器模型，更新后的生成器模型对客户端本地数据进行处理后得到第二增强数据，使用第二增强数据对第一本地模型进行训练，得到第二本地模型，作为学生模型；
9、对第二本地模型进行微调，微调过程为用第一本地模型参数减去学习率与最小化损失函数梯度的乘积，得到微调后的第二本地模型参数，获取第二本地模型对应每个本地数据标签的logits向量，进行平均后得到平均logits向量，上传至服务器；
10、s4、蒸馏训练：服务器接收所有客户端的平均logits向量，针对某一个客户端，将除此客户端外的其他客户端的所有平均logits向量求和后，再除以客户端总数量，得到此客户端的教师模型，将教师模型发送此客户端；
11、客户端接收教师模型，进行蒸馏训练，更新第二本地模型参数；
12、s5、模型优化：基于学生模型损失、教师模型损失、正则权重参数、学生模型损失与教师模型损失之间的差异度，计算联合损失函数，当联合损失函数满足预设条件时，结束优化。
13、具体地，所述s2中得到全局生成器模型，对应公式为：
14、，
15、其中，是全局生成器模型参数， m是客户端， c是客户端数量，是客户端生成器模型参数， n是高斯噪声。
16、具体地，所述s3中微调过程为用第一本地模型参数减去学习率与最小化损失函数梯度的乘积，得到微调后的第二本地模型参数，用公式表示为：
17、，
18、其中，是最小化损失函数梯度，是无蒸馏训练时第二本地模型的输出，是第二本地模型的输入，是学习率，是微调后的第二本地模型参数，是第一本地模型参数, m是客户端。
19、具体地，所述s4中针对某一个客户端，将除此客户端外的其他客户端的所有平均logits向量求和后，再除以客户端总数量，得到此客户端的教师模型，用公式表示为：
20、，
21、其中，是客户端 m的教师模型，是客户端数量，是所有客户端的平均logits向量之和，是客户端 m的平均logits向量, m是客户端。
22、进一步地，所述s3中无蒸馏训练和s4中蒸馏训练，具体操作为：
23、，
24、其中， t是训练轮数, m是客户端， logits m是客户端 m输出的logits向量求和，为学生模型；是除本客户端外的其他客户端的所有平均logits向量求和，为客户端 m的教师模型。
25、具体地，所述s4中更新第二本地模型参数，用公式表示为：
26、，
27、其中，是更新后的第二本地模型参数，是更新前的第二本地模型参数， m是客户端,是设置的学习率，是最小化损失函数梯度，是蒸馏训练时第二本地模型的输出，为教师模型的输入。
28、具体地，s5中基于学生模型损失、教师模型损失、正则权重参数、学生模型损失与教师模型损失之间的差异度，计算联合损失函数，具体为：
29、，
30、其中，是优化后的联合损失函数，是学生模型损失，是教师模型损失，是学生模型损失的权重参数，是教师模型损失的权重参数；是l2正则项，其中为正则项权重参数，为l2范数；是训练轮数， m是客户端。
31、进一步地，所述s1中非线性处理，用公式表示为：
32、，
33、其中，=0.01，控制负半轴的斜率；是第一本地模型输入，是第一本地模型输出。
34、具体地，所述s1中多头自注意力处理，用公式表示为：
35、，
36、其中， q i是多头自注意力处理中输入矩阵映射投影后的第i组查询矩阵， k i是第i组键矩阵，是第i组键矩阵的转置，v i是第i组值矩阵，是输入矩阵的向量维度。
37、具体地，所述s1中基于生成的第一增强数据、本地数据标签、生成器模型参数中的logits向量、客户端数量、第一本地模型参数，得到客户端生成器模型参数的最小目标函数，得到优化后的生成器模型参数，用公式表示为：
38、，
39、其中，是客户端生成器模型参数，是最小目标函数， z是增强数据的表征， y是本地数据标签，是测试集标签的先验分布，是目标标签的后验分布， l是非负凸损失函数，是激活函数， m是客户端,是生成器模型参数中的logits向量， c是客户端数量，是第一本地模型参数。
40、本发明的有益效果在于：
41、1、客户端模型进行训练，服务器构建全局生成器模型后下发至客户端，客户端依次经无蒸馏训练和蒸馏训练后，得到客户端的教师模型，进而对客户端进行蒸馏训练，通过在联邦学习框架中引入知识蒸馏的教师模型和学生模型，提高了对本地客户端数据的隐私保护；
42、2、为每一个客户端创建了一个独特的教师模型，客户端接收到教师模型后，可以在本地进行蒸馏训练，无需将所有数据传输至服务器，保护了数据的隐私性；
43、3、分布式训练和知识蒸馏相结合，多次迭代，客户端的本地模型参数得到更新，提高了模型的性能和泛化能力。
1.一种应对物联网隐私保护的联邦知识蒸馏方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种应对物联网隐私保护的联邦知识蒸馏方法，其特征在于，所述s2中得到全局生成器模型，对应公式为：
3.根据权利要求1所述的一种应对物联网隐私保护的联邦知识蒸馏方法，其特征在于，所述s3中微调过程为用第一本地模型参数减去学习率与最小化损失函数梯度的乘积，得到微调后的第二本地模型参数，用公式表示为：
4.根据权利要求1所述的一种应对物联网隐私保护的联邦知识蒸馏方法，其特征在于，所述s4中针对某一个客户端，将除此客户端外的其他客户端的所有平均logits向量求和后，再除以客户端总数量，得到此客户端的教师模型，用公式表示为：
5.根据权利要求1所述的一种应对物联网隐私保护的联邦知识蒸馏方法，其特征在于，所述s3中无蒸馏训练和s4中蒸馏训练，具体操作为：
6.根据权利要求1所述的一种应对物联网隐私保护的联邦知识蒸馏方法，其特征在于，所述s4中更新第二本地模型参数，用公式表示为：
7.根据权利要求1所述的一种应对物联网隐私保护的联邦知识蒸馏方法，其特征在于，所述s5中基于学生模型损失、教师模型损失、正则权重参数、学生模型损失与教师模型损失之间的差异度，计算联合损失函数，具体为：
8.根据权利要求1所述的一种应对物联网隐私保护的联邦知识蒸馏方法，其特征在于，所述s1中非线性处理，用公式表示为：
9.根据权利要求1所述的一种应对物联网隐私保护的联邦知识蒸馏方法，其特征在于，所述s1中多头自注意力处理，用公式表示为：
10.根据权利要求1所述的一种应对物联网隐私保护的联邦知识蒸馏方法，其特征在于，所述s1中基于生成的第一增强数据、本地数据标签、生成器模型参数中的logits向量、客户端数量、第一本地模型参数，得到客户端生成器模型参数的最小目标函数，得到优化后的生成器模型参数，用公式表示为：
