本发明涉及人工智能，尤其涉及一种防御投毒攻击的高效隐私保护联邦学习方法及装置。
背景技术：
1、联邦学习对比传统的机器学习方法具有更好的隐私性，并且在模型训练阶段的优势显著，因此自联邦学习概念提出以来，有关其的讨论与研究一直被广泛关注。尽管联邦学习具有明显的优点，但是由于联邦学习框架的一些特性，其安全隐私问题仍然存在且需要被关注和研究。具体来说，在联邦学习中，由于聚合服务器并不具备权限去访问各训练参与方的本地数据集以及它们的本地训练过程，因此恶意的敌手可以操控客户端上传刻意构造的错误模型更新并扩大其在全局模型中的影响，来达到破坏全局模型的目的。除此之外，由于本地的模型更新中有隐含的训练数据信息，恶意敌手可以通过推断来获取有关用户的隐私信息，并且不可信的聚合云服务器可能与恶意敌手进行合谋攻击来窃取用户的隐私信息。
2、为了解决联邦学习训练过程中梯度造成的隐私泄露以及来自恶意敌手的投毒攻击，学界已经提出了多种解决方法，其中应对梯度可能造成的隐私泄露问题，隐私保护联邦学习(ppfl)通常通过采用同态加密或安全多方计算技术来进行数据加密和安全聚合来最大限度的减少隐私泄露。但是ppfl同样容易遭受模型投毒攻击，并且由于ppfl中使用加密手段来保护各客户端提交的局部梯度，这也加大了针对投毒攻击检测和防御的难度。
3、来自杜克大学的研究论文《fltrust:byzantine-robust federated learningvia trust bootstrapping》提出有的客户端可能会向服务器端提交精心构造的局部梯度，这些恶意梯度会影响到全局模型，而现有的针对投毒攻击的防御并不能很好的防御先进的自适应攻击，他们提出的方案可以有效地抵御目前提出的先进攻击手段，但是对于诚实且好奇的服务器来说，可能会根据局部梯度推断用户的隐私数据。
4、匹兹堡大学的学者们在论文《hybridalpha:an efficient approach forprivacy-preserving federated learning》中提出了一种基于函数加密的安全多方计算协议，该方案使用内积功能加密完成了可以适应中途用户增加或退出场景下的联邦学习方案。该方案可以有效保护各个客户端提交的局部梯度，但是在面对部分恶意客户端时，无法识别所提交的梯度不属于良性梯度，导致最终的全局模型精度下降。
5、发表在ieee transactions on information forensics and security，2022上的论文《shieldfl:mitigating model poisoning attacks in privacy-preservingfederated learning》提出了一种基于paillier的双陷门同态加密的隐私保护联邦学习方案，该方案可以在保护梯度隐私的同时减轻可能的模型投毒攻击。但是该方案在进行梯度检测时，为了保证梯度隐私不被泄露设置了双云模型，两个云之间需要进行大量的通信，并且没有考虑到密文下的计算开销优化问题
6、综上，现有方案的不足之处为：(1)大部分方案只考虑针对投毒攻击的防御或者是针对联邦学习的隐私增强，而忽略另一种安全威胁；(2)同时考虑了隐私以及鲁棒性的方案，通常基于同态加密构造，为了保护隐私需要采用双云模型，通信消耗巨大。(3)在密文下的防御方案时间开销巨大，每一轮训练都需要较大耗时。
技术实现思路
1、本发明通过提供一种防御投毒攻击的高效隐私保护联邦学习方法及装置，解决了现有技术中隐私保护联邦学习无法抵御投毒攻击和计算开销大的问题，实现了能够在增强联邦学习隐私性且高效的减轻投毒攻击的检测和聚合方案。
2、第一方面，本发明提供了一种防御投毒攻击的高效隐私保护联邦学习方法，该方法包括：
3、获取密钥生成中心初始化后的主密钥mpk、主私钥msk、公钥pki、密钥协商参数{g，p}、离散对数哈希表和纯净数据集；
4、聚合服务器利用所述纯净数据集进行训练，得到纯净梯度并对所述纯净梯度进行归一化，得到归一化值yp，将所述归一化值yp发送至所述密钥生成中心；
5、多个授权客户端分别利用全局模型ωt和降维后的本地数据集di计算得到第一梯度集，对所述第一梯度集进行处理，得到处理后的第一梯度集，并将所述处理后的第一梯度集发送至所述聚合服务器；其中，所述处理后的第一梯度集包括：第一本地梯度集和第一恶意梯度集
6、所述聚合服务器分别计算所述第一本地梯度集中的第一本地梯度与所述纯净梯度之间的余弦相似度，得到多个余弦相似度，并利用relu函数对所述多个余弦相似度进行裁剪，得到保留余弦相似度集{degreei，i∈n}；
7、利用所述保留余弦相似度集{degreei，i∈n}构造向量y，并利用所述构造向量y，得到更新后的全局模型。
8、结合第一方面，在一种可能的实现方式中，在进行计算得到第一梯度集之前还包括：密钥协商和本地数据集标准化处理；
9、所述协商密钥包括：
10、所述多个授权客户端{id1，id2，…，idn}分别利用所述密钥协商参数{g，p}和一个本地私有的随机数ri，1＜＜ri＜＜p-1进行计算，得到第一计算结果yi；
11、所述多个授权客户端{id1，id2，…，idn}分别接收相邻的两个所述授权客户端的计算结果yi-1和yi+1；
12、利用id为idi的授权客户端计算得到和客户端idi+i的第一共享密钥ki，i-1以及和客户端idi+1的第二共享密钥ki+1,i；
13、所述本地数据集标准化处理包括：
14、分别计算所述多个授权客户端中每个所述授权客户端的本地数据集的总和si，利用所述第一共享密钥ki,i-1和第二共享密钥ki+1,i，以及所述聚合服务器下发的随机数r，生成第一掩码和第二掩码
15、利用所述第一掩码和所述第二掩码计算得到掩码总和s′i以及第二结果ni，将所述掩码总和s′i以及所述第二结果ni发送至所述聚合服务器；
16、所述聚合服务器利用所述掩码总和s′i以及所述第二结果ni计算得到数据均值并发送至所述多个授权客户端；
17、所述多个授权客户端利用所述数据均值对所述本地数据集进行标准化处理，得到降维后的本地数据集di。
18、结合第一方面，在一种可能的实现方式中，所述多个授权客户端分别利用全局模型ωt和降维后的本地数据集计算得到第一梯度集，对所述第一梯度集进行处理，得到处理后的第一梯度集，包括：
19、分别判断所述多个授权客户端否为良性授权客户端，若是，则采用良性授权客户端训练方法进训练，得到所述第一本地梯度集
20、若否，则采用恶意授权客户端训练方法进训练，得到所述第一恶意梯度集
21、结合第一方面，在一种可能的实现方式中，所述采用良性授权客户端训练方法进训练，得到所述第一本地梯度集包括：
22、利用所述全局模型ωt、所述降维后的本地数据集di和sgd算法进行多轮训练，得到本地梯度
23、使用所述第一共享密钥ki,i-1、所述第二共享密钥ki+1,i加密本轮轮数e后得到本轮第一掩码和本轮第二掩码
24、利用所述本轮第一掩码所述本轮第二掩码和所述本地梯度得到本轮本地梯度g′i；
25、对所述本轮本地梯度g′i进行数据处理和归一化操作，得到归一化后的本轮本地梯度；
26、利用所述公钥pki对所述归一化后的本轮本地梯度进行加密，得到所述处理后的第一梯度集中的所述第一本地梯度集
27、结合第一方面，在一种可能的实现方式中，所述采用恶意授权客户端训练方法进训练，得到所述第一恶意梯度集包括：
28、构造恶意梯度利用所述全局模型ωt对所述全局模型ωt进行训练；
29、使用所述第一共享密钥ki,i-1、所述第二共享密钥ki+1,i加密本轮轮数e后得到本轮第一掩码和本轮第二掩码
30、利用所述本轮第一掩码所述本轮第二掩码和所述恶意梯度得到本轮恶意梯度
31、对所述本轮恶意梯度进行数据处理和归一化操作，得到归一化后的本轮恶意梯度；
32、利用所述公钥pki对所述归一化后的本轮本地梯度进行加密，得到所述处理后的第一梯度集中的所述第一恶意梯度集
33、结合第一方面，在一种可能的实现方式中，所述分别计算所述第一本地梯度集中的第一本地梯度与所述纯净梯度之间的余弦相似度，包括：
34、所述密钥生成中心利用所述归一化值yp生成与所述归一化值yp对应的第一密钥并将所述第一密钥发送至所述聚合服务器；
35、所述聚合服务器利用解密函数计算所述第一本地梯度集之间的内积；
36、根据所述内积计算所述第一本地梯度集与所述纯净梯度之间的余弦相似度。
37、结合第一方面，在一种可能的实现方式中，所述利用所述保留余弦相似度集{degreei,i∈n}构造向量y，并利用所述构造向量y和所述离散对数哈希表，得到更新后的全局模型，包括：
38、将所述构造向量y发送至所述密钥生成中心，得到私钥sky，并使用所述私钥sky进行解密得到信任度和梯度的内积结果b，其中，解密对所述和所述离散对数哈希表进行查找；
39、利用所述信任度和所述梯度的内积结果b计算全局梯度gt，利用所述全局梯度gt得到所述更新后的全局模型。
40、第二方面，本发明提供了一种防御投毒攻击的高效隐私保护联邦学习系统，该系统包括：密钥生成中心、聚合服务器和多个授权客户端；
41、所述多个授权客户端用于使用本地数据集训练全局模型并将得到的本地梯度更新上传至所述聚合服务器；
42、所述密钥生成中心用于根据安全参数生成隐私保护联邦学习过程中需要的各个密钥的生成和派发；
43、所述聚合服务器用于检查所述授权客户端提交梯度的安全性以及根据局部梯度更新计算当前全局模型并下发。
44、第三方面，本发明提供了一种防御投毒攻击的高效隐私保护联邦学习服务器，该服务器包括：存储器和处理器；
45、所述存储器用于储存计算机可执行指令；
46、所述处理器用于执行所述计算机可执行指令，以实现所述的防御投毒攻击的高效隐私保护联邦学习方法。
47、第四方面，本发明提供了一种计算机可读存储介质，所述计算机可读存储介质有可执行指令，计算机执行所述可执行指令时能够实现所述的防御投毒攻击的高效隐私保护联邦学习方法。
48、本发明中提供的一个或多个技术方案，至少具有如下技术效果或优点：
49、(1)本发明针对各授权客户端提交的梯度并不采用统一聚合的方法，而是首先对梯度进行恶意性检查，通过服务器的小型纯净数据集的训练更新对局部梯度进行，并赋予对应的信任分数后进行聚合以减轻可能的攻击效果；
50、(2)本发明在初始化时会给各授权客户端分发密钥，可以让其对训练本地数据集得到的局部梯度进行加密上传以防止半诚实的服务器通过梯度来推断用户的隐私信息；
51、(3)本发明在系统初始化阶段要求全体参与训练的授权客户端进行隐私保护的联合主成分分析，将高维度的数据集投影到选择的特征值对应的特征向量组成的低维空间实现降维操作，以此降低通信消耗以及加解密时间。
1.一种防御投毒攻击的高效隐私保护联邦学习方法，其特征在于，包括：
2.根据权利要求1所述的防御投毒攻击的高效隐私保护联邦学习方法，其特征在于，在进行计算得到第一梯度集之前还包括：密钥协商和本地数据集标准化处理；
3.根据权利要求2所述的防御投毒攻击的高效隐私保护联邦学习方法，其特征在于，所述多个授权客户端分别利用全局模型ωt和降维后的本地数据集计算得到第一梯度集，对所述第一梯度集进行处理，得到处理后的第一梯度集，包括：
4.根据权利要求2所述的防御投毒攻击的高效隐私保护联邦学习方法，其特征在于，所述采用良性授权客户端训练方法进训练，得到所述第一本地梯度集包括：
5.根据权利要求2所述的防御投毒攻击的高效隐私保护联邦学习方法，其特征在于，所述采用恶意授权客户端训练方法进训练，得到所述第一恶意梯度集包括：
6.根据权利要求1所述的防御投毒攻击的高效隐私保护联邦学习方法，其特征在于，所述分别计算所述第一本地梯度集中的第一本地梯度与所述纯净梯度之间的余弦相似度，包括：
7.根据权利要求1所述的防御投毒攻击的高效隐私保护联邦学习方法，其特征在于，所述利用所述保留余弦相似度集{degreei，i∈n}构造向量y，并利用所述构造向量y和所述离散对数哈希表，得到更新后的全局模型，包括：
8.一种防御投毒攻击的高效隐私保护联邦学习系统，其特征在于，包括：密钥生成中心、聚合服务器和多个授权客户端；
9.一种防御投毒攻击的高效隐私保护联邦学习服务器，其特征在于，包括：存储器和处理器；
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质有可执行指令，计算机执行所述可执行指令时能够实现如权利要求1-7任一项所述的防御投毒攻击的高效隐私保护联邦学习方法。
