联邦学习方法及装置、电子设备和介质与流程

专利检索2026-08-26  17


本公开涉及人工智能,尤其涉及联邦学习,具体涉及一种联邦学习方法及装置、电子设备、计算机可读存储介质和计算机程序产品。


背景技术:

1、随着计算机技术的发展和人工智能技术的进步,联邦学习(federated learning)逐渐成为人工智能领域的一个热门课题,联邦学习指的是多个数据持有方在原始数据不离开本地的情况下也可以进行模型训练并得到最终模型的计算过程,因此够通过多方协作完成机器学习模型的训练任务。

2、在此部分中描述的方法不一定是之前已经设想到或采用的方法。除非另有指明,否则不应假定此部分中描述的任何方法仅因其包括在此部分中就被认为是现有技术。类似地,除非另有指明,否则此部分中提及的问题不应认为在任何现有技术中已被公认。


技术实现思路

1、本公开提供了一种联邦学习方法及装置、电子设备、计算机可读存储介质和计算机程序产品。

2、根据本公开的一方面,提供了一种联邦学习方法,应用于第一参与方,第一参与方与多个第二参与方通信连接。该方法包括第一参与方和多个第二参与方配合地执行联邦学习中的训练过程。训练过程包括迭代地执行多个训练轮次。迭代地执行多个训练轮次包括:向多个第二参与方发送第一标识,第一标识用于指示第一参与方的训练的当前轮次;接收第二参与方所发送的第一确认信息,第一确认信息用于指示第二参与方已完成当前轮次的训练;响应于在当前轮次中向第一参与方发送第一确认信息的第二参与方的数量满足第一预设条件,执行下个轮次的训练;响应于已完成下个轮次的训练,更新第一标识;以及向在当前轮次中已向第一参与方发送第一确认信息的第二参与方发送经更新的第一标识。

3、根据本公开的另一方面,提供了一种联邦学习方法,应用于第二参与方,第二参与方与第一参与方通信连接。该方法包括第一参与方和第二参与方配合地执行联邦学习中的训练过程。训练过程包括迭代地执行多个训练轮次。迭代地执行多个训练轮次包括:从第一参与方接收第一标识,第一标识用于指示第一参与方的训练的当前轮次;将第一标识与第二标识进行比较,第二标识用于指示第二参与方的训练的当前轮次;响应于第一标识与第二标识相匹配,执行当前轮次的训练;以及响应于完成当前轮次的训练,向第一参与方发送第一确认信息,第一确认信息用于指示第二参与方已完成当前轮次的训练。

4、根据本公开的另一方面,提供了一种联邦学习装置,应用于第一参与方,第一参与方与多个第二参与方通信连接,第一参与方和多个第二参与方配合地执行联邦学习中的训练过程。联邦学习装置被配置为迭代地执行该训练过程中的多个训练轮次。联邦学习装置包括:第一标识发送单元,被配置为向多个第二参与方发送第一标识,第一标识用于指示第一参与方的训练的当前轮次;第一确认信息接收单元,被配置为接收第二参与方所发送的第一确认信息,第一确认信息用于指示第二参与方已完成当前轮次的训练;以及更新单元,被配置为响应于在当前轮次中向第一参与方发送第一确认信息的第二参与方的数量满足第一预设条件,执行下个轮次的训练;并且被配置为响应于已完成下个轮次的训练,更新第一标识;以及向在当前轮次中已向第一参与方发送第一确认信息的第二参与方发送经更新的第一标识。

5、根据本公开的另一方面,提供了一种联邦学习装置,应用于第二参与方,第二参与方与第一参与方通信连接,第一参与方和第二参与方配合地执行联邦学习中的训练过程。联邦学习装置被配置为迭代地执行该训练过程中的多个训练轮次。联邦学习装置包括:第一标识接收单元,被配置为从第一参与方接收第一标识,第一标识用于指示第一参与方的训练的当前轮次;比较单元,被配置为将第一标识与第二标识进行比较,第二标识用于指示第二参与方的训练的当前轮次;训练单元,被配置为响应于第一标识与第二标识相匹配,执行当前轮次的训练;以及第一确认信息发送单元,被配置为响应于完成当前轮次的训练,向第一参与方发送第一确认信息,第一确认信息用于指示第二参与方已完成当前轮次的训练。

6、根据本公开的另一方面,提供了一种电子设备,包括:至少一个处理器;以及与至少一个处理器通信连接的存储器;存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够执行上述的联邦学习方法。

7、根据本公开的另一方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,所述计算机指令用于使计算机执行根据上述的联邦学习方法。

8、根据本公开的另一方面,提供了一种计算机程序产品,包括计算机程序,其中,计算机程序在被处理器执行时实现根据上述的联邦学习方法。

9、根据本公开的一个或多个实施例,可以提高联邦学习的容错率以及模型训练的效率。

10、应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。



技术特征:

1.一种联邦学习方法,应用于第一参与方,所述第一参与方与多个第二参与方通信连接,所述方法包括所述第一参与方和多个第二参与方配合地执行联邦学习中的训练过程,所述训练过程包括迭代地执行多个训练轮次,其中,所述迭代地执行多个训练轮次包括:

2.根据权利要求1所述的方法,其中,向在所述当前轮次中已向所述第一参与方发送所述第一确认信息的第二参与方发送经更新的第一标识包括:

3.根据权利要求2所述的方法,其中,所述第二预设条件包括:所述多个第二参与方中存在未向所述第一参与方发送所述第一确认信息的第二参与方。

4.根据权利要求1所述的方法,其中,响应于在所述当前轮次中向所述第一参与方发送所述第一确认信息的第二参与方的数量满足第一预设条件,执行下个轮次的训练包括:

5.根据权利要求1至4中任一项所述的方法,其中,所述第一预设条件包括:在所述当前轮次中向所述第一参与方发送所述第一确认信息的第二参与方的数量与所述多个第二参与方的数量之间的比值大于第一预设阈值。

6.根据权利要求1至4中任一项所述的方法,还包括:

7.根据权利要求1至4中任一项所述的方法,还包括:

8.根据权利要求7所述的方法,其中,基于在所述多个训练轮次中未向所述第一参与方发送所述第一确认信息的第二参与方的数量,确定是否将所述第一模型作为输出模型包括:

9.根据权利要求8所述的方法,其中,所述获得第二模型包括:

10.根据权利要求7所述的方法,其中,基于在所述多个训练轮次中未向所述第一参与方发送所述第一确认信息的第二参与方的数量,确定是否将所述第一模型作为输出模型包括:

11.根据权利要求1至4中任一项所述的方法,其中,所述第一参与方与多个第二参与方基于分布式的一致性协议通信连接,所述第一参与方持有用于所述训练过程的标签数据,并且所述第一参与方通过分布式的一致性协议的心跳数据包向所述多个第二参与方发送所述第一标识。

12.一种联邦学习方法,应用于第二参与方,所述第二参与方与第一参与方通信连接,所述方法包括所述第一参与方和第二参与方配合地执行联邦学习中的训练过程,所述训练过程包括迭代地执行多个训练轮次,其中,所述迭代地执行多个训练轮次包括:

13.根据权利要求12所述的方法,还包括:

14.根据权利要求12所述的方法,还包括:

15.根据权利要求12至14中任一项所述的方法,还包括:

16.一种联邦学习装置,应用于第一参与方,所述第一参与方与多个第二参与方通信连接,所述第一参与方和多个第二参与方配合地执行联邦学习中的训练过程,所述装置被配置为迭代地执行所述训练过程中的多个训练轮次,其中,所述装置包括:

17.一种联邦学习装置,应用于第二参与方,所述第二参与方与第一参与方通信连接,所述第一参与方和第二参与方配合地执行联邦学习中的训练过程,所述装置被配置为迭代地执行所述训练过程中的多个训练轮次,其中,所述装置包括:

18.一种电子设备,其特征在于,包括:

19.一种存储有计算机指令的非瞬时计算机可读存储介质,其特征在于,所述计算机指令用于使计算机执行根据权利要求1-15中任一项所述的方法。

20.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序在被处理器执行时实现根据权利要求1-15中任一项所述的方法。


技术总结
本公开提供一种联邦学习方法及装置、电子设备和介质。联邦学习方法应用于第一参与方,第一参与方与多个第二参与方通信连接,配合地执行联邦学习中的训练过程,训练过程包括迭代地执行多个训练轮次,包括:向多个第二参与方发送第一标识,第一标识用于指示第一参与方的训练的当前轮次;接收第二参与方所发送的第一确认信息,第一确认信息用于指示第二参与方已完成当前轮次的训练;响应于在当前轮次中向第一参与方发送第一确认信息的第二参与方的数量满足第一预设条件,执行下个轮次的训练;响应于已完成下个轮次的训练,更新第一标识;向在当前轮次中已向第一参与方发送第一确认信息的第二参与方发送经更新的第一标识。

技术研发人员:陈聪,李涛
受保护的技术使用者:胜斗士(上海)科技技术发展有限公司
技术研发日:
技术公布日:2024/5/29
转载请注明原文地址:https://win.8miu.com/read-1167150.html

最新回复(0)