一种分布式分发系统部署、分发方法、系统、装置及介质与流程

专利检索2025-11-03  3


本发明涉及通信领域,具体而言,涉及一种分布式分发系统部署、分发方法、系统、装置及介质。


背景技术:

1、海量数据的实时流式业务系统,一般是采用流水线式的组网架构,实时数据将按照流水线,从一个上游计算集群,分发到一个或多个下游计算集群继续进行处理,并最终完成数据的分析统计。在计算框架中,两个计算集群可以同时位于一个局域网内部,或者位于两个通过广域网互联的异地网络之间。

2、目前主流的消息分发系统,kafka等系统组网需要依托于kafka集群的中心化部署,束缚了分布式业务集群的部署。rabbitmq等系统组网,虽然有联邦等组网形式,但缺少联邦组网统一部署管理的功能,在应对大规模组网场景时,缺少统一的部署和管理的手段,分布式组网能力不足。


技术实现思路

1、本发明实施例提供一种分布式分发系统部署、分发方法、系统、装置及介质,以至少解决相关技术中分布式组网能力不足的问题。

2、根据本发明的一个实施例,提供了一种分布式分发系统部署方法,包括:

3、获取实时消息分发参数;

4、给业务集群中的目标主机部署目标节点,将所述实时消息分发参数配置于所述目标节点,并将配置了所述实时消息分发参数的所述目标节点作为转发节点,以使业务集群中的所述目标主机通过所述转发节点进行实时消息分发;

5、可选地,若部署模式为集群部署,获取实时消息分发参数,包括:

6、从预设的配置模型中,确定待集群部署的业务集群对应的目标配置模型;所述目标配置模型用于给所述业务集群待部署的目标节点配置实时消息分发参数;

7、相应地,给业务集群中的目标主机部署目标节点,将所述实时消息分发参数配置于所述目标节点,并将配置了所述实时消息分发参数的所述目标节点作为转发节点,以使业务集群中的所述目标主机通过所述转发节点进行实时消息分发,包括:

8、给所述业务集群中的各个目标主机分别部署所述目标节点,根据所述目标配置模型,给各个所述目标节点分别配置所述实时消息分发参数,并将配置了所述实时消息分发参数的所述目标节点作为转发节点,以使所述业务集群通过所述转发节点进行实时消息分发;

9、可选地,从预设的配置模型中,确定待集群部署的业务集群对应的目标配置模型之前,所述方法还包括:

10、确定待集群部署的至少一个所述业务集群;

11、可选地,从预设的配置模型中,分别确定每个所述业务集群对应的目标配置模型之前,所述方法还包括:获取所述配置模型;

12、其中,所述配置模型的生成过程包括:

13、获取所有所述业务集群的组网关系;

14、根据所述组网关系,确定每一个所述业务集群对应的目标配置模型,将所有所述目标配置模型的集合作为所述配置模型;

15、可选地,给所述业务集群中的各个目标主机分别部署所述目标节点,并根据所述目标配置模型,给各个所述目标节点分别配置所述实时消息分发参数之后,所述方法还包括:获取部署调整方案;所述部署调整方案包括扩容或缩容;

16、若部署调整方案为扩容,则确定待扩容的目标业务集群对应的待添加的第一目标主机;

17、获取所述待扩容的目标业务集群的所述目标配置模型;

18、给所述第一目标主机部署第一目标节点,根据所述待扩容的目标业务集群的所述目标配置模型对所述第一目标节点配置实时消息分发参数,将配置了所述实时消息分发参数的所述第一目标节点作为所述第一目标主机的转发节点,以将所述第一目标主机添加到所述待扩容的目标业务集群;

19、若部署调整方案为缩容,则确定待缩容的目标业务集群对应的待移除的第二目标主机;

20、将所述第二目标主机从所述待缩容的目标业务集群中移除;

21、可选地,根据所述目标配置模型,给各个所述目标节点分别配置所述实时消息分发参数,包括:

22、根据所述目标配置模型,给各个所述目标节点批量配置所述实时消息分发参数;

23、可选地,若部署模式为非集群部署,获取实时消息分发参数,包括:

24、确定进行所述非集群部署的第三目标主机,以及获取所述第三目标主机待配置的第一实时消息分发参数;

25、相应地,给业务集群中的目标主机部署目标节点,将所述实时消息分发参数配置于所述目标节点,并将配置了所述实时消息分发参数的所述目标节点作为转发节点,以使业务集群中的所述目标主机通过所述转发节点进行实时消息分发,包括:

26、给所述第三目标主机部署第二目标节点,将所述第一实时消息分发参数配置于所述第二目标节点,并将配置了所述第一实时消息分发参数的所述第二目标节点作为所述第三目标主机的转发节点,以使所述第三目标主机通过所述转发节点进行实时消息分发。

27、根据本发明的另一个实施例,提供了一种分布式实时消息分发方法,包括:

28、获取待分发的实时消息;

29、确定部署了转发节点的业务集群;所述转发节点配置有实时消息分发参数;

30、通过所述转发节点按照所述实时消息分发参数对所述实时消息进行分发。

31、根据本发明的另一个实施例,提供了一种分布式实时消息分发系统,包括:转发节点、业务集群和拓扑管理系统;

32、所述拓扑管理系统,用于获取实时消息分发参数;给业务集群中的目标主机部署目标节点,将所述实时消息分发参数配置于所述目标节点,并将配置了所述实时消息分发参数的所述目标节点作为转发节点,以使业务集群中的所述目标主机通过所述转发节点进行实时消息分发;

33、可选地,所述系统还包括网络管理系统;所述业务集群包括至少一个生产者和至少一个消费者;

34、所述生产者,用于向所述转发节点发送消息;

35、所述消费者,用于从所述转发节点接收消息;

36、所述网络管理系统,用于对所述转发节点部署配置规则;

37、所述转发节点,用于根据所述配置规则向所述消费者推送消息;

38、可选地,若部署模式为集群部署,所述转发节点包括级联转发模式;

39、所述拓扑管理系统,具体用于从预设的配置模型中,确定待集群部署的业务集群对应的目标配置模型;所述目标配置模型用于给所述业务集群待部署的目标节点配置实时消息分发参数;给所述业务集群中的各个目标主机分别部署所述目标节点,根据所述目标配置模型,给各个所述目标节点分别配置所述实时消息分发参数,并将配置了所述实时消息分发参数的所述目标节点作为转发节点,以使所述业务集群通过所述转发节点进行实时消息分发;

40、所述转发节点,用于根据所述配置规则向下一级转发节点或者所述消费者推送消息;

41、可选地,所述转发节点包括:接收队列、路由转发引擎和发送队列;

42、所述接收队列用于接收所述生产者推送的消息;

43、所述路由转发引擎用于将所述接收队列中的消息转发至所述发送队列;

44、所述发送队列用于将所述消息推送至所述消费者或者下一级所述转发节点;

45、可选地,所述转发节点还包括:接收文件缓存和发送文件缓存;

46、所述接收文件缓存用于在所述接收队列接收的消息达到第一预设阈值时,缓存所述生产者或者上一级所述转发节点推送的消息;所述第一预设阈值小于或等于所述接收队列允许接收消息的最大值;

47、所述发送文件缓存用于在所述发送队列推送的消息达到第二预设阈值时,缓存所述路由转发引擎转发的所述消息;所述第二预设阈值小于或等于所述发送队列允许发送消息的最大值;

48、可选地,所述拓扑管理系统,还用于对部署了所述转发节点的各个所述业务集群的组网情况进行展示,以及对各个所述业务集群的运行状态进行监控。

49、根据本发明的另一个实施例,提供了一种分布式分发系统部署装置,包括:

50、第一获取模块,用于获取实时消息分发参数;

51、配置模块,用于给业务集群中的目标主机部署目标节点,将所述实时消息分发参数配置于所述目标节点,并将配置了所述实时消息分发参数的所述目标节点作为转发节点,以使业务集群中的所述目标主机通过所述转发节点进行实时消息分发。

52、根据本发明的另一个实施例,提供了一种分布式实时消息分发装置,包括:

53、第二获取模块,用于获取待分发的实时消息;

54、确定模块,用于确定部署了转发节点的业务集群;所述转发节点配置有实时消息分发参数;

55、分发模块,用于通过所述转发节点按照所述实时消息分发参数对所述实时消息进行分发。

56、根据本发明的又一个实施例,还提供了一种存储介质,所述存储介质中存储有计算机程序,其中,所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

57、根据本发明的又一个实施例,还提供了一种电子装置,包括存储器和处理器,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。

58、通过本发明,获取实时消息分发参数;给业务集群中的目标主机部署目标节点,将所述实时消息分发参数配置于所述目标节点,并将配置了所述实时消息分发参数的所述目标节点作为转发节点,以使业务集群中的所述目标主机通过所述转发节点进行实时消息分发。本技术通过将转发节点与业务集群的主机共机部署,可实现分布式消息分发系统与业务集群统一部署,不需要部署专门的消息分发集群,解决了分布式组网能力不足的问题,真正实现分布式的组网,可避免系统出现局部网络带宽、局部计算存储瓶颈,进而达到了提升分布式分发系统性能的效果。


技术特征:

1.一种分布式分发系统部署方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,若部署模式为集群部署,获取实时消息分发参数,包括:

3.根据权利要求2所述的方法,其特征在于,从预设的配置模型中,确定待集群部署的业务集群对应的目标配置模型之前,所述方法还包括:

4.根据权利要求2所述的方法,其特征在于,从预设的配置模型中,确定待集群部署的业务集群对应的目标配置模型之前,所述方法还包括:获取所述配置模型;

5.根据权利要求2所述的方法,其特征在于,给所述业务集群中的各个目标主机分别部署所述目标节点,并根据所述目标配置模型,给各个所述目标节点分别配置所述实时消息分发参数之后,所述方法还包括:获取部署调整方案;所述部署调整方案包括扩容或缩容;

6.根据权利要求2所述的方法,其特征在于,根据所述目标配置模型,给各个所述目标节点分别配置所述实时消息分发参数,包括:

7.根据权利要求1所述的方法,其特征在于,若部署模式为非集群部署,获取实时消息分发参数,包括:

8.一种分布式实时消息分发方法,其特征在于,包括:

9.一种分布式实时消息分发系统,其特征在于,包括:转发节点、业务集群和拓扑管理系统;

10.根据权利要求9所述的系统,其特征在于,所述系统还包括网络管理系统;所述业务集群包括至少一个生产者和至少一个消费者;

11.根据权利要求10所述的系统,其特征在于,若部署模式为集群部署,所述转发节点包括级联转发模式;

12.根据权利要求11所述的系统,其特征在于,所述转发节点包括:接收队列、路由转发引擎和发送队列;

13.根据权利要求12所述的系统,其特征在于,所述转发节点还包括:接收文件缓存和发送文件缓存;

14.根据权利要求10所述的系统,其特征在于,

15.一种分布式分发系统部署装置,其特征在于,包括:

16.一种分布式实时消息分发装置,其特征在于,包括:

17.一种存储介质,其特征在于,所述存储介质中存储有计算机程序,其中,所述计算机程序被设置为运行时执行权利要求1至8任一项中所述的方法。

18.一种电子装置,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行权利要求1至8任一项中所述的方法。


技术总结
本发明提供了一种分布式分发系统部署、分发方法、系统、装置及介质。通过本发明,给业务集群中的目标主机部署目标节点,将所述实时消息分发参数配置于所述目标节点,并将配置了所述实时消息分发参数的所述目标节点作为转发节点,以使业务集群中的所述目标主机通过所述转发节点进行实时消息分发。通过将转发节点与业务集群的主机共机部署,可实现分布式消息分发系统与业务集群统一部署,不需要部署专门的消息分发集群,解决了分布式组网能力不足的问题,真正实现分布式的组网,可避免系统出现局部网络带宽、局部计算存储瓶颈,进而达到了提升分布式分发系统性能的效果。

技术研发人员:颜浩
受保护的技术使用者:中兴通讯股份有限公司
技术研发日:
技术公布日:2024/5/29
转载请注明原文地址:https://win.8miu.com/read-1158275.html

最新回复(0)