本发明涉及云渲染资源调度,具体涉及基于算力调度的云渲染资源监控方法及系统。
背景技术:
1、当前渲染技术被应用于影视特效、广告制作和游戏制作的3d动画电影制作等多个领域,而云渲染是基于云服务器针对渲染行业提出的应用解决方案,在云服务器上执行渲染任务能充分发挥云服务器的优势,帮助本地解决渲染问题,随着云服务的逐渐普及,云渲染逐渐成为渲染领域的主要渲染方式。同时,云渲染也对算力相关基础设施提出了更高的要求,3d渲染对硬件设施的性能和指令的响应速度要求更高,现有的云渲染资源监控方法及系统还存在以下问题:(1)现有云渲染需求高,高分辨率逐渐成为主流,仅靠单一的渲染资源池算力已无法支撑,而自建数据中心的投入是很多企业无法承受的;(2)云服务的环境趋于复杂化和多样化,运维的难度和成本不断攀升,云计算环境下渲染资源的监控管理成为难题;(3)云渲染需求来源为各种应用程序横跨多个服务器,管理这些服务器、应用服务及服务器之间的资源调度不仅工作量大,而且成本高,资源利用率低。
技术实现思路
1、本发明的目的在于提供基于算力调度的云渲染资源监控方法及系统,以解决现有技术中对于云渲染需求高,对分辨率要求高,云计算环境下渲染资源难以监控管理以及跨服务器管理资源利用率低的技术问题。
2、为解决上述技术问题,本发明具体提供下述技术方案:
3、本发明提供了基于算力调度的云渲染资源监控方法,包括以下步骤:
4、获取渲染云平台管理及配置渲染服务的调度数据集群,对所述调度数据集群实时监控,采用prometheus定义监控组件,监控所述调度数据集群的实时负载并获取实时负载数据;
5、对所述实时负载数据以渲染任务时间节点划分渲染任务需求,采用动态权值均衡调度算法对所述渲染任务需求分配渲染算力资源,实时监控所述渲染任务的渲染算力资源调度进程;
6、根据所述渲染算力资源调度进程计算所述负载数据的云渲染资源占用均值以及阈值上下限,通过所述阈值上下限弹性监测渲染算力资源,获取实时的调度资源数据;
7、根据所述调度资源数据获取所述渲染任务需求与所述渲染算力资源间的数据感知,实时监控资源利用效率。
8、作为本发明的一种优选方案,获取渲染云平台管理及配置渲染服务的调度数据集群,包括:
9、通过所述渲染云平台获取管理及配置渲染服务的调度数据,对所述调度数据通过ack集群架构创建渲染算力资源对象,定义渲染资源请求格式;
10、在收到渲染资源请求时,根据渲染任务需求指定对应的所述渲染算力资源对象,对未调度的所述渲染算力资源对象建立待调度列表,采用最优调度策略设置所述渲染算力资源对象的最优列表节点,将所述最优列表节点与所述渲染算力资源对象以时间序列的形式相对应;
11、通过scheduler调度器遍历所有所述渲染算力资源对象获取调度数据集群;
12、其中,所述最优调度策略包括:
13、在所述待调度列表内实时更新所述渲染算力资源对象的列表节点,根据所述列表节点上每个节点计算资源的使用情况和分配情况,对未调度的所述渲染算力资源对象进行排序,获取候选节点列表的等待优选序列;
14、将所述渲染任务需求的权重值与所述等待优选序列进行绑定,依次获取所述渲染算力资源对象的最优列表节点。
15、作为本发明的一种优选方案,监控所述调度数据集群的实时负载并获取实时负载数据,包括:
16、采用prometheus设置监控组件收集所有所述调度数据集群的资源监控数据,并通过时间序列的形式对每个所述资源监控数据绑定时间戳,按序存储在数据库中;
17、对所述资源监控数据根据当前网络带宽利用率计算所述调度数据集群的负载均衡率,其表达式为:其中,表示列表节点数量,表示列表节点,表示列表节点的磁盘资源容量上限,表示列表节点的磁盘使用率;
18、对所述调度数据集群的网络利用率和负载均衡率进行归一化处理,获取所述调度数据集群的实时负载,并将当前时刻的所述调度数据集群的资源监控数据作为负载数据。
19、作为本发明的一种优选方案,对所述实时负载数据以渲染任务时间节点划分渲染任务需求,采用动态权值均衡调度算法对所述渲染任务需求分配渲染算力资源,包括:
20、当接收渲染任务请求时记录当前时间作为渲染任务的时间节点,按所述时间节点划分渲染任务需求,以时间序列的形式对应所述渲染算力资源对象;
21、对所述渲染算力资源对象采用动态权值均衡调度算法动态调度渲染资源,执行渲染任务分配;
22、其中,所述动态权值均衡调度算法步骤为:
23、根据所述渲染算力资源对象获取个待调度列表节点,通过计算所述调度数据集群内渲染算力资源对象的负载均衡率,获取表示节点的负载指标资源的使用情况;
24、通过分析所述prometheus的监控组件获取所述调度数据集群内的数据到节点的cpu使用率、内存使用率、磁盘利用率以及网络带宽利用率;采用blpp调度算法通过对负载指标数据进行加权计算得出节点的综合负载数据,并将此数据作为下一时刻节点的负载指标,表达式为:其中,表示cpu使用率的资源使用数据,表示cpu使用率的负载节点负荷,表示内存使用率的内存性能指标,表示磁盘利用率的磁盘功率性能指标,表示带宽利用率使用占比;
25、通过层次分析法将影响所述负载指标的因子构成相似元,然后根据每个相似元对不同时间节点的负载指标的相对重要程度进行对比进而构建出成对比较矩阵,通过所述成对比较矩阵确定权值系数,实现动态均衡的调度渲染资源,实时监控所述渲染任务的渲染算力资源调度进程。
26、作为本发明的一种优选方案,根据所述渲染算力资源调度进程计算所述负载数据的云渲染资源占用均值以及阈值上下限,包括:
27、通过不断调整所述权值系数获取对应的所述负载指标,确定所述待调度列表节点的节点性能和节点负载各项资源指标的权重;
28、根据节点各项负载指标数据和节点的性能指标数据计算得出节点的负载指标值和性能指标值,利用所述负载指标值和性能指标值计算云渲染资源占用均值;
29、根据所述云渲染资源占用均值将当前监控节点的资源状态推送至本地资源服务器,获取当前资源的状态值与上次推送的资源的状态值之间的弹性量,引入指数加权平均法更新动态阈值,所述指数加权平均法表达式为:其中,、分别表示当前资源的状态值和最后推送的资源的状态值,表示权值系数,表示当前资源的状态值与上次推送的资源的状态值之间的弹系数,表示指数加权平均法中定义的模型最大值;
30、根据动态时间间隔内资源状态值的变化动态获取阈值,将所述阈值最大值、最小值作为阈值上下限。
31、作为本发明的一种优选方案,通过所述阈值上下限弹性监测渲染算力资源,获取实时的调度资源数据,包括:
32、采用prometheus监控组件收集所有所述调度数据集群的资源监控数据,通过http请求方式获取监控数据的数据请求时间节点,根据所述时间节点对应每个所述资源监控数据的时间戳,在当前网络带宽状态下计算所述调度数据集群的负载均衡率;
33、根据所述负载均衡率对所述渲染任务需求分配渲染算力资源,实时监测所述渲染算力资源调度进程中的动态阈值,判定当前资源状态下集群最新的负载信息,对所述负载信息进行全局循环监测,获取实时的调度资源数据。
34、作为本发明的一种优选方案,根据所述调度资源数据获取所述渲染算力资源间的数据感知,实时监控资源利用效率,包括:
35、根据所述调度资源数据将渲染服务从资源数据转化任务指令,以时间序列将所述任务指令与所述渲染服务需求绑定,通过动态阈值实时调整任务调度,获取所述渲染任务需求的待调度列表节点;
36、根据所述待调度列表节点融合渲染任务数据,获取基于所述渲染算力资源间的数据感知,实时监控资源利用效率。
37、一种基于算力调度的云渲染资源监控方法的系统,包括:
38、数据采集模块:利用数据请求组件从prometheus中获取监控数据,根据所述监控数据调度数据集群,获取实时负载数据;
39、数据处理模块:解析渲染任务需求,将渲染任务实际调度至算力资源池进行处理;
40、任务调度模块:将各用户属性以及需求信息映射到渲染任务中,通过算力网络的调度编排,并将任务分配给各个渲染节点,各节点完成渲染任务后再将结果返回到云渲染管理平台,实现渲染资源的实时调度;
41、云渲染管理平台:提供支持自动化配置主流渲染软件和配套插件,智能解析渲染工程文件服务,支持渲染任务与平台层对接。
42、本发明与现有技术相比较具有如下有益效果:
43、本发明采用基于磁盘和网络均衡的资源调度算法,使得调度数据集群节点间i/o资源的使用更加平衡,采用动态权值均衡调度策略通过连续获取的数据点实现对集群负载趋势的判断,更好的实现了集群弹性伸缩的功能,能更加充分、全面的考虑渲染集群的资源使用情况,使集群资源的调度更加合理、更加均衡。
44、通过算力网络的云渲染任务智能算力调度策略,充分调度各类算力资源,运行云渲染任务,并对渲染场景实时监测,既满足了云渲染的资源需求,又提升了现有数据中心的资源利用率,解决了云计算环境下渲染资源的监控管理问题。
1.基于算力调度的云渲染资源监控方法,其特征在于,包括以下步骤:
2.根据权利要求1所述的基于算力调度的云渲染资源监控方法,其特征在于,
3.根据权利要求2所述的基于算力调度的云渲染资源监控方法,其特征在于,
4.根据权利要求3所述的基于算力调度的云渲染资源监控方法,其特征在于,
5.根据权利要求4所述的基于算力调度的云渲染资源监控方法,其特征在于,
6.根据权利要求5所述的基于算力调度的云渲染资源监控方法,其特征在于,
7.根据权利要求6所述的基于算力调度的云渲染资源监控方法,其特征在于,
8.一种基于算力调度的云渲染资源监控方法的系统,其特征在于,包括: