本发明涉及负载均衡,尤其涉及一种应用于大规模数学计算的自适应负载均衡方法及装置。
背景技术:
1、传统的负载均衡方法,如轮询、随机、比率等,适用于单次任务对系统性能消耗稳定、持续时间不长的场景,应用于大规模数学计算的时候,会使得任务执行的机器负载不均衡,有的机器可能会被同时分配多个计算量大的任务,造成互相之间抢夺资源,计算时间变慢;同样也有的机器可能会分配任务不足,造成资源浪费,使用传统的负载均衡方法将导致负载不均衡,影响业务体验。
技术实现思路
1、本发明提供一种应用于大规模数学计算的自适应负载均衡方法及装置,其主要目的在于解决应用于大规模数学计算的自适应负载均衡时效率较低的问题。
2、为实现上述目的,本发明提供的一种应用于大规模数学计算的自适应负载均衡方法,包括:
3、生成预先获取的客户端请求的请求类型;
4、根据所述请求类型获取所述客户端请求的资源预测参数;
5、根据所述请求类型和所述资源预测参数筛选出所述客户端请求的计算单元;
6、利用所述计算单元对所述客户端请求进行请求响应,根据所述请求响应对预设的独立数据单元进行参数更新。
7、可选地,所述生成预先获取的客户端请求的请求类型,包括:
8、对预先获取的客户端请求进行请求转化,得到所述客户端请求的转化数据;
9、对所述转化数据进行目标选取,得到所述转化数据的目标数据;
10、根据所述目标数据确定所述客户端请求的请求类型。
11、可选地,所述根据所述请求类型获取所述客户端请求的资源预测参数,包括:
12、根据所述请求类型对预先生成的负载资源数据集进行数据筛选,得到所述客户端请求的筛选数据;
13、根据所述筛选数据计算所述客户端请求的预测组合值,确定所述预测组合值为所述客户端请求的资源预测参数。
14、可选地,在所述根据所述请求类型对预先生成的负载资源数据集进行数据筛选,得到所述客户端请求的筛选数据之前,还包括:
15、采集所述客户端请求的请求数据;
16、根据所述请求数据生成所述客户端请求的历史资源数据;
17、建立所述历史资源数据与所述客户端请求数据的数据关联,根据所述数据关联和所述历史资源数据生成所述客户端请求的负载资源数据集。
18、可选地,所述根据所述筛选数据计算所述客户端请求的预测组合值,包括:
19、利用预设的预测组合值生成算法和所述筛选数据计算所述客户端请求的预测组合值,其中,所述预设的预测组合值生成算法为:
20、
21、其中,x11是所述预测组合值中的预测cpu使用率,x21是所述预测组合值中的预测内存,x31是所述预测组合值中的预测显存,n是所述筛选数据中的cpu使用率数据的数据总数,i是所述cpu使用率数据的数据标识,x1i是第i个所述cpu使用率数据,x2是所述筛选数据中的内存数据,max(x2)是所述内存数据中的最大内存数据,x3是所述筛选数据中的显存数据,max(x3)是所述显存数据中的最大显存数据,p是所述内存数据的内存配置数,q是所述显存数据的显存配置数。
22、可选地,所述根据所述请求类型和所述资源预测参数筛选出所述客户端请求的计算单元,包括:
23、根据所述请求类型查询所述客户端请求所对应的存储在独立数据单元中的计算单元实时负载资源数据;
24、根据所述资源预测参数和所述实时负载资源筛选出所述客户端请求的计算单元。
25、可选地,所述根据所述资源预测参数和所述实时负载资源筛选出所述客户端请求的计算单元,包括:
26、确定所述实时负载资源的实时组合数,其中,所述实时组合数为(y1,y2,y3);
27、将所述资源预测参数和实时组合数进行数值比较,根据所述数值比较的比较结果筛选出所述客户端请求的可用单元;
28、根据所述可用单元确定出所述客户端请求的计算单元。
29、可选地,所述利用所述计算单元对所述客户端请求进行请求响应,包括:
30、利用所述计算单元对所述客户端请求进行请求解析,得到所述客户端请求的解析数据;
31、根据所述解析数据确定所述客户端请求的请求调用资源;
32、根据所述请求调用资源生成所述客户端请求的响应数据。
33、可选地,所述根据所述请求响应对预设的独立数据单元进行参数更新,包括:
34、根据所述请求响应生成所述客户端请求的资源消耗数据;
35、根据所述资源消耗数据对预设的独立数据单元进行参数更新。
36、为了解决上述问题,本发明还提供一种应用于大规模数学计算的自适应负载均衡装置,其特征在于,所述装置包括:
37、请求类型生成模块,用于生成预先获取的客户端请求的请求类型;
38、资源预测参数获取模块,用于根据所述请求类型获取所述客户端请求的资源预测参数;
39、计算单元生成模块,用于根据所述请求类型和所述资源预测参数筛选出所述客户端请求的计算单元;
40、资源参数更新模块,用于利用所述计算单元对所述客户端请求进行请求响应,根据所述请求响应对预设的独立数据单元进行参数更新。
41、本发明通过获取客户端请求的资源预测参数,可以更好地理解该请求对资源的需求程度,这有助于根据不同的请求类型和需求进行资源分配,根据请求类型和资源预测参数,可以筛选出适合处理该客户端请求的计算单元。这样可以根据实际需求动态选择计算资源,提高负载均衡效果,通过利用请求响应对预设的独立数据单元进行参数更新,可以不断优化负载均衡算法,这样可以根据实际情况进行调整,提高系统对不同类型请求的处理能力,因此本发明提出基于应用于大规模数学计算的自适应负载均衡方法及装置,可以解决应用于大规模数学计算的负载均衡效率较低的问题。
1.一种应用于大规模数学计算的自适应负载均衡方法,其特征在于,所述方法包括:
2.如权利要求1所述的应用于大规模数学计算的自适应负载均衡方法,其特征在于,所述生成预先获取的客户端请求的请求类型,包括:
3.如权利要求1所述的应用于大规模数学计算的自适应负载均衡方法,其特征在于,所述根据所述请求类型获取所述客户端请求的资源预测参数,包括:
4.如权利要求3所述的应用于大规模数学计算的自适应负载均衡方法,其特征在于,在所述根据所述请求类型对预先生成的负载资源数据集进行数据筛选,得到所述客户端请求的筛选数据之前,还包括:
5.如权利要求3所述的应用于大规模数学计算的自适应负载均衡方法,其特征在于,所述根据所述筛选数据计算所述客户端请求的预测组合值,包括:
6.如权利要求1所述的应用于大规模数学计算的自适应负载均衡方法,其特征在于,所述根据所述请求类型和所述资源预测参数筛选出所述客户端请求的计算单元,包括:
7.如权利要求6所述的应用于大规模数学计算的自适应负载均衡方法,其特征在于,所述根据所述资源预测参数和所述实时负载资源筛选出所述客户端请求的计算单元,包括:
8.如权利要求1所述的应用于大规模数学计算的自适应负载均衡方法,其特征在于,所述利用所述计算单元对所述客户端请求进行请求响应,包括:
9.如权利要求1至8中任一项所述的应用于大规模数学计算的自适应负载均衡方法,其特征在于,所述根据所述请求响应对预设的独立数据单元进行参数更新,包括:
10.一种应用于大规模数学计算的自适应负载均衡装置,其特征在于,所述装置包括: