本申请涉及通信领域,尤其涉及一种数据处理方法、装置、设备及存储介质。
背景技术:
1、设备中的业务系统在进行服务时会产生大量的服务日志数据,同时也会产生对应业务的运行状态日志数据,操作系统也会产生系统日志数据,传统的elk日志数据分析系统是在客户端使用filebeat、logstash等采集工具将所有日志数据仅进行简单过滤后全部录入服务端的elasticsearch(分布式搜索引擎)中,然后再使用kibana数据可视化系统对其中的数据进行统计展示。
2、虽然对日志数据进行了简单过滤,但是过滤后的日志数据的数据量仍然很大,所以会导致服务端处理数据的效率低。
技术实现思路
1、本申请提供了一种数据处理方法、装置、设备及存储介质,用以解决客户端对日志数据进行简单过滤,导致服务端数据处理效率低的问题。
2、第一方面,提供一种数据处理方法,应用于服务端,包括:
3、获取客户端的设备注册信息,所述设备注册信息包括部署于所述客户端的网元的网元信息;
4、获取与所述网元信息对应的日志采集配置文件,所述日志采集配置文件包括日志减少方式,所述日志减少方式用于减少所述网元的日志数据的数据量;
5、向所述客户端推送所日志采集配置文件和日志采集工具,所述日志采集工具用于采集所述网元的日志数据,并按照所述日志减少方式对所述日志数据进行处理得到减少后日志数据;
6、获取所述客户端上报的所述减少后日志数据。
7、可选地,获取与所述网元信息对应的日志采集配置文件,包括:
8、基于所述网元信息,获取所述网元的日志数据的格式类型;
9、获取与所述格式类型对应的目标日志减少方式;
10、基于所述目标日志减少方式生成所述日志采集配置文件。
11、可选地,获取与所述网元信息对应的日志采集配置文件,包括:
12、查询预先设置的网元信息与日志采集配置文件的映射关系,得到与所述网元信息对应的目标日志采集配置文件;
13、将所述目标日志采集配置文件,作为与所述网元信息对应的日志采集配置文件。
14、可选地,所述设备注册信息还包括:所述客户端所属的节点信息和/或所述客户端所处的地理位置信息;
15、获取所述客户端上报的所述减少后日志数据之后,还包括:
16、以所述节点信息和/或所述地理位置信息为聚合维度,对不同客户端上报的减少后日志数据进行汇总聚合。
17、第二方面,提供一种数据处理方法,应用于客户端,包括:
18、接收来自于服务端的日志采集配置文件和日志采集工具,所述日志采集配置文件包括日志减少方式,所述日志减少方式用于减少部署于所述客户端的网元的日志数据的数据量;所述日志采集工具用于采集所述日志数据并按照所述日志减少方式对所述日志数据进行处理;
19、通过所述日志采集工具采集所述日志数据,并按照所述日志减少方式对采集的所述日志数据进行处理,得到减少后日志数据;
20、向所述服务端传输所述减少后日志数据。
21、可选地,按照所述日志减少方式对所述网元的日志数据进行减少处理,得到减少后日志数据,包括:
22、将所述网元的日志数据转化为时序数据,并将所述时序数据作为所述减少后日志数据;所述时序数据中的同一指标为按时间顺序记录的数据列,所述数据列中存在至少两个时间对应的指标值不同;
23、和/或,
24、按照预设的时间窗对所述网元的日志数据进行聚合处理,得到聚合日志数据,并将所述聚合日志数据作为所述减少后日志数据;
25、和/或,
26、采用预设的关键字对所述网元的日志数据进行筛选处理,得到筛选日志数据,并将所述筛选日志数据作为所述减少后日志数据。
27、第三方面,提供一种数据处理装置,应用于服务端,包括:
28、第一获取模块,用于获取客户端的设备注册信息,所述设备注册信息包括部署于所述客户端的网元的网元信息;
29、第二获取模块,用于获取与所述网元信息对应的日志采集配置文件,所述日志采集配置文件包括日志减少方式,所述日志减少方式用于减少所述网元的日志数据的数据量;
30、推送模块,用于向所述客户端推送所日志采集配置文件和日志采集工具,所述日志采集工具用于采集所述网元的日志数据,并按照所述日志减少方式对所述日志数据进行处理得到减少后日志数据;
31、第三获取模块,用于获取所述客户端上报的所述减少后日志数据。
32、第四方面,提供一种数据处理装置,应用于客户端,包括:
33、接收模块,用于接收来自于服务端的日志采集配置文件和日志采集工具,所述日志采集配置文件包括日志减少方式,所述日志减少方式用于减少部署于所述客户端的网元的日志数据的数据量;所述日志采集工具用于采集所述日志数据并按照所述日志减少方式对所述日志数据进行处理;
34、采集处理模块,用于通过所述日志采集工具采集所述日志数据,并按照所述日志减少方式对采集的所述日志数据进行处理,得到减少后日志数据;
35、传输模块,用于向所述服务端传输所述减少后日志数据。
36、第五方面,提供一种电子设备,包括:处理器、存储器和通信总线,其中,处理器和存储器通过通信总线完成相互间的通信;
37、所述存储器,用于存储计算机程序;
38、所述处理器,用于执行所述存储器中所存储的程序,实现第一方面所述的数据处理方法或第二方面所述的数据处理方法。
39、第六方面,提供一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时实现第一方面所述的数据处理方法或第二方面所述的数据处理方法。
40、本申请实施例提供的上述技术方案与现有技术相比具有如下优点:本申请实施例提供的该方法,获取客户端的设备注册信息,设备注册信息包括部署于客户端的网元的网元信息;获取与网元信息对应的日志采集配置文件,日志采集配置文件包括日志减少方式,日志减少方式用于减少网元的日志数据的数据量;向客户端推送所日志采集配置文件和日志采集工具,日志采集工具用于采集网元的日志数据,并按照日志减少方式对日志数据进行处理得到减少后日志数据;获取客户端上报的减少后日志数据。由于向服务端推送的日志采集工具能够按照日志采集配置文件中配置的日志减少方式对日志进行处理,所以,可以使得客户端向服务端上报的减少后日志数据的数据量大大减少,提高服务端数据处理的效率。
1.一种数据处理方法,其特征在于,应用于服务端,包括:
2.根据权利要求1所述的方法,其特征在于,获取与所述网元信息对应的日志采集配置文件,包括:
3.根据权利要求1所述的方法,其特征在于,获取与所述网元信息对应的日志采集配置文件,包括:
4.根据权利要求1所述的方法,其特征在于,所述设备注册信息还包括:所述客户端所属的节点信息和/或所述客户端所处的地理位置信息;
5.一种数据处理方法,其特征在于,应用于客户端,包括:
6.根据权利要求5所述的方法,其特征在于,按照所述日志减少方式对所述网元的日志数据进行减少处理,得到减少后日志数据,包括:
7.一种数据处理装置,其特征在于,应用于服务端,包括:
8.一种数据处理装置,其特征在于,应用于客户端,包括:
9.一种电子设备,其特征在于,包括:处理器、存储器和通信总线,其中,处理器和存储器通过通信总线完成相互间的通信;
10.一种计算机可读存储介质,存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1-4任一项所述的数据处理方法或权利要求5-6任一项所述的数据处理方法。