本技术实施例涉及大数据,尤其涉及一种数据处理方法、系统、设备、存储介质和程序产品。
背景技术:
1、异构数据一般分为两种,一种是指来自不同体系结构的数据源的数据,不同体系结构的数据源可以包括:hive、iceberg等数据湖、mysql、oracle等关系型数据库、kafka、pulsar等消息队列;另一种是指不同序列化格式的数据,不同序列化格式可以包括:parquet、avro、csv等格式。
2、目前,大数据技术以其优秀的异构数据处理能力迅速占据了mysql等传统数据库的市场份额。然而,由于异构数据涉及到多种数据源以及数据格式,因此,现有的异构数据处理存在使用门槛和使用成本较高的问题,不利于大数据技术的普及。
技术实现思路
1、本技术提供一种数据处理方法、系统、设备、存储介质和程序产品,以降低数据处理使用门槛和使用成本,提高大数据技术的普及效果。
2、第一方面,本技术提供一种数据处理方法,该方法包括:确定标准数据类型,确定标准数据类型与多个数据源各自的数据类型之间的映射关系;获取目标用户输入的基于标准数据类型的第一数据源操作数据,第一数据源操作数据用于表示对多个数据源中目标数据源进行的目标操作;根据映射关系,将第一数据源操作数据转换为基于目标数据源的数据类型的第二数据源操作数据;根据第二数据源操作数据,对目标数据源进行目标操作对应的操作,确定执行结果。
3、可选的,上述根据第二数据源操作数据,对目标数据源进行目标操作对应的操作,确定执行结果,包括:确定目标操作的执行标识,执行标识包括目标引擎标识和目标版本标识;从多个引擎中,确定引擎标识为目标引擎且版本标识为目标版本的目标引擎;基于目标引擎,根据第二数据源操作数据对目标数据源进行目标操作对应的操作,确定执行结果。
4、可选的,上述从多个引擎中,确定引擎标识为目标引擎且版本标识为目标版本的目标引擎,包括:确定多个引擎各自的引擎标识和版本标识,引擎标识和版本标识用于对多个引擎中对应引擎进行唯一标识;将多个引擎各自的引擎标识和版本标识集成至远程过程调用(remote procedure call,rpc)服务,并将rpc框架集成至多个引擎中,以将多个引擎确定为rpc服务端;基于rpc和执行标识,从多个引擎中确定目标引擎。
5、可选的,上述根据第二数据源操作数据,对目标数据源进行目标操作对应的操作,确定执行结果之前,还包括:显示目标数据源的配置项数据;从配置项数据中确定待使用配置项数据;上述根据第二数据源操作数据,对目标数据源进行目标操作对应的操作,确定执行结果,包括:根据第二数据源操作数据和待使用配置项数据,对目标数据源进行目标操作对应的操作,确定执行结果。
6、可选的,第一数据源操作数据包括待创建数据表的名称,第一数据源操作数据用于表示创建待创建数据表;上述根据第二数据源操作数据,对目标数据源进行目标操作对应的操作,确定执行结果之前,还包括:获取待创建数据表的表配置信息,表配置信息包括以下至少一项:待创建数据表的表结构信息、待创建数据表的表属性信息;上述根据第二数据源操作数据,对目标数据源进行目标操作对应的操作,确定执行结果,包括:从第二数据源操作数据中解析出待创建数据表的名称;调用待创建数据表的表配置信息;根据待创建数据表的名称和表配置信息,构建待创建数据表。
7、可选的,上述获取目标用户输入的基于标准数据类型的第一数据源操作数据之前,还包括:对目标用户进行身份合法性校验;上述获取目标用户输入的基于标准数据类型的第一数据源操作数据,包括:若身份合法性校验通过,则获取第一数据源操作数据;上述根据映射关系,将第一数据源操作数据转换为基于目标数据源的数据类型的第二数据源操作数据之前,还包括:对目标用户进行权限校验;上述根据映射关系,将第一数据源操作数据转换为基于目标数据源的数据类型的第二数据源操作数据,包括:若权限校验通过,则根据映射关系,将第一数据源操作数据转换为第二数据源操作数据。
8、第二方面,本技术提供一种数据处理系统,数据处理系统包括:注册中心模块和引擎模块;注册中心模块,用于:确定标准数据类型,确定标准数据类型与多个数据源各自的数据类型之间的映射关系;获取目标用户输入的基于标准数据类型的第一数据源操作数据,第一数据源操作数据用于表示对多个数据源中目标数据源进行的目标操作;根据映射关系,将第一数据源操作数据转换为基于目标数据源的数据类型的第二数据源操作数据;引擎模块,用于:根据第二数据源操作数据,对目标数据源进行目标操作对应的操作,确定执行结果。
9、可选的,引擎模块包括:引擎中心单元、包括多个引擎的引擎单元;引擎中心单元,用于:确定目标操作的执行标识,执行标识包括目标引擎标识和目标版本标识;从多个引擎中,确定引擎标识为目标引擎且版本标识为目标版本的目标引擎;引擎单元,用于:基于目标引擎,根据第二数据源操作数据对目标数据源进行目标操作对应的操作,确定执行结果。
10、可选的,引擎中心单元,具体用于:确定多个引擎各自的引擎标识和版本标识,引擎标识和版本标识用于对多个引擎中对应引擎进行唯一标识;将多个引擎各自的引擎标识和版本标识集成至rpc服务,并将rpc框架集成至多个引擎中,以将多个引擎确定为rpc服务端;基于rpc和执行标识,从多个引擎中确定目标引擎。
11、可选的,注册中心模块,还用于:显示目标数据源的配置项数据;从配置项数据中确定待使用配置项数据;引擎模块,具体用于:根据第二数据源操作数据和待使用配置项数据,对目标数据源进行目标操作对应的操作,确定执行结果。
12、可选的,第一数据源操作数据包括待创建数据表的名称,第一数据源操作数据用于表示创建待创建数据表;数据处理系统还包括:元数据中心模块;元数据中心模块,用于:获取待创建数据表的表配置信息,表配置信息包括以下至少一项:待创建数据表的表结构信息、待创建数据表的表属性信息;引擎模块,具体用于:从第二数据源操作数据中解析出待创建数据表的名称;调用待创建数据表的表配置信息;根据待创建数据表的名称和表配置信息,构建待创建数据表。
13、可选的,数据处理系统还包括:安全中心模块;安全中心模块,用于:对目标用户进行身份合法性校验;注册中心模块,具体用于:获取身份合法性校验结果,若身份合法性校验通过,则获取第一数据源操作数据;安全中心模块,还用于:对目标用户进行权限校验;注册中心模块,具体用于:获取权限校验结果,若权限校验通过,则根据映射关系,将第一数据源操作数据转换为第二数据源操作数据。
14、第三方面,本技术提供一种电子设备,包括:处理器和存储器,该存储器用于存储计算机程序,该处理器用于调用并运行该存储器中存储的计算机程序,执行如第一方面或其各实现方式中的方法。
15、第四方面,本技术提供一种计算机可读存储介质,用于存储计算机程序,计算机程序使得计算机执行如第一方面或其各实现方式中的方法。
16、第五方面,本技术提供一种计算机程序产品,包括计算机程序指令,该计算机程序指令使得计算机执行如第一方面或其各实现方式中的方法。
17、第六方面,本技术提供一种计算机程序,计算机程序使得计算机执行如第一方面或其各实现方式中的方法。
18、通过本技术技术方案,电子设备可以确定标准数据类型以及标准数据类型与多个数据源各自的数据类型之间的映射关系,之后,电子设备可以获取目标用户输入的基于标准数据类型的第一数据源操作数据,第一数据源操作数据用于表示对多个数据源中目标数据源进行的目标操作,然后,根据映射关系,可以将第一数据源操作数据转换为基于目标数据源的数据类型的第二数据源操作数据,并根据第二数据源操作数据,对目标数据源进行目标操作对应的操作,确定执行结果。在上述过程中,用户可以通过一种数据类型即标准数据类型,基于电子设备对任意数据源进行任意操作并确定执行结果,而无需掌握多种数据源各自的数据类型,从而降低针对多个数据源的操作门槛,即降低异构数据处理的使用门槛和使用成本,提高大数据技术的普及效果。
1.一种数据处理方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,所述根据所述第二数据源操作数据,对所述目标数据源进行所述目标操作对应的操作,确定执行结果,包括:
3.根据权利要求2所述的方法,其特征在于,所述从多个引擎中,确定引擎标识为所述目标引擎且版本标识为所述目标版本的目标引擎,包括:
4.根据权利要求1-3任一项所述的方法,其特征在于,所述根据所述第二数据源操作数据,对所述目标数据源进行所述目标操作对应的操作,确定执行结果之前,还包括:
5.根据权利要求1-3任一项所述的方法,其特征在于,所述第一数据源操作数据包括待创建数据表的名称,所述第一数据源操作数据用于表示创建所述待创建数据表;
6.根据权利要求1-3任一项所述的方法,其特征在于,所述获取目标用户输入的基于所述标准数据类型的第一数据源操作数据之前,还包括:
7.一种数据处理系统,其特征在于,所述数据处理系统包括:注册中心模块和引擎模块;
8.一种电子设备,其特征在于,包括:
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1-6任一项所述的方法。
10.一种包含指令的计算机程序产品,其特征在于,当所述计算机程序产品在电子设备上运行时,使得所述电子设备执行权利要求1-6中任一项所述的方法。