本公开涉及大数据和金融科技,具体涉及一种数据处理方法、装置、电子设备及计算机存储介质。
背景技术:
1、随着计算机技术的不断发展,通过互联网向用户提供服务涉及的数据也越来越多。数据湖作为一个集中式的存储库,可以存储来自多个数据源的数据,并向数据湖的下游应用提供其存储的多个数据源的数据。
2、目前,为了优化系统结构,企业逐渐将集中式系统转换为分布式系统,由此,数据湖的数据源也从集中式数据源转换为分布式数据源。在优化过程出现异常时,通过将分布式数据源切换回集中式数据源维持业务连续性。
3、但是,在实现上述发明构思的过程中,发明人发现相关技术存在以下技术问题:在异常处理时间过长的场景下,需要等到数据追平后才能继续提供服务,影响服务的连续性。
技术实现思路
1、鉴于上述问题,本公开提供了一种数据处理方法、装置、电子设备及计算机存储介质。
2、根据本公开的第一个方面,提供了一种数据处理方法,方法包括:响应于检测到第二数据源存在异常,将第一数据源的第一数据表发送至数据湖的下游应用,其中,所述第一数据源为集中式数据源,所述第二数据源为分布式数据源;将所述第一数据表中的第一数据和第二数据更新至分布式防腐数据表,其中,所述第一数据为所述第一数据源与所述下游应用之间的历史交互数据,所述第二数据为在所述第二数据源异常期间,所述第一数据源与所述下游应用之间新增的交互数据;以及响应于检测到所述第二数据源恢复正常,将所述分布式防腐数据表发送至所述数据湖的下游应用。
3、根据本公开的实施例,分布式防腐数据表中还存储有第二数据源正常期间的第三数据,其中,第三数据是从第二数据源的第二数据表中获取的;将第一数据表中的第一数据和第二数据更新至分布式防腐数据表包括:基于第一数据和第三数据,确定待存储至分布式防腐数据表的第四数据;以及将第二数据和第四数据存储至分布式防腐数据表。
4、根据本公开的实施例,基于第一数据和第三数据,确定待存储至分布式防腐数据表的第四数据包括:从第一数据中确定具有目标数据类型的第一子数据,其中,目标数据类型包括以下至少其中之一:账户标识类型、产品类型和银行卡类型,且第三数据中不包括第一子数据;将第一子数据作为第四数据。
5、根据本公开的实施例,还包括:从第一数据中确定目标主键的第二子数据、从第三数据中确定目标主键的第三子数据,其中,目标主键表征第一数据和第三数据均包括的主键;以及在第二子数据和第三子数据不同的情况下,将第二子数据作为第四数据。
6、根据本公开的实施例,还包括:比较第一数据和第三数据,得到第一数据与第三数据之间的差异结果,其中,差异结果包括仅包含在第一数据中的第四子数据;以及将第一数据中的第四子数据作为第四数据。
7、根据本公开的实施例,响应于检测到第二数据源恢复正常,将分布式防腐数据表发送至下游应用包括:响应于检测到第二数据源恢复正常,将数据湖的数据源参数实时修改为第二数据源,以便实时将分布式防腐数据表发送至下游应用。
8、根据本公开的实施例,第一数据表和分布式防腐数据表的数据结构不同,第二数据表和分布式防腐数据表的数据结构相同;将第二数据和第四数据存储至分布式防腐数据表包括:基于预定的数据结构转换规则,将第二数据和第四数据的数据结构转换为分布式防腐数据表的数据结构;以及将转换数据结构后的第二数据和第四数据存储值分布式防腐数据表。
9、本公开的第二方面提供了一种数据处理装置,装置包括:第一发送模块,用于响应于检测到第二数据源存在异常,将第一数据源的第一数据表发送至数据湖的下游应用,其中,第一数据源为集中式数据源,第二数据源为分布式数据源;更新模块,用于将第一数据表中的第一数据和第二数据更新至分布式防腐数据表,其中,第一数据为第一数据源与下游应用之间的历史交互数据,第二数据为在第二数据源异常期间,第一数据源与下游应用之间新增的交互数据;以及第二发送模块,用于响应于检测到第二数据源恢复正常,将分布式防腐数据表发送至下游应用。。
10、本公开的第三方面提供了一种电子设备,包括:一个或多个处理器;存储器,用于存储一个或多个计算机程序,当一个或多个处理器执行一个或多个计算机程序时以实现根据上述数据处理方法的步骤。
11、本公开的第四方面还提供了一种计算机可读存储介质,其上存储有计算机程序或指令,计算机程序或指令被处理器执行时实现根据上述数据处理方法的步骤。
12、本公开的第五方面还提供了一种计算机程序产品,包括计算机程序或指令,计算机程序或指令被处理器执行时实现根据上述数据处理方法的步骤。
13、在本公开的实施例中,由于分布式防腐数据表同步记录了第二数据源异常期间,第一数据源与下游应用之间的第一数据和第二数据,因此,在第二数据源恢复正常之后,通过将分布式防腐数据表发送至数据湖的下游应用,可以直接基于第二数据源向下游应用提供服务,无需等待第二数据源的第二数据表执行数据追平操作。由此,本公开的实施例能够在异常处理完成后实时切换回第二数据源,避免了因异常处理时间过长导致数据源切换时间长、效率低的技术问题,无需等到数据追平后才能继续提供服务,提高了业务服务的连续性、和数据源切换效率。
1.一种数据处理方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述分布式防腐数据表中还存储有所述第二数据源正常期间的第三数据,其中,所述第三数据是从所述第二数据源的第二数据表中获取的;
3.根据权利要求2所述的方法,其特征在于,所述基于所述第一数据和所述第三数据,确定待存储至所述分布式防腐数据表的第四数据包括:
4.根据权利要求2所述的方法,其特征在于,还包括:
5.根据权利要求2~4任一项所述的方法,其特征在于,还包括:
6.根据权利要求1所述的方法,其特征在于,所述响应于检测到所述第二数据源恢复正常,将所述分布式防腐数据表发送至下游应用包括:
7.根据权利要求2所述的方法,其特征在于,所述第一数据表和所述分布式防腐数据表的数据结构不同,所述第二数据表和所述分布式防腐数据表的数据结构相同;
8.一种数据处理装置,其特征在于,所述装置包括:
9.一种电子设备,包括:
10.一种计算机可读存储介质,其上存储有计算机程序或指令,其特征在于,所述计算机程序或指令被处理器执行时实现根据权利要求1~7中任一项所述方法的步骤。
11.一种计算机程序产品,包括计算机程序或指令,其特征在于,所述计算机程序或指令被处理器执行时实现根据权利要求1~7中任一项所述方法的步骤。
