表格更新方法、装置、计算机设备和存储介质与流程

专利检索2024-12-01  27


本申请涉及人工智能,特别是涉及一种表格更新方法、装置、计算机设备和存储介质。


背景技术:

1、随着社会发展越来越数字化,金融业数据量越来越大,数据种类繁多,数据处理逻辑极其复杂,各业务条线的生命周期也并不一致。由于大数据平台特性,应用自行编写脚本进行数据加工的过程中,会产生大量的中间第二作业表和临时第二作业表,这些第二作业表仅在作业运行期间使用,不对外展示,数据冗余较多;另外,平台上由于业务调整,调整作业后如开发人员未删除中间第二作业表或临时第二作业表,则也会产生大量存储冗余。

2、通常情况下由于银行业数据复杂数据生命周期长短不一,对于登记了生命周期的第二作业表可以定期自动清理,未登记的或是业务部门有特殊要求(如监管报送)的,则需要人工对集群、指定库、第二作业表等进行规则定义后才能进行自动化清理。

3、但是,人工指定可能出现录入错误等问题,因此,亟需改进。


技术实现思路

1、基于此,有必要针对上述技术问题,提供一种能够提高表格更新准确性的表格更新方法、装置、计算机设备和存储介质。

2、第一方面,本申请提供了一种表格更新方法,该方法包括:

3、以采集周期对目标平台中的调度作业和日志文件进行解析,得到各目标作业表的表格基础信息、表格使用记录和表格依赖关系;其中,表格使用记录包括写入记录和读取记录;

4、相邻两个采集周期对应的各表格的表格基础信息、表格使用记录和表格依赖关系进行比对;

5、根据比对结果和更新周期,生成表格更新策略;其中,更新周期为采集周期的整数倍。

6、在其中一个实施例中,目标作业表包括第一作业表;方法还包括:

7、获取目标平台中的各调度任务,以确定调度任务中的各调度作业;

8、对各调度作业对应的作业脚本进行解析,得到各第一作业表的表格基础信息、表格使用记录和表格依赖关系。

9、在其中一个实施例中,对各调度作业对应的作业脚本进行解析,得到各第一作业表的表格基础信息、表格使用记录和表格依赖关系,包括:

10、根据各调度作业对应的作业脚本中修改语句、删除语句、创建语句对应的表格操作记录,确定各第一作业表的表格基础信息、表格使用记录和表格依赖关系。

11、在其中一个实施例中,目标作业表还包括第二作业表;方法还包括:

12、从日志文件中,获取联机访问脚本及直连脚本;

13、对联机访问脚本及直连脚本进行解析,得到各第二作业表的表格基础信息、表格使用记录和表格依赖关系。

14、在其中一个实施例中,对联机访问脚本及直连脚本进行解析,得到各第一作业表的表格基础信息、表格使用记录和表格依赖关系,包括:

15、根据联机访问脚本及直连脚本中修改语句、删除语句、创建语句对应的表格操作记录,确定各第二作业表的表格基础信息、表格使用记录和表格依赖关系。

16、在其中一个实施例中,更新周期包括第一周期、第二周期和第三周期;根据比对结果和更新周期,生成表格更新策略,包括:

17、针对于处于无读取记录且无写入记录状态的目标作业表,确定该表格的状态持续时长是否大于第一周期,若是,则将该目标作业表加入表格更新策略中的治理清单;

18、针对于处于有读取记录且无写入记录状态的目标作业表,确定该表格的状态持续时长是否大于第二周期,若是,则将该目标作业表加入表格更新策略中第二周期对应的比较清单;

19、针对于处于无读取记录且有写入记录状态的目标作业表,确定该表格的状态持续时长是否大于第三周期,若是,则将该目标作业表加入表格更新策略中第三周期中的治理清单;

20、针对于表的最后访问时间大于表的更新周期的目标作业表,将该目标作业表加入表格更新策略中第三周期中的治理清单;

21、其中,第一周期、第二周期和第三周期均为采集周期的整数倍。

22、第二方面,本申请还提供了一种表格更新装置,该装置包括:

23、采集模块,用于以采集周期对目标平台中的调度作业和日志文件进行解析,得到各目标作业表的表格基础信息、表格使用记录和表格依赖关系;其中,表格使用记录包括写入记录和读取记录;

24、比对模块,用于将相邻两个采集周期中对应的各表格的表格基础信息、表格使用记录和表格依赖关系进行比对;其中,更新周期为采集周期的整数倍;

25、更新模块,用于根据比对结果和更新周期,生成表格更新策略。

26、第三方面,本申请还提供了一种计算机设备,该计算机设备包括存储器和处理器,存储器存储有计算机程序,处理器执行计算机程序时实现以下步骤:

27、以采集周期对目标平台中的调度作业和日志文件进行解析,得到各目标作业表的表格基础信息、表格使用记录和表格依赖关系;其中,表格使用记录包括写入记录和读取记录;

28、相邻两个采集周期对应的各表格的表格基础信息、表格使用记录和表格依赖关系进行比对;其中,更新周期为采集周期的整数倍;

29、根据比对结果和更新周期,生成表格更新策略。

30、第四方面,本申请还提供了一种计算机可读存储介质,该计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:

31、以采集周期对目标平台中的调度作业和日志文件进行解析,得到各目标作业表的表格基础信息、表格使用记录和表格依赖关系;其中,表格使用记录包括写入记录和读取记录;

32、相邻两个采集周期对应的各表格的表格基础信息、表格使用记录和表格依赖关系进行比对;其中,更新周期为采集周期的整数倍;

33、根据比对结果和更新周期,生成表格更新策略。

34、第五方面,本申请还提供了一种计算机程序产品,该计算机程序产品包括计算机程序,该计算机程序被处理器执行时实现以下步骤:

35、以采集周期对目标平台中的调度作业和日志文件进行解析,得到各目标作业表的表格基础信息、表格使用记录和表格依赖关系;其中,表格使用记录包括写入记录和读取记录;

36、相邻两个采集周期对应的各表格的表格基础信息、表格使用记录和表格依赖关系进行比对;其中,更新周期为采集周期的整数倍;

37、根据比对结果和更新周期,生成表格更新策略。

38、上述表格更新方法、装置、计算机设备和存储介质,本申请根据目标平台中的调度作业和日志文件,得到各表格在相邻两个采集周期之间变化情况(比对结果),针对于任一表格,根据该表格在预设的更新周期内的变化情况,确定该表格的更新策略,减少了人工参与的步骤,实现了表格的自动更新,提高了表格更新的准确性。



技术特征:

1.一种表格更新方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述目标作业表包括第一作业表;所述方法还包括:

3.根据权利要求2所述的方法,其特征在于,所述对各调度作业对应的作业脚本进行解析,得到各第一作业表的表格基础信息、表格使用记录和表格依赖关系,包括:

4.根据权利要求2所述的方法,其特征在于,所述目标作业表还包括第二作业表;所述方法还包括:

5.根据权利要求4所述的方法,其特征在于,所述对所述联机访问脚本及直连脚本进行解析,得到各第一作业表的表格基础信息、表格使用记录和表格依赖关系,包括:

6.根据权利要求1所述的方法,其特征在于,所述更新周期包括第一周期、第二周期和第三周期;所述根据比对结果和更新周期,生成表格更新策略,包括:

7.一种表格更新装置,其特征在于,所述装置包括:

8.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。

9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。

10.一种计算机程序产品,包括计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。


技术总结
本申请涉及一种表格更新方法、装置、计算机设备和存储介质。该方法包括:以采集周期对目标平台中的调度作业和日志文件进行解析,得到各目标作业表的表格基础信息、表格使用记录和表格依赖关系;其中,表格使用记录包括写入记录和读取记录;相邻两个采集周期对应的各表格的表格基础信息、表格使用记录和表格依赖关系进行比对;根据比对结果和更新周期,生成表格更新策略;其中,更新周期为采集周期的整数倍;本申请能够提高表格更新的准确性。

技术研发人员:倪灵
受保护的技术使用者:中国工商银行股份有限公司
技术研发日:
技术公布日:2024/5/29
转载请注明原文地址:https://win.8miu.com/read-1146703.html

最新回复(0)