本申请涉及人工智能,特别是涉及一种表格更新方法、装置、计算机设备和存储介质。
背景技术:
1、随着社会发展越来越数字化,金融业数据量越来越大,数据种类繁多,数据处理逻辑极其复杂,各业务条线的生命周期也并不一致。由于大数据平台特性,应用自行编写脚本进行数据加工的过程中,会产生大量的中间第二作业表和临时第二作业表,这些第二作业表仅在作业运行期间使用,不对外展示,数据冗余较多;另外,平台上由于业务调整,调整作业后如开发人员未删除中间第二作业表或临时第二作业表,则也会产生大量存储冗余。
2、通常情况下由于银行业数据复杂数据生命周期长短不一,对于登记了生命周期的第二作业表可以定期自动清理,未登记的或是业务部门有特殊要求(如监管报送)的,则需要人工对集群、指定库、第二作业表等进行规则定义后才能进行自动化清理。
3、但是,人工指定可能出现录入错误等问题,因此,亟需改进。
技术实现思路
1、基于此,有必要针对上述技术问题,提供一种能够提高表格更新准确性的表格更新方法、装置、计算机设备和存储介质。
2、第一方面,本申请提供了一种表格更新方法,该方法包括:
3、以采集周期对目标平台中的调度作业和日志文件进行解析,得到各目标作业表的表格基础信息、表格使用记录和表格依赖关系;其中,表格使用记录包括写入记录和读取记录;
4、相邻两个采集周期对应的各表格的表格基础信息、表格使用记录和表格依赖关系进行比对;
5、根据比对结果和更新周期,生成表格更新策略;其中,更新周期为采集周期的整数倍。
6、在其中一个实施例中,目标作业表包括第一作业表;方法还包括:
7、获取目标平台中的各调度任务,以确定调度任务中的各调度作业;
8、对各调度作业对应的作业脚本进行解析,得到各第一作业表的表格基础信息、表格使用记录和表格依赖关系。
9、在其中一个实施例中,对各调度作业对应的作业脚本进行解析,得到各第一作业表的表格基础信息、表格使用记录和表格依赖关系,包括:
10、根据各调度作业对应的作业脚本中修改语句、删除语句、创建语句对应的表格操作记录,确定各第一作业表的表格基础信息、表格使用记录和表格依赖关系。
11、在其中一个实施例中,目标作业表还包括第二作业表;方法还包括:
12、从日志文件中,获取联机访问脚本及直连脚本;
13、对联机访问脚本及直连脚本进行解析,得到各第二作业表的表格基础信息、表格使用记录和表格依赖关系。
14、在其中一个实施例中,对联机访问脚本及直连脚本进行解析,得到各第一作业表的表格基础信息、表格使用记录和表格依赖关系,包括:
15、根据联机访问脚本及直连脚本中修改语句、删除语句、创建语句对应的表格操作记录,确定各第二作业表的表格基础信息、表格使用记录和表格依赖关系。
16、在其中一个实施例中,更新周期包括第一周期、第二周期和第三周期;根据比对结果和更新周期,生成表格更新策略,包括:
17、针对于处于无读取记录且无写入记录状态的目标作业表,确定该表格的状态持续时长是否大于第一周期,若是,则将该目标作业表加入表格更新策略中的治理清单;
18、针对于处于有读取记录且无写入记录状态的目标作业表,确定该表格的状态持续时长是否大于第二周期,若是,则将该目标作业表加入表格更新策略中第二周期对应的比较清单;
19、针对于处于无读取记录且有写入记录状态的目标作业表,确定该表格的状态持续时长是否大于第三周期,若是,则将该目标作业表加入表格更新策略中第三周期中的治理清单;
20、针对于表的最后访问时间大于表的更新周期的目标作业表,将该目标作业表加入表格更新策略中第三周期中的治理清单;
21、其中,第一周期、第二周期和第三周期均为采集周期的整数倍。
22、第二方面,本申请还提供了一种表格更新装置,该装置包括:
23、采集模块,用于以采集周期对目标平台中的调度作业和日志文件进行解析,得到各目标作业表的表格基础信息、表格使用记录和表格依赖关系;其中,表格使用记录包括写入记录和读取记录;
24、比对模块,用于将相邻两个采集周期中对应的各表格的表格基础信息、表格使用记录和表格依赖关系进行比对;其中,更新周期为采集周期的整数倍;
25、更新模块,用于根据比对结果和更新周期,生成表格更新策略。
26、第三方面,本申请还提供了一种计算机设备,该计算机设备包括存储器和处理器,存储器存储有计算机程序,处理器执行计算机程序时实现以下步骤:
27、以采集周期对目标平台中的调度作业和日志文件进行解析,得到各目标作业表的表格基础信息、表格使用记录和表格依赖关系;其中,表格使用记录包括写入记录和读取记录;
28、相邻两个采集周期对应的各表格的表格基础信息、表格使用记录和表格依赖关系进行比对;其中,更新周期为采集周期的整数倍;
29、根据比对结果和更新周期,生成表格更新策略。
30、第四方面,本申请还提供了一种计算机可读存储介质,该计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
31、以采集周期对目标平台中的调度作业和日志文件进行解析,得到各目标作业表的表格基础信息、表格使用记录和表格依赖关系;其中,表格使用记录包括写入记录和读取记录;
32、相邻两个采集周期对应的各表格的表格基础信息、表格使用记录和表格依赖关系进行比对;其中,更新周期为采集周期的整数倍;
33、根据比对结果和更新周期,生成表格更新策略。
34、第五方面,本申请还提供了一种计算机程序产品,该计算机程序产品包括计算机程序,该计算机程序被处理器执行时实现以下步骤:
35、以采集周期对目标平台中的调度作业和日志文件进行解析,得到各目标作业表的表格基础信息、表格使用记录和表格依赖关系;其中,表格使用记录包括写入记录和读取记录;
36、相邻两个采集周期对应的各表格的表格基础信息、表格使用记录和表格依赖关系进行比对;其中,更新周期为采集周期的整数倍;
37、根据比对结果和更新周期,生成表格更新策略。
38、上述表格更新方法、装置、计算机设备和存储介质,本申请根据目标平台中的调度作业和日志文件,得到各表格在相邻两个采集周期之间变化情况(比对结果),针对于任一表格,根据该表格在预设的更新周期内的变化情况,确定该表格的更新策略,减少了人工参与的步骤,实现了表格的自动更新,提高了表格更新的准确性。
1.一种表格更新方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述目标作业表包括第一作业表;所述方法还包括:
3.根据权利要求2所述的方法,其特征在于,所述对各调度作业对应的作业脚本进行解析,得到各第一作业表的表格基础信息、表格使用记录和表格依赖关系,包括:
4.根据权利要求2所述的方法,其特征在于,所述目标作业表还包括第二作业表;所述方法还包括:
5.根据权利要求4所述的方法,其特征在于,所述对所述联机访问脚本及直连脚本进行解析,得到各第一作业表的表格基础信息、表格使用记录和表格依赖关系,包括:
6.根据权利要求1所述的方法,其特征在于,所述更新周期包括第一周期、第二周期和第三周期;所述根据比对结果和更新周期,生成表格更新策略,包括:
7.一种表格更新装置,其特征在于,所述装置包括:
8.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
10.一种计算机程序产品,包括计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。