银行系统批量作业的监控方法及监控装置、电子设备与流程

1.本发明涉及批量作业处理技术领域，具体而言，涉及一种银行系统批量作业的监控方法及监控装置、电子设备。


背景技术：

2.相关技术中，现有的批量作业监控有如下方法：(1)起止时间监控，即当批量工作未按照规定时间开始/结束执行时，生成异常报警事件；(2)中断监控，即当批量工作在执行过程中出现异常中断时，生成报警事件。
3.然而，采用如上方法进行批量作业的监控会存在如下问题：(1)只进行结果监控，缺乏过程监控，无法进行实时监控；(2)仅根据固定阈值进行对比分析，并以该分析结果进行预警，缺乏根据历史指标进行分析以及及时调整相应阈值；(3)基于关系型数据库记录批量执行日志，查看较长时间区间执行情况或统计相关指标的效率较差。
4.针对上述的问题，目前尚未提出有效的解决方案。


技术实现要素：

5.本发明实施例提供了一种银行系统批量作业的监控方法及监控装置、电子设备，以至少解决相关技术中无法对批量作业进行实时监控的技术问题。
6.根据本发明实施例的一个方面，提供了一种银行系统批量作业的监控方法，包括：在采集银行系统的批量作业的日志数据后，将所述日志数据存储至预设数据库；基于所述日志数据，按照预先设置的多个维度分别统计所述批量作业的运行指标；若每个维度对应的所述运行指标的指标参数平均值小于预设平均阈值，则将所述批量作业写入到异常统计表中；将所述异常统计表指示出现异常的批量作业发送至目标运维终端。
7.可选地，所述日志数据包括下述至少之一：开始时间戳、结束时间戳、出错时间戳、作业编号、作业日期、作业状态、地区编号、产品类型。
8.可选地，将所述日志数据存储至预设数据库的步骤，包括：基于所述日志数据中每个所述批量作业的属性信息，设置所述批量作业的权重值，其中，所述属性信息包括下述至少之一：所属机构、作业类型；对所述批量作业的权重值进行排序，得到排序结果；基于所述排序结果，制定相应的存储策略；通过所述存储策略将每个所述批量作业分别存储至预设数据库。
9.可选地，在基于所述日志数据，按照预先设置的多个维度分别统计所述批量作业的运行指标之后，所述监控方法还包括：若在预设时间段内，所述运行指标的指标参数平均值小于预设平均阈值的出现次数大于等于预设阈值，则调整所述预设平均阈值。
10.可选地，在采集银行系统的批量作业的日志数据后，所述监控方法还包括：若检测当前采集的所述批量作业中的至少一个待执行作业为异常作业，则将所述待执行作业写入至所述异常统计表中。
11.可选地，在将所述日志数据存储至预设数据库之后，所述监控方法还包括：接收作
业查询请求；响应所述作业查询请求，展示所述批量作业的信息数据，其中，所述信息数据至少包括：所述批量作业的执行状况数据、所述批量作业的历史数据、所述批量作业的指标数据。
12.可选地，所述数据库的类型为时序数据库。
13.根据本发明实施例的另一方面，还提供了一种银行系统批量作业的监控装置，包括：存储单元，用于在采集银行系统的批量作业的日志数据后，将所述日志数据存储至预设数据库；统计单元，用于基于所述日志数据，按照预先设置的多个维度分别统计所述批量作业的运行指标；写入单元，用于若每个维度对应的所述运行指标的指标参数平均值小于预设平均阈值，则将所述批量作业写入到异常统计表中；发送单元，用于将所述异常统计表指示出现异常的批量作业发送至目标运维终端。
14.可选地，所述日志数据包括下述至少之一：开始时间戳、结束时间戳、出错时间戳、作业编号、作业日期、作业状态、地区编号、产品类型。
15.可选地，所述存储单元包括：第一设置模块，用于基于所述日志数据中每个所述批量作业的属性信息，设置所述批量作业的权重值，其中，所述属性信息包括下述至少之一：所属机构、作业类型；第一排序模块，用于对所述批量作业的权重值进行排序，得到排序结果；第一制定模块，用于基于所述排序结果，制定相应的存储策略；第一存储模块，用于通过所述存储策略将每个所述批量作业分别存储至预设数据库。
16.可选地，所述监控装置还包括：第一调整模块，用于在基于所述日志数据，按照预先设置的多个维度分别统计所述批量作业的运行指标之后，若在预设时间段内，所述运行指标的指标参数平均值小于预设平均阈值的出现次数大于等于预设阈值，则调整所述预设平均阈值。
17.可选地，所述监控装置还包括：第一写入模块，用于在采集银行系统的批量作业的日志数据后，若检测当前采集的所述批量作业中的至少一个待执行作业为异常作业，则将所述待执行作业写入至所述异常统计表中。
18.可选地，所述监控装置还包括：第一接收模块，用于在将所述日志数据存储至预设数据库之后，接收作业查询请求；第一展示模块，用于响应所述作业查询请求，展示所述批量作业的信息数据，其中，所述信息数据至少包括：所述批量作业的执行状况数据、所述批量作业的历史数据、所述批量作业的指标数据。
19.可选地，所述数据库的类型为时序数据库。
20.根据本发明实施例的另一方面，还提供了一种电子设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述任意一项所述的银行系统批量作业的监控方法。
21.根据本发明实施例的另一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行上述任意一项所述的银行系统批量作业的监控方法。
22.在本技术，在采集银行系统的批量作业的日志数据后，将日志数据存储至预设数据库，基于日志数据，按照预先设置的多个维度分别统计批量作业的运行指标，若每个维度对应的运行指标的指标参数平均值小于预设平均阈值，则将批量作业写入到异常统计表中，将异常统计表指示出现异常的批量作业发送至目标运维终端。本技术通过采集批量作
业执行日志、存储批量作业执行日志、统计批量作业运行指标、对批量作业异常进行报警等，能够实时监控批量作业执行状况，提高了系统报警准确率和有效性，进而解决了相关技术中无法对批量作业进行实时监控的技术问题。
附图说明
23.此处所说明的附图用来提供对本发明的进一步理解，构成本技术的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
24.图1是根据本发明实施例的一种可选的图像识别方法的流程图；
25.图2是根据本发明实施例的一种可选的基于时序数据库的批量作业监控方法的示意图；
26.图3是根据本发明实施例的一种可选的银行系统批量作业的监控装置的示意图。
具体实施方式
27.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
28.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
29.为便于本领域技术人员理解本发明，下面对本发明各实施例中涉及的部分术语或名词做出解释：
30.时序数据库：是一种针对时序数据高度优化的垂直型数据库，用于解决传统关系型数据库在时序数据存储和分析上的不足和缺陷。
31.连续查询：是在数据库内部自动周期性跑着的一个查询，用于将查询结果放在指定的数据表中，利用连续查询进行查询是一种很好的降低采样率的方式，将连续查询和存储策略结合使用将会大大降低数据库的系统占用量，并且使用连续查询后，数据会存放到指定的数据表中，能够为以后统计不同精度的数据提供方便。
32.本发明下述各实施例可应用于各种批量作业的监控系统、应用，或者需要对批量作业进行监控的场景中，可以从各种银行系统、财务系统等中采集批量作业的相关数据，本发明通过批量作业执行日志采集、批量作业执行日志存储、批量作业运行指标统计、批量作业异常监控报警、批量作业日志数据查询等功能模块，能够根据历史运行指标动态调整相应阈值，不仅提升了批量作业监控的及时性，而且降低了批量作业监控报警相关的运维管理成本。
33.实施例一
34.根据本发明实施例，提供了一种银行系统批量作业的监控方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
35.图1是根据本发明实施例的一种可选的图像识别方法的流程图，如图1所示，该方法包括如下步骤：
36.步骤s102，在采集银行系统的批量作业的日志数据后，将日志数据存储至预设数据库。
37.步骤s104，基于日志数据，按照预先设置的多个维度分别统计批量作业的运行指标。
38.步骤s106，若每个维度对应的运行指标的指标参数平均值小于预设平均阈值，则将批量作业写入到异常统计表中。
39.步骤s108，将异常统计表指示出现异常的批量作业发送至目标运维终端。
40.通过上述步骤，可以在采集银行系统的批量作业的日志数据后，将日志数据存储至预设数据库，基于日志数据，按照预先设置的多个维度分别统计批量作业的运行指标，若每个维度对应的运行指标的指标参数平均值小于预设平均阈值，则将批量作业写入到异常统计表中，将异常统计表指示出现异常的批量作业发送至目标运维终端。本发明实施例，通过采集批量作业执行日志、存储批量作业执行日志、统计批量作业运行指标、对批量作业异常进行报警等，能够实时监控批量作业执行状况，提高了系统报警准确率和有效性，进而解决了相关技术中无法对批量作业进行实时监控的技术问题。
41.下面结合上述各步骤对本发明实施例进行详细说明。
42.本发明实施例中的数据库的类型可以为时序数据库(例如，influxdb)，本发明实施例基于时序数据库实现批量作业监控。
43.步骤s102，在采集银行系统的批量作业的日志数据后，将日志数据存储至预设数据库。
44.在本发明实施例中，银行系统可以包含各种子系统，例如，存款子系统、贷款子系统、债券子系统、外汇子系统等，可以将从各个银行系统的子系统中采集的批量作业的日志数据存储到预设数据库中，其中，预设数据库可以是一种时序数据库(例如，influxdb)。
45.日志数据可以包括但不限于：开始时间戳、结束时间戳、出错时间戳、作业编号、作业日期、作业状态、地区编号、产品类型等，其中，作业编号为同一批量作业中每个作业的编号，作业状态可以分为正常状态或异常状态，异常状态也可以依据具体异常原因进行细分，在此不做具体说明，地区编号为根据该批量作业的来源进行编号，例如，来源债券子系统可以编号a，来源外汇子系统可以编号b等，产品类型可以包括债券、外汇、基金等金融产品类型。
46.可选的，将日志数据存储至预设数据库的步骤，包括：基于日志数据中每个批量作业的属性信息，设置批量作业的权重值，其中，属性信息包括下述至少之一：所属机构、作业类型；对批量作业的权重值进行排序，得到排序结果；基于排序结果，制定相应的存储策略；通过存储策略将每个批量作业分别存储至预设数据库。
47.在本发明实施例中，将采集到的批量作业执行日志存储在时序数据库中，可以根据批量作业重要程度(本技术将重要程度表征为权重参数，即可以根据每个批量作业的属性信息，例如，所属机构(例如，外汇子系统等)，依据每个机构在该银行系统的功能，由相关业务人员判断每个机构的重要性，还可以依据作业类型(例如，外汇、债券等)，由相关业务人员判断作业类型的重要性)，设置相应的批量作业的权重值，依据批量作业的权重值，定制相应的保留策略(即存储策略)，对于重要程度较低的批量作业选择较短的保留周期，以节省存储空间和提升查询效率，例如，以地区编号、产品类型等作为标签(tag)，以快速查询对应批量作业日志数据。
48.可选的，在将日志数据存储至预设数据库之后，监控方法还包括：接收作业查询请求；响应作业查询请求，展示批量作业的信息数据，其中，信息数据至少包括：批量作业的执行状况数据、批量作业的历史数据、批量作业的指标数据。
49.在本发明实施例中，可以支持批量作业日志数据查询，即支持用户实时查看批量作业执行情况，查看批量作业历史明细数据以及指标数据等。
50.步骤s104，基于日志数据，按照预先设置的多个维度分别统计批量作业的运行指标。
51.在本发明实施例中，可以通过连续查询，按照预设周期(例如，每10分钟1次)统计批量作业的运行指标，并以不同维度，例如，以地区编号、产品类型等不同维度汇总批量作业个数，统计批量作业的运行指标。
52.步骤s106，若每个维度对应的运行指标的指标参数平均值小于预设平均阈值，则将批量作业写入到异常统计表中。
53.在本发明实施例中，可以以最近一段时间内的运行指标的平均值的预设百分比(例如，最近10日内运行指标的均值的70％)为预设平均阈值，若每个维度对应的运行指标的指标参数平均值小于该预设平均阈值，则确认该批量作业异常，将该批量作业写入到异常统计表中。
54.可选的，在基于日志数据，按照预先设置的多个维度分别统计批量作业的运行指标之后，监控方法还包括：若在预设时间段内，运行指标的指标参数平均值小于预设平均阈值的出现次数大于等于预设阈值，则调整预设平均阈值。
55.在本发明实施例中，若在一段时间内(即在预设时间段内)，统计得到批量作业的运行指标的指标参数平均值小于预设平均阈值的出现次数大于等于预设阈值(例如，统计到该批量作业的平均运行指标连续5次小于预设阈值)，则确认应该调整该阈值，根据实际情况，调整该阈值，避免出现将正常批量作业判定为异常作业，增加运维成本。
56.可选的，在采集银行系统的批量作业的日志数据后，监控方法还包括：若检测当前采集的批量作业中的至少一个待执行作业为异常作业，则将待执行作业写入至异常统计表中。
57.在本发明实施例中，在采集批量作业的日志数据后，可以将在采集过程中检测出的异常作业写入异常统计表中。
58.步骤s108，将异常统计表指示出现异常的批量作业发送至目标运维终端。
59.在本发明实施例中，报警系统查询批量异常统计表，并以短信、邮件等形式通知相关运维人员。
60.本发明实施例，通过批量作业执行日志采集、批量作业执行日志存储、批量作业运行指标统计、批量作业异常监控报警、批量作业日志数据查询等功能模块，支持根据历史运行指标动态调整相应阈值，提高了系统报警准确率和有效性。
61.实施例二
62.图2是根据本发明实施例的一种可选的基于时序数据库的批量作业监控方法的示意图，如图2所示，本发明实施例基于时序数据库(如influxdb)实现批量作业监控，包括以下组成部分：
63.1)批量作业执行日志采集：批量作业开始时，调用批量服务器中的http api接口上传开始时间戳、作业编号、作业日期、作业状态、地区编号、产品类型等信息；批量作业结束时，调用批量服务器中http api接口上传结束时间戳、作业编号、作业日期、作业状态、地区编号、产品类型等信息；批量作业出错时，调用批量服务器中http api接口上传出错时间戳、作业编号、作业日期、作业状态、地区编号、产品类型等信息。
64.2)批量作业执行日志存储：将采集到的批量作业执行日志存储在时序数据库，根据批量作业重要程度定制相应的保留策略(retention policy)，对于重要程度较低的批量作业选择较短的保留周期，以节省存储空间和提升查询效率，可以地区编号、产品类型作为标签(tag)，以快速查询对应批量作业日志数据。
65.3)批量作业运行指标统计：通过连续查询(continuous query)，按照预设周期，例如，每10分钟1次统计批量运行指标，可以以地区编号、产品类型等不同维度汇总批量作业个数，若该指标低于预设时间段内的预设阈值，例如，低于最近10日运行指标的均值的70％，则将该批量作业写入批量异常统计表。
66.4)批量作业异常监控报警：统一监控平台查询批量异常统计表，并以短信、邮件等形式通知相关运维人员。
67.5)批量作业日志数据查询：支持实时查看批量作业执行情况；支持查看批量作业历史明细数据、指标数据等。
68.本发明实施例，提供了一种基于时序数据库的批量作业监控，通过批量作业执行日志采集、批量作业执行日志存储、批量作业运行指标统计、批量作业异常监控报警、批量作业日志数据查询等功能模块，支持根据历史运行指标动态调整相应阈值，能够快速实时监控批量作业，提升了批量作业监控的及时性，降低了批量作业监控报警相关的运维管理成本。
69.实施例三
70.本实施例中提供的一种银行系统批量作业的监控装置包含了多个实施单元，每个实施单元对应于上述实施例一中的各个实施步骤。
71.图3是根据本发明实施例的一种可选的银行系统批量作业的监控装置的示意图，如图3所示，该监控装置可以包括：存储单元30，统计单元32，写入单元34，发送单元36，其中，
72.存储单元30，用于在采集银行系统的批量作业的日志数据后，将日志数据存储至预设数据库；
73.统计单元32，用于基于日志数据，按照预先设置的多个维度分别统计批量作业的运行指标；
74.写入单元34，用于若每个维度对应的运行指标的指标参数平均值小于预设平均阈值，则将批量作业写入到异常统计表中；
75.发送单元36，用于将异常统计表指示出现异常的批量作业发送至目标运维终端。
76.上述监控装置，可以通过存储单元30在采集银行系统的批量作业的日志数据后，将日志数据存储至预设数据库，通过统计单元32基于日志数据，按照预先设置的多个维度分别统计批量作业的运行指标，通过写入单元34若每个维度对应的运行指标的指标参数平均值小于预设平均阈值，则将批量作业写入到异常统计表中，通过发送单元36将异常统计表指示出现异常的批量作业发送至目标运维终端。本发明实施例，通过采集批量作业执行日志、存储批量作业执行日志、统计批量作业运行指标、对批量作业异常进行报警等，能够实时监控批量作业执行状况，提高了系统报警准确率和有效性，进而解决了相关技术中无法对批量作业进行实时监控的技术问题。
77.可选的，日志数据包括下述至少之一：开始时间戳、结束时间戳、出错时间戳、作业编号、作业日期、作业状态、地区编号、产品类型。
78.可选的，存储单元包括：第一设置模块，用于基于日志数据中每个批量作业的属性信息，设置批量作业的权重值，其中，属性信息包括下述至少之一：所属机构、作业类型；第一排序模块，用于对批量作业的权重值进行排序，得到排序结果；第一制定模块，用于基于排序结果，制定相应的存储策略；第一存储模块，用于通过存储策略将每个批量作业分别存储至预设数据库。
79.可选的，监控装置还包括：第一调整模块，用于在基于日志数据，按照预先设置的多个维度分别统计批量作业的运行指标之后，若在预设时间段内，运行指标的指标参数平均值小于预设平均阈值的出现次数大于等于预设阈值，则调整预设平均阈值。
80.可选的，监控装置还包括：第一写入模块，用于在采集银行系统的批量作业的日志数据后，若检测当前采集的批量作业中的至少一个待执行作业为异常作业，则将待执行作业写入至异常统计表中。
81.可选的，监控装置还包括：第一接收模块，用于在将日志数据存储至预设数据库之后，接收作业查询请求；第一展示模块，用于响应作业查询请求，展示批量作业的信息数据，其中，信息数据至少包括：批量作业的执行状况数据、批量作业的历史数据、批量作业的指标数据。
82.可选的，数据库的类型为时序数据库。
83.上述的监控装置还可以包括处理器和存储器，上述存储单元30，统计单元32，写入单元34，发送单元36等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
84.上述处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数将异常统计表指示出现异常的批量作业发送至目标运维终端。
85.上述存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flash ram)，存储器包括至少一个存储芯片。
86.本技术还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初
始化有如下方法步骤的程序：在采集银行系统的批量作业的日志数据后，将日志数据存储至预设数据库，基于日志数据，按照预先设置的多个维度分别统计批量作业的运行指标，若每个维度对应的运行指标的指标参数平均值小于预设平均阈值，则将批量作业写入到异常统计表中，将异常统计表指示出现异常的批量作业发送至目标运维终端。
87.根据本发明实施例的另一方面，还提供了一种电子设备，包括：处理器；以及存储器，用于存储处理器的可执行指令；其中，处理器配置为经由执行可执行指令来执行上述任意一项的银行系统批量作业的监控方法。
88.根据本发明实施例的另一方面，还提供了一种计算机可读存储介质，计算机可读存储介质包括存储的计算机程序，其中，在计算机程序运行时控制计算机可读存储介质所在设备执行上述任意一项的银行系统批量作业的监控方法。
89.上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
90.在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
91.在本技术所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
92.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
93.另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
94.所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
95.以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。