本发明涉及数据处理,尤其涉及一种数据同步方法及装置。
背景技术:
1、目前,数据维护一般是在生产环境对应的数据系统中直接对数据进行操作的,这使得变更的数据未经验证就直接作用于该数据系统。比如,当前的物流配运系统中,配置的基础物流数据直接投入配运系统使用。
2、在实现本发明过程中,发明人发现相关技术中至少存在如下问题:
3、直接修改生产环境中的数据可能导致:变更的数据无法与实际应用适配而影响业务的正常运行,并且可能由于业务反馈的滞后性无法及时更正已变更的数据。比如物流基础数据的变更将直接影响到物流的时效,并且物流服务结果反馈的滞后性使得发现数据变更的不良影响时已造成了难以挽回的后果(如配送延误甚至路线错误等)。由此可以看出,目前的数据处理方式处理的数据准确性和有效性较低。
技术实现思路
1、有鉴于此,本发明实施例提供一种数据同步方法及装置,其通过在生产环境之外搭建实验环境,从实验环境获取数据变更消息,根据数据变更消息指示的发生变更的数据的主键以及更新后的变更标识,确定变更数据,并验证所述变更数据是否满足数据同步条件;在变更数据满足数据同步条件的情况下,从实验环境获取所述变更数据对应的源数据,将所述源数据进行组装并保存到快照表中生成快照数据;最后将所述源数据同步至生产环境对应的数据系统,使得数据维护过程中,修改后的系统配置数据被验证后再应用于数据系统,降低了数据配置的错误率,避免了数据维护给数据系统带来不可挽回的损失的情况,从而保证了数据系统的数据的准确性和有效性,进而保证了数据系统的服务质量。另外,通过引入的三个状态标识使得用户可以准确地确定变更数据的当前状态,从而可以灵活地控制变更数据的同步过程。
2、为实现上述目的,根据本发明实施例的一个方面,提供了一种数据同步方法,包括:获取实验环境的数据变更消息,所述数据变更消息指示了所述实验环境中数据发生变更、以及变更数据的主键;根据所述变更数据的主键,对所述变更数据的变更标识进行更新;在所述变更数据满足数据同步条件的情况下,生成所述变更数据对应的快照数据,并根据所述变更标识,更新所述快照数据中的验证标识;在根据所述验证标识确定所述变更数据通过验证的情况下,将所述变更数据同步至生产环境对应的数据系统。
3、可选地,本发明提供的方法,还包括:在将所述变更数据同步至生产环境对应的数据系统之后,更新所述变更数据的同步标识。
4、可选地,所述数据变更消息还指示了变更数据的变更时间,根据所述变更时间,对所述变更标识、所述验证标识和/或所述同步标识进行更新。
5、可选地,本发明提供的方法,还包括:根据更新后的所述变更标识、以及所述变更数据的主键对应的当前同步标识,确定所述变更数据;和/或根据更新后的所述变更标识、以及所述变更数据的主键对应的当前的验证标识,从所述实验环境中确定变更数据对应的源数据;将所述源数据进行组装,得到所述快照数据。
6、可选地,所述将所述变更数据同步至生产环境对应的数据系统,包括:根据所述变更数据的主键,确定所述生产环境对应的数据系统中待同步的数据;根据所述快照数据,对所述待同步的数据进行同步。
7、可选地,本发明提供的方法,还包括:展示所述变更数据对应的处理状态;其中,在所述变更标识被更新且所述验证标识未被更新的情况下,确定所述变更数据处于已变更未验证状态;在所述变更标识和所述验证标识均被更新且所述同步标识未被更新的情况下,确定所述变更数据处于已验证未同步状态;在所述变更标识、所述验证标识和所述同步标识均被更新的情况下,确定所述变更数据处于已同步状态。
8、可选地,所述获取数据变更消息,包括:通过日志监听方式获取所述数据变更消息。
9、为实现上述目的,根据本发明实施例的又一方面,提供了一种数据同步装置。
10、本发明实施例的一种数据同步装置包括:监听模块,用于获取实验环境的数据变更消息,所述数据变更消息指示了所述实验环境中数据发生变更、以及变更数据的主键;状态更新模块,用于根据所述变更数据的主键,对所述变更数据的变更标识进行更新,以及根据所述变更标识,更新所述快照数据中的验证标识;快照数据生成模块,用于在所述变更数据满足数据同步条件的情况下,生成所述变更数据对应的快照数据;数据同步模块,用于在根据所述验证标识确定所述变更数据通过验证的情况下,将所述变更数据同步至生产环境对应的数据系统。
11、为实现上述目的,根据本发明实施例的又一方面,提供了一种服务器。
12、本发明实施例的一种服务器,包括:一个或多个处理器;存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现本发明实施例的一种数据同步方法。
13、为实现上述目的,根据本发明实施例的再一方面,提供了一种计算机可读存储介质。
14、本发明实施例的一种计算机可读存储介质,其上存储有计算机程序,所述程序被处理器执行时实现本发明实施例的一种数据同步方法。
15、上述发明中的一个实施例具有如下优点或有益效果:通过在生产环境之外搭建实验环境,从实验环境获取数据变更消息,根据数据变更消息指示的发生变更的数据的主键以及更新后的变更标识,确定变更数据,并验证所述变更数据是否满足数据同步条件;在变更数据满足数据同步条件的情况下,从实验环境获取所述变更数据对应的源数据,将所述源数据进行组装并保存到快照表中生成快照数据;最后将所述源数据同步至生产环境对应的数据系统,使得数据维护过程中,修改后的系统配置数据被验证后再应用于数据系统,降低了数据配置的错误率,避免了数据维护给数据系统带来不可挽回的损失的情况,从而保证了数据系统的数据的准确性和有效性,进而保证了数据系统的服务质量。另外,通过引入的三个状态标识使得用户可以准确地确定变更数据的当前状态,从而可以灵活地控制变更数据的同步过程。
16、上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
1.一种数据同步方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,在将所述变更数据同步至生产环境对应的数据系统之后,所述方法还包括:
3.根据权利要求2所述的方法,其特征在于,所述数据变更消息还指示了变更数据的变更时间,
4.根据权利要求2所述的方法,其特征在于,所述方法还包括以下至少一项:
5.根据权利要求4所述的方法,其特征在于,所述将所述变更数据同步至生产环境对应的数据系统,包括:
6.根据权利要求2所述的方法,其特征在于,所述方法还包括:
7.根据权利要求1所述的方法,其特征在于,所述获取数据变更消息,包括:
8.一种数据同步装置,其特征在于,包括:
9.一种服务器,其特征在于,包括:
10.一种计算机可读介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1-7中任一所述的方法。
