本发明涉及数据处理，特别是涉及一种数据处理方法及装置、电子设备、存储介质。
背景技术：
1、近年来，随着大数据技术的不断迭代发展，依赖大数据进行业务分析、发展预测、辅助决策已成为各行各业新的发展机遇与业务增长点，然而部分工业生产行业、服务行业与相关管理部门，受自身业务重心、运营成本与大数据专业知识的限制，无法独立完成相关数据集成系统搭建，而现有的多源异构数据集成系统或方法往往不够通用化、经济化。
技术实现思路
1、鉴于上述问题，提出了以便提供克服上述问题或者至少部分地解决上述问题的一种数据处理方法及装置、电子设备、存储介质，包括：
2、一种数据处理方法，涉及用于进行数据变更捕获的数据变更捕获引擎、用于进行数据转换的数据转换引擎以及用于进行数据集成加载的数据集成加载引擎，其中：
3、通过所述数据变更捕获引擎采用预设的捕获策略从多个数据源中捕获发生变更的第一数据，并将所述第一数据存入第一数据队列池；
4、通过所述数据转换引擎采用预设的数据转换策略对所述第一数据队列池中的第一数据进行数据转换，得到第二数据，并将所述第二数据存入第二数据队列池；
5、通过所述数据集成加载引擎将所述第二数据队列池中的第二数据集成并加载至目标数据源。
6、可选地，所述将所述第一数据存入第一数据队列池，包括：
7、确定所述第一数据的目标数据源；
8、确定用于存储所述目标数据源的变更数据的第一数据队列池；
9、将所述第一数据存入所述第一数据队列池。
10、可选地，所述通过所述数据集成加载引擎将所述第二数据队列池中的第二数据集成并加载至目标数据源，包括：
11、确定所述第二数据队列池中每个第二数据的任务优先级信息；
12、按照所述任务优先级依次将每个第二数据集成并加载至目标数据源。
13、可选地，所述通过所述数据集成加载引擎将所述第二数据队列池中的第二数据集成并加载至目标数据源，包括：
14、通过所述数据集成加载引擎中的令牌将所述第二数据队列池中的第二数据集成并加载至目标数据源。
15、可选地，还包括：
16、确定所述数据集成加载引擎的令牌数量；
17、在所述令牌数量大于所述第二数据队列池中未处理的第二数据数量时，确定所述第二数据队列池的排队时长数据；
18、基于所述排队时长数据更新所述令牌数量。
19、可选地，所述基于所述排队时长数据更新所述令牌数量，包括：
20、基于所述排队时长数据确定所述令牌数量的第一权重数据；
21、获取针对所述令牌数量配置的第二权重数据；
22、依照所述第一权重数据和所述第二权重数据更新所述令牌数量。
23、可选地，在通过所述数据变更捕获引擎采用预设的捕获策略从多个数据源中捕获发生变更的第一数据之前，包括：
24、对所述数据变更捕获引擎进行第一流程配置，所述第一流程配置包括数据源以及捕获策略的配置。
25、可选地，在通过所述数据转换引擎采用预设的数据转换策略对所述第一数据队列池中的第一数据进行数据转换之前，还包括：
26、对所述数据转换引擎进行第二流程配置，所述第二流程配置包括数据转换策略的配置。
27、可选地，还包括：
28、通过所述数据变更捕获引擎生成第一通知消息和第二通知消息，并将所述第一通知消息和第二通知消息发送至消息端的消息队列；
29、通过所述消息端将所述消息队列中的第一通知消息发送至所述数据转换引擎，以通知所述数据转换引擎对所述第一数据队列池中的第一数据进行数据转换处理；
30、通过所述消息端将所述消息队列中的第二通知消息发送至所述数据集成加载引擎，以通知所述数据集成加载引擎对所述第二数据队列池中的第二数据进行集成以加载处理。
31、一种数据处理装置，涉及用于进行数据变更捕获的数据变更捕获引擎、用于进行数据转换的数据转换引擎以及用于进行数据集成加载的数据集成加载引擎，所述装置包括：
32、数据捕获模块，用于通过所述数据变更捕获引擎采用预设的捕获策略从多个数据源中捕获发生变更的第一数据，并将所述第一数据存入第一数据队列池；
33、数据转换模块，用于通过所述数据转换引擎采用预设的数据转换策略对所述第一数据队列池中的第一数据进行数据转换，得到第二数据，并将所述第二数据存入第二数据队列池；
34、集成与加载模块，用于通过所述数据集成加载引擎将所述第二数据队列池中的第二数据集成并加载至目标数据源。
35、一种电子设备，包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上所述数据处理方法。
36、一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如上所述数据处理方法。
37、本发明实施例具有以下优点：
38、本发明实施例通过数据变更捕获引擎采用预设的捕获策略从多个数据源中捕获发生变更的第一数据，并将第一数据存入第一数据队列池；通过数据转换引擎采用预设的数据转换策略对第一数据队列池中的第一数据进行数据转换，得到第二数据，并将第二数据存入第二数据队列池；通过数据集成加载引擎将第二数据队列池中的第二数据集成并加载至目标数据源，实现了对多元异构数据进行捕获、数据转换、集成与加载处理，其数据处理流程通用化，同时通过过程引擎化，将数据集成的每一步清晰划分，为方法的横向扩展提供了空间。
1.一种数据处理方法，其特征在于，涉及用于进行数据变更捕获的数据变更捕获引擎、用于进行数据转换的数据转换引擎以及用于进行数据集成加载的数据集成加载引擎，其中：
2.根据权利要求1所述的方法，其特征在于，所述将所述第一数据存入第一数据队列池，包括：
3.根据权利要求1所述的方法，其特征在于，所述通过所述数据集成加载引擎将所述第二数据队列池中的第二数据集成并加载至目标数据源，包括：
4.根据权利要求1所述的方法，其特征在于，所述通过所述数据集成加载引擎将所述第二数据队列池中的第二数据集成并加载至目标数据源，包括：
5.根据权利要求4所述的方法，其特征在于，还包括：
6.根据权利要求5所述的方法，其特征在于，所述基于所述排队时长数据更新所述令牌数量，包括：
7.根据权利要求1至6中任一项所述的方法，其特征在于，在通过所述数据变更捕获引擎采用预设的捕获策略从多个数据源中捕获发生变更的第一数据之前，包括：
8.根据权利要求1至6中任一项所述的方法，其特征在于，在通过所述数据转换引擎采用预设的数据转换策略对所述第一数据队列池中的第一数据进行数据转换之前，还包括：
9.根据权利要求1至6中任一项所述的方法，其特征在于，还包括：
10.一种数据处理装置，其特征在于，涉及用于进行数据变更捕获的数据变更捕获引擎、用于进行数据转换的数据转换引擎以及用于进行数据集成加载的数据集成加载引擎，所述装置包括：
11.一种电子设备，其特征在于，包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至9中任一项所述数据处理方法。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如权利要求1至9中任一项所述数据处理方法。
