本技术涉及一种数据资产管理方法、装置、设备及介质。
背景技术:
1、在数字化时代,数据已成为企业的核心资产之一。有效的数据资产管理对于保护企业的知识产权、确保数据安全以及提升运营效率具有至关重要的意义。现有方法在数据资产管理过程中,采用了分散式管理的方法,分别从采集管理、存储管理、质量管理、共享交换管理和数据服务管理等角度,通过不同的模块对组织内部的数据资产的采集、流转和处置行为进行管控,每个模块分别负责相应环节的执行和实施工作。
技术实现思路
1、为了更好的实现数据资产的管理,本技术实施例提供了一种数据资产管理方法、装置、设备及介质。
2、第一方面,本技术实施例提供一种数据资产管理方法,该方法包括:
3、持续采集第三方组件的组件数据;所述组件数据包括数据质量组件数据、数据安全组件数据和数据应用组件数据;
4、对每一所述组件数据,按照所述组件数据的类别,将所述组件数据分发至对应的内存队列中;所述内存队列包括数据质量内存队列、数据安全内存队列和数据应用内存队列;
5、基于每一所述组件数据中预设资产id,从预设数据资产目录中获取每一所述组件数据对应的数据资产;其中,通过下述方式获取数据资产并在所述预设数据资产目录分类存储:
6、实时同步数据源的元数据,基于nlp算法,识别所述元数据的语义信息,获取数据资产的名称、信息项和摘要;
7、将所述数据资产的名称、信息项和摘要向量化,得到数据资产向量;
8、基于预设分类算法,对所述数据资产向量进行分类和标注,并存储在预设数据资产目录中对应的数据资产类别;
9、本技术实施例的一种可选的实施方式中,所述对于各所述内存队列中每一所述组件数据,基于所述组件数据和对应的数据资产,分析得到所述数据资产的相关数据指标结果,并展示所述相关数据指标结果,包括:
10、对于所述数据质量内存队列中每一数据质量组件数据,基于所述数据质量组件数据和对应的数据资产,分析得到所述数据资产的质量评分、质量问题和变化趋势,并展示所述数据资产的质量评分、质量问题和变化趋势;
11、对于所述数据安全内存队列中每一数据安全组件数据,基于所述数据安全组件数据和对应的数据资产,分析得到所述数据资产的安全分类、敏感级别和安全策略,并展示所述数据资产的安全分类、敏感级别和安全策略;
12、对于所述数据应用内存队列中每一数据应用组件数据,对所述数据应用组件数据基于对应的所述预设资产id进行聚合统计,得到每个数据资产在各个时间段的数据处理信息并进行分析,将得到的分析结果进行展示。
13、本技术实施例的一种可选的实施方式中,在对于所述数据质量内存队列中每一数据质量组件数据,基于所述数据质量组件数据和对应的数据资产,分析得到所述数据资产的质量评分、质量问题和变化趋势之后,还包括:
14、根据所述数据资产的质量问题,基于预设决策树,确定所述数据资产的质量问题的影响因素;
15、根据所述数据资产的质量问题的影响因素,基于归因分析方法,确定所述数据资产的质量问题的根本原因。
16、本技术实施例的一种可选的实施方式中,在对于所述数据安全内存队列中每一数据安全组件数据,基于所述数据安全组件数据和对应的数据资产,分析得到所述数据资产的安全分类、敏感级别和安全策略之后,还包括:
17、对每一数据资产,将数据资产名称字段和数据字段向量化,得到数据资产名称字段向量和数据字段向量;
18、根据训练好的分类器,判断所述数据资产名称字段向量和数据字段向量是否为敏感信息;
19、若是,则根据预设安全管理策略对所述数据资产的敏感信息进行相应标注,并以站内信方式通知管理员。
20、本技术实施例的一种可选的实施方式中,所述对于所述数据应用内存队列中每一数据应用组件数据,对所述数据应用组件数据基于对应的所述预设资产id进行聚合统计,得到每个数据资产在各个时间段的数据处理信息并进行分析,将得到的分析结果进行展示,包括:
21、对于所述数据应用内存队列中每一数据应用组件数据,对所述数据应用组件数据基于对应的所述预设资产id进行聚合统计,得到每个数据资产在各个时间段的数据申请信息和数据使用信息;
22、根据数据申请信息,对每个所述数据资产的供给情况和需求情况进行分析,得到申请信息分析结果;
23、根据数据使用信息,对每个所述数据资产在使用过程中的利用率和应用成效进行分析,得到使用信息分析结果;
24、对所述申请信息分析结果和所述使用信息分析结果进行展示。
25、本技术实施例的一种可选的实施方式中,所述持续采集第三方组件的组件数据,包括:
26、通过定时调用第三方组件提供的标准化接口,采集第三方组件的组件数据;
27、或,
28、基于第三方组件元数据库的访问方式和元数据字典,通过采集元数据库日志实时采集第三方组件的组件数据。
29、本技术实施例的一种可选的实施方式中,还包括通过下述方式获取数据资产并在所述预设数据资产目录分类存储:
30、获取按照预设格式录入的数据资产,并在所述预设数据资产目录分类存储。
31、第二方面,本技术实施例提供一种数据资产管理装置,该装置包括:
32、采集模块,用于持续采集第三方组件的组件数据;所述组件数据包括数据质量组件数据、数据安全组件数据和数据应用组件数据;
33、分发模块,用于对每一所述组件数据,按照所述组件数据的类别,将所述组件数据分发至对应的内存队列中;所述内存队列包括数据质量内存队列、数据安全内存队列和数据应用内存队列;
34、获取模块,用于基于每一所述组件数据中预设资产id,从预设数据资产目录中获取每一所述组件数据对应的数据资产;其中,通过下述方式获取数据资产并在所述预设数据资产目录分类存储:实时同步数据源的元数据,基于nlp算法,识别所述元数据的语义信息,获取数据资产的名称、信息项和摘要;将所述数据资产的名称、信息项和摘要向量化,得到数据资产向量;基于预设分类算法,对所述数据资产向量进行分类和标注,并存储在预设数据资产目录中对应的数据资产类别;
35、分析展示模块,用于对于各所述内存队列中每一所述组件数据,基于所述组件数据和对应的数据资产,分析得到所述数据资产的相关数据指标结果,并展示所述相关数据指标结果。
36、第三方面,本技术实施例提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上述的数据资产管理方法。
37、第四方面,本技术实施例提供一种计算机设备,包括存储器,处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述的数据资产管理方法。
38、第五方面,本技术实施例提供一种包含指令的计算机程序产品,当计算机程序产品在计算机设备上运行时,使得计算机设备执行如上述的数据资产管理方法。
39、第六方面,本技术实施例提供一种芯片,芯片包括处理器和通信接口,通信接口和处理器耦合,处理器用于运行计算机程序或指令,以实现如上述的数据资产管理方法。
40、本技术实施例提供的上述技术方案的有益效果至少包括:
41、本技术实施例提供的数据资产管理方法,通过实时同步数据源的元数据,基于nlp算法,识别元数据的语义信息,从而实现数据资产识别的自动化,大大降低数据资产识别过程中的人工成本,为数据资产的智能检索提供有力的支撑;通过展示数据资产的相关数据指标结果,让数据资产管理人员快速洞悉数据质量、安全和应用过程中的瓶颈和问题,从而快速做出相应的对策,提升数据应用能力和成效;通过将各个组件的相关数据指标进行汇总直观展示,简化了数据资产管理的业务流程,减少了数据资产管理人员在不同系统间切换的工作量。
42、本技术的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本技术而了解。本技术的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
43、下面通过附图和实施例,对本技术的技术方案做进一步的详细描述。
1.一种数据资产管理方法,其特征在于,包括:
2.如权利要求1所述的方法,其特征在于,所述对于各所述内存队列中每一所述组件数据,基于所述组件数据和对应的数据资产,分析得到所述数据资产的相关数据指标结果,并展示所述相关数据指标结果,包括:
3.如权利要求2所述的方法,其特征在于,在对于所述数据质量内存队列中每一数据质量组件数据,基于所述数据质量组件数据和对应的数据资产,分析得到所述数据资产的质量评分、质量问题和变化趋势之后,还包括:
4.如权利要求2所述的方法,其特征在于,在对于所述数据安全内存队列中每一数据安全组件数据,基于所述数据安全组件数据和对应的数据资产,分析得到所述数据资产的安全分类、敏感级别和安全策略之后,还包括:
5.如权利要求2所述的方法,其特征在于,所述对于所述数据应用内存队列中每一数据应用组件数据,对所述数据应用组件数据基于对应的所述预设资产id进行聚合统计,得到每个数据资产在各个时间段的数据处理信息并进行分析,将得到的分析结果进行展示,包括:
6.如权利要求1所述的方法,其特征在于,所述持续采集第三方组件的组件数据,包括:
7.如权利要求1所述的方法,其特征在于,还包括通过下述方式获取数据资产并在所述预设数据资产目录分类存储:
8.一种数据资产管理装置,其特征在于,包括:
9.一种计算机可读存储介质,计算机可读存储介质中存储有计算机程序,该程序被处理器执行时,使得处理器执行如权利要求1-7任一项所述的数据资产管理方法。
10.一种计算机设备,其特征在于,包括存储器,处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如权利要求1-7任一项所述的数据资产管理方法。