本发明涉及数据管理领域,具体是一种基于大数据的数据元素可视化管理系统。
背景技术:
1、随着科学技术的不断进步,人们生活和工作中无处不存在数据管理,且数据管理在现代生活和工作中扮演着越来越重要的角色,随着技术的发展和数据量的迅速增长,数据管理面临着越来越多的挑战,为了更好的理解和利用数据,数据可视化管理和数据分析变得至关重要;
2、公开号为cn105677875b的一种基于标准数据元素统一约束的可视化建模平台公开了一种基于标准数据元素统一约束的可视化建模平台,该平台包括供建模平台传输数据的数据交换层,经过统一约束和应用标准数据元素的模型层,用于执行模型构建、模型维护、模型存储、模型加载和模型实例化的运算控制层,用于将数据元素中的模型元素可视化展示的视图层,该平台可以生成基于目标数据库管理系统的数据模型、可以为应用程序创建应用模型、可以统一管理大型系统的各种数据源,该平台是可以支持多种硬件环境,兼容多种操作系统,支持多种目标数据库管理系统的数据库设计工具。
3、公开号为cn108763472a的三维数据可视化的装置及方法公开了一种三维数据可视化的装置及方法,其中,装置包括:视图选择模块,用于根据用户选择的三维坐标系编号得到三维坐标系对象;图层管理模块,用于根据三维坐标对象和原始数据得到可视化对象;以及可视化模块,用于根据可视化对象得到可视化元素,以生成三维数据可视化图形。该装置能够实现从数据输入到图形应用完整的服务流程,使用户无需代码操作地构建出效果理想的三维数据视图,具有提高构建三维数据视图的效率,改善用户体验的优点。
4、然而,在对数据元素管理的过程中,不同类型之间的数据元素可视化处理的过程中存在着协同障碍,且对完成可视化处理的数据元素进行二次储存,在一定程度上造成了资源浪费;因此,如何避免不同类型数据元素之间的协同障碍,并降低资源浪费是我们需要解决的问题,为此,现提供一种基于大数据的数据元素可视化管理系统。
技术实现思路
1、为了解决上述技术问题,本发明的目的在于提供一种基于大数据的数据元素可视化管理系统。
2、本发明的目的可以通过以下技术方案实现:一种基于大数据的数据元素可视化管理系统,包括数据管理中心,所述数据管理中心通信连接有数据采集模块、数据储存模块、数据处理模块、元素分析模块、可视化管理模块以及业务辅助模块;
3、所述数据采集模块用于采集对应企业账户内对应的企业数据信息,根据所采集到的企业数据信息进行特征提取,获取数据元素,并对其进行分类处理,获取分类结果,构建对应的分类体系结构;
4、所述数据储存模块中根据企业账户设置对应的数据储存池,将对应企业账户对应的数据元素储存在数据储存池中;
5、所述数据处理模块用于对所储存的数据元素进行可视化处理,根据可视化处理结果构建对应的数据可视化模型;
6、所述元素分析模块用于根据分类体系结构设置对应的元素处理节点,将所获得的数据可视化模型分别与对应的元素处理节点相互关联,对数据储存池中数据元素进行可视化处理,并获取各个元素处理节点之间的相关性数据,设置协同处理节点;
7、所述可视化管理模块用于根据元素处理节点和协同处理节点设置数据可视化处理网络,企业根据所获得的可视化处理网络对数据元素进行交互管理,生成对应的可视化数据包,并将其发送至业务辅助模块;
8、所述业务辅助模块用于企业账户内工作人员根据所获得的可视化数据进行分析处理,进行业务辅助决策。
9、进一步的,所述数据采集模块采集企业账户内对应的企业数据信息,获取对应数据元素并对其进行分类处理的过程包括:
10、所述数据采集模块中设置有数据采集单元和数据预处理单元;
11、所述数据采集单元内设置有外接输入窗口和api接入窗口,所述外接输入窗口用于对应企业账户内相关的工作人员提交企业数据信息和其对应的时间信息;所述api接入窗口内设置有与企业账户相关的数据源集合和api请求,通过所述api请求获取数据源集合中与该企业账户相关的企业数据信息并标记其对应的时间信息;
12、所述数据预处理单元根据对应企业账户的业务需求和数据特征构建分类体系结构,并对分类体系结构设置其对应的分类标准数据,所述分类标准数据内包括对应类型企业数据信息的含义和数据范围;对所获得的企业数据信息进行特征提取,将所提取的特征数据记为数据元素;将所获得的数据元素分别与分类体系结构中的分类标准数据进行匹配,根据匹配结果获取其分类结果,并将其发送至数据储存模块。
13、进一步的,所述数据储存模块对数据元素进行储存的过程包括:
14、所述数据储存模块根据企业账户设置对应的数据储存池,所述数据储存池用于对所获得的数据元素进行储存,分别获取对应数据元素的时间信息和其分类结果,并根据所述时间信息和分类结果分别对其设置时间索引信息和分类索引信息;所述时间索引信息用于根据时间信息对数据储存池内对应的数据元素进行关联,对数据元素进行快速定位,所述分类索引信息用于根据分类结果对数据储存池内对应的数据信息进行关联,对数据元素进行快速定。
15、进一步的,所述数据处理模块构建数据可视化模型的过程包括:
16、所述数据处理模块中预设有多种数据可视化处理方式,根据数据可视化处理方式的类型获取数据储存池中的数据元素,根据数据可视化处理方式对数据元素进行可视化处理,获取对应的可视化图像;获取不同数据可视化处理方式对应的数据元素和可视化图像,设置对应的可视化数据集;
17、基于卷积神经网络构建不同数据可视化处理方式对应的数据可视化模型,将可视化数据集划分为训练集和验证集,将所述训练集输入至所述数据可视化模型中进行分析训练,直至该数据可视化模型中对应的损失函数训练平稳,并保存对应的模型网络参数,将所述验证集输入完成训练的数据可视化模型进行验证,直至符合预设需求,输出数据可视化模型,并将所获得的数据可视化模型发送至元素分析模块。
18、进一步的,所述元素分析模块设置元素处理节点的过程包括:
19、所述元素分析模块中设置有数据分析单元;
20、所述数据分析单元用于根据分类体系结构设置对应的元素处理节点,所述元素处理节点与多种数据可视化处理方式对应的数据可视化模型相互关联;根据分类索引信息和时间索引信息获取数据储存池中所储存的数据元素,将其输入至元素处理节点,获取对应的可视化图像,并对其进行标记,将可视化图像中所包含的数据元素设置链接索引信息,所述链接索引信息用于根据可视化图像标记获取数据储存池中对应的数据元素;预设临时储存周期,将所获得的可视化图像临时储存在元素处理节点内,当临时储存周期结束后,将所获取的数据元素发送至数据储存池中进行储存。
21、进一步的,所述元素分析模块设置协同处理节点的过程包括:
22、所述元素分析模块中设置有相关性分析单元;
23、所述相关性分析单元用于获取临时储存周期内该企业账户中所设置的各个元素处理节点所获得的可视化图像;将各个元素处理节点进行标记,将所获得的标记结果设置嵌套循环算法进行遍历,生成对应的排列组合,根据所生成的排列组合依次获取对应标记元素处理节点内所对应的可视化图像,基于大数据算法分别获取各个排列组合内对应数据元素的相关性数据;
24、预设相关性阈值,将各个排列组合相互对应相关性数据与相关性阈值进行对比分析,当相关性数据大于等于相关性阈值时,则表明排列组合内相关元素处理节点所包含的数据元素存在相关性,生成协同处理节点;所述协同处理节点用于对该排列组合内所对应分类结果的数据元素进行统一处理,获取对应的可视化图像。
25、进一步的,所述可视化管理模块设置数据可视化处理网络,并生成对应的可视化数据包的过程包括:
26、所述可视化管理模块中设置网络管理单元和交互管理单元;
27、所述网络管理单元用于根据元素处理节点和协同处理节点构建可视化处理网络;预设网络管理周期,所述网络管理周期与元素分析模块中的临时储存周期一致,根据临时储存周期内的协同处理节点对各个网络管理周期内的可视化处理网络进行更新和储存;
28、所述交互管理单元用于对应企业账户内工作人员根据可视化处理网络中对应的处理节点对相应的数据元素进行可视化处理,获取对应数据元素的可视化图像以及不同数据元素之间的可视化图像;对所获得的可视化图像进行特征提取,获取对应可视化图像内所表达的元素特征数据,并将其与对应可视化图像打包为可视化数据包;
29、所述交互管理单元获取该企业账户中不同网络管理周期内对应的可视化处理网络,将相邻网络管理周期内的可视化处理网络进行对比分析,获取其差异信息,并将其发送至业务辅助模块。
30、进一步的,所述业务辅助模块获取可视化管理模块发送的可视化数据包和差异信息,由企业内相关的工作人员根据所获得的可视化数据包和差异信息进行分析处理,根据其分析结果对业务决策的方向和方案指定进行辅助决策。
31、与现有技术相比,本发明的有益效果是:
32、1、通过设置分类索引信息、时间索引信息和链接索引信息对数据储存池中所储存的数据信息进行快速检索,从而获取对应的数据元素,在一定程度上提高了处理节点对数据元素进行可视化处理中的效率,且通过链接索引信息将可视化图像中的数据元素进行标记,设置临时储存周期对其进行储存,临时储存周期结束后,将其发送至数据储存池中;当需要用到对应的可视化图像时,通过链接索引信息快速获取对应的数据元素,也在一定程度上避免了数据重复储存,从而降低了该系统中的资源浪费;
33、2、通过对应的处理节点,提高了数据元素可视化处理的效率,此外,通过排列组合获取不同类型数据元素之间的相关性数据,并根据其相关性数据设置协同处理节点,不仅在一定程度上避免了该系统数据元素处理过程中协同障碍,还在一定程度上提高了不同数据元素之间关系处理的效率;
34、3、根据元素处理节点和协同处理节点构建可视化处理网络;根据可视化处理网络在不同周期内的差异信息,对企业账户对不同数据元素处理和业务辅助决策中带来了新的决策思路,且通过可视化处理网络对企业账户内对应的工作人员完成交互管理的过程中带来了便捷。
1.一种基于大数据的数据元素可视化管理系统,包括数据管理中心,其特征在于,所述数据管理中心通信连接有数据采集模块、数据储存模块、数据处理模块、元素分析模块、可视化管理模块以及业务辅助模块;
2.根据权利要求1所述的一种基于大数据的数据元素可视化管理系统,其特征在于,所述数据采集模块采集企业账户内对应的企业数据信息,获取对应数据元素并对其进行分类处理的过程包括:
3.根据权利要求2所述的一种基于大数据的数据元素可视化管理系统,其特征在于,所述数据储存模块对数据元素进行储存的过程包括:
4.根据权利要求3所述的一种基于大数据的数据元素可视化管理系统,其特征在于,所述数据处理模块构建数据可视化模型的过程包括:
5.根据权利要求4所述的一种基于大数据的数据元素可视化管理系统,其特征在于,所述元素分析模块设置元素处理节点的过程包括:
6.根据权利要求5所述的一种基于大数据的数据元素可视化管理系统,其特征在于,所述元素分析模块设置协同处理节点的过程包括:
7.根据权利要求6所述的一种基于大数据的数据元素可视化管理系统,其特征在于,所述可视化管理模块设置数据可视化处理网络,并生成对应的可视化数据包的过程包括:
8.根据权利要求7所述的一种基于大数据的数据元素可视化管理系统,其特征在于,所述业务辅助模块获取可视化管理模块发送的可视化数据包和差异信息,由企业内相关的工作人员根据所获得的可视化数据包和差异信息进行分析处理,根据其分析结果对业务决策的方向和方案制定进行辅助决策。
