本发明涉及电力，具体为一种基于大数据的数据资源管理和分配系统。
背景技术：
1、从上世纪 80 年代初开始进行水电自动化技术研究和产品开发，受到计算机、网络技术水平及系统规划、集成能力的限制，难以对水电站及集控中心自动化系统进行整体的规划。因此，采用了“分而治之”思想，按照不同的业务划分为多个相对独立的子系统，从而有效降低了各个子系统的研制难度。由于当时水电厂自动化系统的数量十分有限，实际应用中也大多注重完成基本的测量和控制功能，对数据挖掘分析评估、决策支持等功能的需求并不强烈。由于不同的业务系统在不同的时期、由不同的厂家承建，数据格式不同，数据统计口径不同，导致智能化分析难以开展。为了满足智能调度和运行控制的需求，提出了一种基于大数据的数据资源管理和分配系统。
技术实现思路
1、针对现有技术的不足，本发明提供了一种基于大数据的数据资源管理和分配系统，解决了上述背景技术中提出的问题。
2、为实现以上目的，本发明通过以下技术方案予以实现：一种基于大数据的数据资源管理和分配系统，包括数据资源管理模块与数据分配模块，所述数据资源管理模块包括数据接口模块、数据采集模块、数据格式识别模块、数据格式统一转换模块、数据类型识别模块与数据分类存储模块，所述数据分配模块包括数据获取请求模块、请求方获取模块、数据提取模块、数据格式类型转换模块与数据传输模块；
3、所述数据接口模块，用于与各电厂的系统进行数据交互；
4、所述数据采集模块，用于对各电厂的数据进行采集；
5、所述数据格式识别模块，用于对各电厂系统的数据格式进行识别；
6、所述数据格式统一转换模块，用于根据各电厂系统的数据格式识别结果，对各电厂系统的数据格式进行转换成统一格式；
7、所述数据类型识别模块，用于对采集的数据类型进行识别；
8、所述数据分类存储模块，用于根据采集的数据类型对数据进行分类存储；
9、所述数据获取请求模块，用于接收数据获取请求；
10、所述请求方获取模块，用于获取数据请求方的信息；
11、所述数据提取模块，用于根据数据请求信息，从数据分类存储模块内部调取所需要的数据；
12、所述数据格式类型转换模块，用于将调取的数据格式转换成请求方系统的数据格式；
13、所述数据传输模块，用于对提取的数据发送给请求方系统。
14、可选的，所述数据类型识别模块包括系统格式获取模块、格式转换与口径转换模型训练模块与格式与口径识别模型训练模块，所述系统格式获取模块，用于在接入电厂系统时，获取该电厂系统所需的数据格式；所述格式转换与口径转换模型训练模块，用于对构建的格式转换与口径转换模型进行训练，可以将不同格式的数据转换成同一格式的数据，也可以将统一格式的数据转换成所需要格式的数据；所述格式与口径识别模型训练模块，用于训练构建的数据格式与数据口径识别模型。
15、可选的，所述数据提取模块包括请求方权限授予模块、请求方权限记录模块、请求方权限获取模块与请求方权限验证模块，所述请求方权限授予模块，用于设定可以进行数据请求的请求方，并且授予请求方数据获取权限；所述请求方权限记录模块，用于对设定的请求方与对其授予的权限进行记录；所述请求方权限获取模块，用于根据获取数据请求方的信息，确定发起数据请求方的权限；所述请求方权限验证模块，用于根据确定发起数据请求方的权限判定该权限是否满足数据获取请求中所要获取数据的权限要求。
16、可选的，所述请求方获取模块包括请求方系统获取模块与请求方系统格式获取单元，所述请求方系统获取模块，用于对请求方的系统信息进行获取；所述请求方系统格式获取单元，用于根据请求方的系统信息获取该系统所对应的数据格式要求。
17、可选的，所述数据格式统一转换模块根据各电厂系统的数据格式识别结果，对各电厂系统的数据格式进行转换成统一格式中数据格式包括统计口径，在对数据格式进行转换的过程中，对统计口径进行同步转换。
18、可选的，在所述各电厂的系统上增加数据交互接口，通过数据交互接口，使得各电厂的系统与大数据平台之间进行数据交互。
19、可选的，所述系统格式获取模块在获取该电厂系统所需的数据格式时，也对该电厂系统的统计口径进行获取。
20、可选的，所述请求方系统格式获取单元根据请求方的系统信息获取该系统所对应的数据格式要求时，也对该系统的统计口径进行获取，根据获取的该系统的信息对数据格式进行转换以及对统计口径进行同步转换。
21、本发明提供了一种基于大数据的数据资源管理和分配系统，具备以下有益效果：
22、1、该基于大数据的数据资源管理和分配系统，通过设置有数据格式统一转换模块、数据提取模块与数据格式类型转换模块，只对各电厂的系统添加与大数据平台之间的数据交互接口，不对各电厂的系统进行大规模改造，即可满足智能集控需求，在收集各系统的数据后，对多个系统的数据进行格式统一与统计口径统一，以便后续运用这些数据进行数据分析工作，在请求方需要获取大数据平台的数据时，将所需要获取数据的数据格式转换成请求方系统的数据格式，将所需要获取数据的统计口径转换成请求方系统的统计口径，从而方便请求方进行后续的数据使用。
23、2、该基于大数据的数据资源管理和分配系统，通过设置有请求方权限授予模块、请求方权限记录模块与请求方权限验证模块，在获取到数据获取请求时，获取数据请求方的信息，根据获取数据请求方的信息，确定发起数据请求方的权限，根据确定发起数据请求方的权限判定该权限是否满足数据获取请求中所要获取数据的权限要求，若不满足要求，则向请求方系统发送不满足通知，若满足要求则进行后续流程，从而能够防止数据泄密。
1.一种基于大数据的数据资源管理和分配系统，其特征在于：包括数据资源管理模块（1）与数据分配模块（8），所述数据资源管理模块（1）包括数据接口模块（2）、数据采集模块（3）、数据格式识别模块（4）、数据格式统一转换模块（5）、数据类型识别模块（6）与数据分类存储模块（7），所述数据分配模块（8）包括数据获取请求模块（9）、请求方获取模块（10）、数据提取模块（11）、数据格式类型转换模块（12）与数据传输模块（13）；
2.根据权利要求1所述的一种基于大数据的数据资源管理和分配系统，其特征在于：所述数据类型识别模块（6）包括系统格式获取模块（14）、格式转换与口径转换模型训练模块（15）与格式与口径识别模型训练模块（16），所述系统格式获取模块（14），用于在接入电厂系统时，获取该电厂系统所需的数据格式；所述格式转换与口径转换模型训练模块（15），用于对构建的格式转换与口径转换模型进行训练，可以将不同格式的数据转换成同一格式的数据，也可以将统一格式的数据转换成所需要格式的数据；所述格式与口径识别模型训练模块（16），用于训练构建的数据格式与数据口径识别模型。
3.根据权利要求1所述的一种基于大数据的数据资源管理和分配系统，其特征在于：所述数据提取模块（11）包括请求方权限授予模块（19）、请求方权限记录模块（20）、请求方权限获取模块（17）与请求方权限验证模块（18），所述请求方权限授予模块（19），用于设定可以进行数据请求的请求方，并且授予请求方数据获取权限；所述请求方权限记录模块（20），用于对设定的请求方与对其授予的权限进行记录；所述请求方权限获取模块（17），用于根据获取数据请求方的信息，确定发起数据请求方的权限；所述请求方权限验证模块（18），用于根据确定发起数据请求方的权限判定该权限是否满足数据获取请求中所要获取数据的权限要求。
4.根据权利要求1所述的一种基于大数据的数据资源管理和分配系统，其特征在于：所述请求方获取模块（10）包括请求方系统获取模块（21）与请求方系统格式获取单元（22），所述请求方系统获取模块（21），用于对请求方的系统信息进行获取；所述请求方系统格式获取单元（22），用于根据请求方的系统信息获取该系统所对应的数据格式要求。
5.根据权利要求1所述的一种基于大数据的数据资源管理和分配系统，其特征在于：所述数据格式统一转换模块（5）根据各电厂系统的数据格式识别结果，对各电厂系统的数据格式进行转换成统一格式中数据格式包括统计口径，在对数据格式进行转换的过程中，对统计口径进行同步转换。
6.根据权利要求1所述的一种基于大数据的数据资源管理和分配系统，其特征在于：在所述各电厂的系统上增加数据交互接口，通过数据交互接口，使得各电厂的系统与大数据平台之间进行数据交互。
7.根据权利要求2所述的一种基于大数据的数据资源管理和分配系统，其特征在于：所述系统格式获取模块（14）在获取该电厂系统所需的数据格式时，也对该电厂系统的统计口径进行获取。
8.根据权利要求1所述的一种基于大数据的数据资源管理和分配系统，其特征在于：所述请求方系统格式获取单元（22）根据请求方的系统信息获取该系统所对应的数据格式要求时，也对该系统的统计口径进行获取，根据获取的该系统的信息对数据格式进行转换以及对统计口径进行同步转换。
