本发明涉及互联网,具体为一种物联网大数据分类存储方法。
背景技术:
1、随着社会信息化进度的日益加快,越来越多的企业通过互联网等信息技术来进行生产数据的记录存储与传输使用。无论是企业内部的部门与部门之间,还是企业内部与企业外部之间,在通过信息技术交流记录的过程中都会产生大量的生产数据,这些生产数据中部分数据极为重要,需要经常使用并长期保存,有的数据是一般类型的数据,使用频率小,重要程度低,此类数据仅需进行存储,即使丢失也不会造成太大影响。
2、经检索,如公布号为cn115599792a的中国专利公开了本发明涉及电数字数据处理技术领域,具体涉及一种物联网大数据分类存储方法。方法包括:根据各用户在目标时间段内访问数据的次数得到各用户的活跃度;根据访问各数据的用户的活跃度和各用户访问各数据的次数,计算各数据的调节系数;根据各数据与其它数据的关联性,计算各数据与其它数据的关联程度;根据调节系数和关联程度得到重要程度;根据重要程度,得到重要数据构成的数据段和不重要数据构成的数据段;计算各数据段对应的初始长度;根据所述初始长度和所述初始长度的中心点到聚类中心的距离,计算各数据段自适应缩减时分布式存储数据的长度;根据所述分布式存储数据的长度,对各数据段进行存储。本发明实现了数据的智能化分类整合。
3、但是:随着物联网节点的不断增加,使得物联网节点之间的结构越来越复杂,导致物联网数据量不断增加,节点采集到的物联网数据具有高维性、复杂性、实时性等特征,容易出现数据异常的问题,导致数据分类错误。
技术实现思路
1、(一)解决的技术问题
2、针对现有技术的不足,本发明提供了一种物联网大数据分类存储方法。
3、(二)技术方案
4、为实现上述目的,本发明提供如下技术方案:一种物联网大数据分类存储方法,包括以下步骤:
5、s1:数据获取,获取待分类的物联网数据;
6、s2:建立汇总模型,用于描述给定的数据集合;
7、s3:建立评估模型,用于对数据分类进行评估;
8、s4:建立分类模型,用于获取物联网异常数据;
9、s5:确定异常数据,将物联网数据输入数据分类模型,检测物联网数据中的物联网异常数据;
10、s6:数据分类,将物联网异常数据校正为物联网正常数据,并根据数据分类模型对物联网正常数据进行分类;
11、s7:确定存储方式,根据目标数据的类别,确定目标数据的存储方式,再根据确定出的存储方式,对目标数据进行存储处理。
12、优选的,在所述建立汇总模型的过程中,通过分析由属性描述的数据集合来建立反映数据集合特性的模型,在对数据进行基础分类的过程中,得到的单个已知类数据对象属于同属性下的数据集合。
13、优选的,在所述建立评估模型与建立监控模块之间的步骤中,具体为:开始评估数据分类,判断数据分类是否精准;若否,则仅能完成对已知类数据对象进行分类;若是,则对已知类数据对象和未知类数据对象进行分类。
14、优选的,检测所述物联网数据中的物联网异常数据,包括:获取所述物联网数据对应的第一物联网正常数据;其中,第一物联网正常数据为所述物联网数据的前一个时间单位的物联网正常数据;根据第一物联网正常数据检测所述物联网数据中的物联网异常数据。
15、优选的,利用预设的数据分类模型对所述待分类数据进行分类,以获取所述待分类数据的数据类别;其中,所述预设的数据分类模型是基于对训练样本进行随机采样与逆采样得到的样本的特征融合结果训练得到的,所述训练样本中一部分类别样本的数量远小于其他类别样本的数量。
16、优选的,所述预设的数据分类模型包括数据输入模块、特征提取模块、特征融合模块和分类器;所述特征提取模块包括多个顺次连接的特征提取子模块并且首个特征提取子模块与所述数据输入模块连接,最后一个特征提取子模块与所述特征融合模块连接;所述最后一个特征提取子模块包括结构相同的主特征提取单元和附属特征提取单元;所述特征提取模块被配置成提取输入数据的数据特征;所述特征融合模块被配置成对所述主特征提取单元与所述附属特征提取单元输出的数据特征进行特征融合,得到特征融合结果;所述分类器被配置成根据特征融合结果进行数据分类。
17、优选的,所述根据目标数据的类别,确定所述目标数据的存储方式,包括:若所述目标数据的类别表征出所述目标数据属于须备份的数据,则所述目标数据的存储方式为分布式存储;否则,则所述目标数据的存储方式为磁盘存储。
18、优选的,所述根据目标数据的类别,确定所述目标数据的存储方式,包括:若所述目标数据的类别表征出所述目标数据属于占用空间超过设定空间阈值的数据,则所述目标数据的存储方式为非关系型存储方式;否则,所述目标数据的存储方式为关系型存储方式。
19、(三)有益效果
20、与现有技术相比,本发明提供了一种物联网大数据分类存储方法,具备以下有益效果:
21、该一种物联网大数据分类存储方法,通过将物联网数据中的异常数据校正为正常数据,并对物联网正常数据进行分类,一方面,可以对异常数据进行处理,提升数据分类的准确率,避免直接对异常数据进行分类存储,另一方面利用评估模型,对数据评估后进行后续的二次分类,可对部分未知类的数据进行单独筛分,方便后续工作人员查找的同时,也能将其收录到大数据中,从而完善整个大数据存储体系,根据目标数据的类别,确定目标数据的存储方式;根据确定出的存储方式,对目标数据进行存储处理,从而提供了可以对海量数据进行分类存储的方案。
1.一种物联网大数据分类存储方法,其特征在于,包括以下步骤:
2.根据权利要求1所述的一种物联网大数据分类存储方法,其特征在于:在所述建立汇总模型的过程中,通过分析由属性描述的数据集合来建立反映数据集合特性的模型,在对数据进行基础分类的过程中,得到的单个已知类数据对象属于同属性下的数据集合。
3.根据权利要求2所述的一种物联网大数据分类存储方法,其特征在于:在所述建立评估模型与建立监控模块之间的步骤中,具体为:开始评估数据分类,判断数据分类是否精准;若否,则仅能完成对已知类数据对象进行分类;若是,则对已知类数据对象和未知类数据对象进行分类。
4.根据权利要求1所述的一种物联网大数据分类存储方法,其特征在于:检测所述物联网数据中的物联网异常数据,包括:获取所述物联网数据对应的第一物联网正常数据;其中,第一物联网正常数据为所述物联网数据的前一个时间单位的物联网正常数据;根据第一物联网正常数据检测所述物联网数据中的物联网异常数据。
5.根据权利要求1所述的一种物联网大数据分类存储方法,其特征在于:利用预设的数据分类模型对待分类数据进行分类,以获取待分类数据的数据类别;其中,预设的数据分类模型是基于对训练样本进行随机采样与逆采样得到的样本的特征融合结果训练得到的,训练样本中一部分类别样本的数量远小于其他类别样本的数量。
6.根据权利要求5所述的一种物联网大数据分类存储方法,其特征在于:所述预设的数据分类模型包括数据输入模块、特征提取模块、特征融合模块和分类器;所述特征提取模块包括多个顺次连接的特征提取子模块并且首个特征提取子模块与所述数据输入模块连接,最后一个特征提取子模块与所述特征融合模块连接;所述最后一个特征提取子模块包括结构相同的主特征提取单元和附属特征提取单元;所述特征提取模块被配置成提取输入数据的数据特征;所述特征融合模块被配置成对所述主特征提取单元与所述附属特征提取单元输出的数据特征进行特征融合,得到特征融合结果;所述分类器被配置成根据特征融合结果进行数据分类。
7.根据权利要求1所述的一种物联网大数据分类存储方法,其特征在于:所述根据目标数据的类别,确定所述目标数据的存储方式,包括:若所述目标数据的类别表征出所述目标数据属于须备份的数据,则所述目标数据的存储方式为分布式存储;否则,则所述目标数据的存储方式为磁盘存储。
8.根据权利要求1所述的一种物联网大数据分类存储方法,其特征在于:所述根据目标数据的类别,确定所述目标数据的存储方式,包括:若所述目标数据的类别表征出所述目标数据属于占用空间超过设定空间阈值的数据,则所述目标数据的存储方式为非关系型存储方式;否则,所述目标数据的存储方式为关系型存储方式。