一种存储空间动态分配方法、系统及存储器与流程

专利检索2026-06-06  2


本发明属于数据存储,尤其涉及一种存储空间动态分配方法、系统及存储器。


背景技术:

1、分布式存储是一种数据存储技术,它将数据分散存储在网络中多个独立的存储节点之上,这些节点通常是通过高速网络互联的服务器,共同协作构成一个存储集群。

2、在现有的分布式存储技术中,为了保证数据安全,通常会进行数据备份,即设置冗余系数,基于冗余系数对同一份文件存储多次,以保证数据的安全,现有技术中,一份文件通常直接存储在一个存储器内,那么出现数据泄露或者数据丢失风险将会大大增加。


技术实现思路

1、本发明的目的在于提供一种存储空间动态分配方法,旨在解决现有技术中,一份文件通常直接存储在一个存储器内,那么出现数据泄露或者数据丢失风险将会大大增加的问题。

2、本发明是这样实现的,一种存储空间动态分配方法,所述方法包括:

3、获取待存储文件数据,基于分布式存储架构生成存储架构局域网,所述存储架构局域网由多个一级存储节点和多个二级存储节点组成,每一个一级存储节点包含多个二级存储节点,对二级存储节点进行连续编号处理;

4、基于编号顺序读取每一个二级存储节点的存储空间占用量,构建空间占用量序列,基于空间占用量序列进行函数拟合,得到变异引导函数;

5、向变异引导函数导入预设的第一自变量序列,生成变异引导字符串,基于变异引导字符串对待存储文件数据进行变异处理,得到变异存储文档;

6、向变异引导函数导入预设的第二自变量序列,生成存储引导字符串,基于存储引导字符串对变异存储文档进行分段存储。

7、优选的,所述基于编号顺序读取每一个二级存储节点的存储空间占用量,构建空间占用量序列,基于空间占用量序列进行函数拟合,得到变异引导函数的步骤,具体包括:

8、每次读取一个二级存储节点的存储空间占用量,基于读取顺序对其进行存储,得到存储空间序列;

9、对存储空间序列中记录的存储空间占用量进行排序,基于排序顺序,生成空间占用量序列,所述空间占用量序列由多组特征数据组组成,一组特征数据组包含一个编号以及一个存储空间占用量;

10、按照顺序调取预设数量的空间占用量序列中的特征数据组,进行函数拟合,得到变异引导函数。

11、优选的,所述向变异引导函数导入预设的第一自变量序列,生成变异引导字符串,基于变异引导字符串对待存储文件数据进行变异处理,得到变异存储文档的步骤,具体包括:

12、调取预设的第一自变量序列,将第一自变量序列中的自变量逐个导入到变异引导函数中,将计算得到数值作为字符进行拼接,得到变异引导字符串,所述变异引导字符串包含的字符数量为预设值;

13、基于变异引导字符串的长度对待存储文件数据进行分段处理,得到分段文档数据;

14、基于预设的映射表格和变异引导字符串中的字符,确定分段文档数据中各个数据是否发生异变,对发生异变的区域进行字符替换,得到变异存储文档。

15、优选的,所述向变异引导函数导入预设的第二自变量序列,生成存储引导字符串,基于存储引导字符串对变异存储文档进行分段存储的步骤,具体包括:

16、向变异引导函数导入预设的第二自变量序列,将第二自变量序列中的自变量逐个导入到变异引导函数中,得到计算值;

17、按照预设的存储映射表和计算值确定各个变异存储文档中各个分段文档数据的存储位置,所述存储位置为二级存储节点的编号;

18、在存储变异后的分段文档数据进行存储时,将按照分段顺序将分段信息存储在该分段文档数据的头部,完成数据分段存储。

19、优选的,所述方法还包括基于预设的冗余系数将同一个变异存储文档分别存储在多个一级存储节点内。

20、本发明的另一目的在于提供一种存储空间动态分配系统,所述系统包括:

21、数据获取模块,用于获取待存储文件数据,基于分布式存储架构生成存储架构局域网,所述存储架构局域网由多个一级存储节点和多个二级存储节点组成,每一个一级存储节点包含多个二级存储节点,对二级存储节点进行连续编号处理;

22、异变函数拟合模块,用于基于编号顺序读取每一个二级存储节点的存储空间占用量,构建空间占用量序列,基于空间占用量序列进行函数拟合,得到变异引导函数;

23、数据异变模块,用于向变异引导函数导入预设的第一自变量序列,生成变异引导字符串,基于变异引导字符串对待存储文件数据进行变异处理,得到变异存储文档;

24、动态存储模块,用于向变异引导函数导入预设的第二自变量序列,生成存储引导字符串,基于存储引导字符串对变异存储文档进行分段存储。

25、优选的,所述异变函数拟合模块包括:

26、节点信息读取单元,用于每次读取一个二级存储节点的存储空间占用量,基于读取顺序对其进行存储,得到存储空间序列;

27、占用量序列生成单元,用于对存储空间序列中记录的存储空间占用量进行排序,基于排序顺序,生成空间占用量序列,所述空间占用量序列由多组特征数据组组成,一组特征数据组包含一个编号以及一个存储空间占用量;

28、数据拟合单元,用于按照顺序调取预设数量的空间占用量序列中的特征数据组,进行函数拟合,得到变异引导函数。

29、优选的,所述数据异变模块包括:

30、异变数据生成单元,用于调取预设的第一自变量序列,将第一自变量序列中的自变量逐个导入到变异引导函数中,将计算得到数值作为字符进行拼接,得到变异引导字符串,所述变异引导字符串包含的字符数量为预设值;

31、文档分段单元,用于基于变异引导字符串的长度对待存储文件数据进行分段处理,得到分段文档数据;

32、文档变异单元,用于基于预设的映射表格和变异引导字符串中的字符,确定分段文档数据中各个数据是否发生异变,对发生异变的区域进行字符替换,得到变异存储文档。

33、优选的,所述动态存储模块包括:

34、数据计算单元,用于向变异引导函数导入预设的第二自变量序列,将第二自变量序列中的自变量逐个导入到变异引导函数中,得到计算值;

35、存储位置计算单元,用于按照预设的存储映射表和计算值确定各个变异存储文档中各个分段文档数据的存储位置,所述存储位置为二级存储节点的编号;

36、数据存储单元,用于在存储变异后的分段文档数据进行存储时,将按照分段顺序将分段信息存储在该分段文档数据的头部,完成数据分段存储。

37、本发明的另一目的在于提供一种存储器,所述存储器上存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行如上所述存储空间动态分配方法的步骤。

38、本发明提供的一种存储空间动态分配方法,通过对各个二级存储节点的存储数据进行采集,得到随机产生的空间站用量序列,从而构建变异引导函数,基于变异引导函数对需要进行存储的文件进行变异处理,并且将同一个文档划分为多个分段文件进行独立存储,大大提升了容错率,即使出现部分节点异常,数据完整性也能够在最大程度得以保存。


技术特征:

1.一种存储空间动态分配方法,其特征在于,所述方法包括:

2.根据权利要求1所述的存储空间动态分配方法,其特征在于,所述基于编号顺序读取每一个二级存储节点的存储空间占用量,构建空间占用量序列,基于空间占用量序列进行函数拟合,得到变异引导函数的步骤,具体包括:

3.根据权利要求1所述的存储空间动态分配方法,其特征在于,所述向变异引导函数导入预设的第一自变量序列,生成变异引导字符串,基于变异引导字符串对待存储文件数据进行变异处理,得到变异存储文档的步骤,具体包括:

4.根据权利要求3所述的存储空间动态分配方法,其特征在于,所述向变异引导函数导入预设的第二自变量序列,生成存储引导字符串,基于存储引导字符串对变异存储文档进行分段存储的步骤,具体包括:

5.根据权利要求1所述的存储空间动态分配方法,其特征在于,所述方法还包括基于预设的冗余系数将同一个变异存储文档分别存储在多个一级存储节点内。

6.一种存储空间动态分配系统,其特征在于,所述系统包括:

7.根据权利要求6所述的存储空间动态分配系统,其特征在于,所述异变函数拟合模块包括:

8.根据权利要求6所述的存储空间动态分配系统,其特征在于,所述数据异变模块包括:

9.根据权利要求8所述的存储空间动态分配系统,其特征在于,所述动态存储模块包括:

10.一种存储器,其特征在于,所述存储器上存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行权利要求1至5中任一项权利要求所述存储空间动态分配方法的步骤。


技术总结
本发明适用于数据存储技术领域,尤其涉及一种存储空间动态分配方法、系统及存储器,所述方法包括:获取待存储文件数据,生成存储架构局域网;读取存储空间占用量,构建空间占用量序列,基于空间占用量序列进行函数拟合,得到变异引导函数;导入预设的第一自变量序列,生成变异引导字符串,对待存储文件数据进行变异处理,得到变异存储文档;导入预设的第二自变量序列,生成存储引导字符串,对变异存储文档进行分段存储。本发明基于变异引导函数对需要进行存储的文件进行变异处理,并且将同一个文档划分为多个分段文件进行独立存储,大大提升了容错率,即使出现部分节点异常,数据完整性也能够在最大程度得以保存。

技术研发人员:黄少娃,黄旭彪,郭威成,吴桂冠,刘政宏
受保护的技术使用者:深圳市铨兴科技有限公司
技术研发日:
技术公布日:2024/5/29
转载请注明原文地址:https://win.8miu.com/read-1163465.html

最新回复(0)