本发明涉及数据传输,更具体的说是涉及一种基于大数据的数据安全传输方法及系统。
背景技术:
1、目前,大数据通常被认为是一种数量很大、形式多样的非结构化数据,具有数据量巨大、数据无固定格式、增长速度快等特点。互联网信息时代,大数据已经变成了一种极为重要的资源。
2、但是,为了能随时提取、分析有效数据,对原始数据的传输是十分有必要的,然而,原始数据的传输又需要面临存储的数据容量较大以及传输效率较低的问题,同时在数据传输过程中还存在安全性较低的问题。
3、因此,如何提供一种能够解决上述问题的数据安全传输方法是本领域技术人员亟需解决的问题。
技术实现思路
1、有鉴于此,本发明提供了一种基于大数据的数据安全传输方法及系统,可实现对于各类携带有重要信息的文件的高效安全传输,避免数据文件内容的泄露。
2、为了实现上述目的,本发明采用如下技术方案:
3、一种基于大数据的数据安全传输方法及系统,基于发送端、接收端以及安全终端实现,包括以下步骤:
4、s1:所述发送端发送文件传输指令至所述接收端,并获取所述发送端中待传输大数据文件的大小,以及所述接收端中接收文件的空间大小;
5、s2:对比所述待传输大数据文件的大小以及所述接收端中接收文件的空间大小,若小于则进入s3,反之进入s4;
6、s3:对所述待传输大数据文件划分成多个文件块,然后对所述文件块进行压缩及加密处理,完成传输;
7、s4:对所述待传输大数据文件进行模拟压缩,当模拟压缩后的所述待传输大数据文件的大小不超过所述接收端中接收文件的空间大小时,对所述待传输大数据文件进行划分及加密处理,完成传输,反之则进入s5;
8、s5:在所述接收端构建虚拟存储空间,然后对所述待传输大数据文件进行划分,形成多个文件块,然后对所述文件块压缩及加密处理,完成传输。
9、优选的,还包括:
10、s6:完成传输时所述接收端向所述安全终端发送存储指令,所述安全终端对存储指令进行溯源处理,当完成溯源时进行存储。
11、优选的,所述s3包括:
12、s31:获取多种数据压缩方法对应的内存压缩时间,根据所述待传输大数据文件的大小、多种数据压缩方法对应的所述内存压缩时间确定第一文件最佳划分方法;
13、s32:根据所述第一文件最佳划分方法将所述待传输大数据文件划分成多个文件块;
14、s33:对所述文件块进行压缩及加密处理,完成传输。
15、优选的,所述s33包括:
16、s331:划分多个预设文件压缩时间阈值,按照多个所述文件压缩时间阈值对多个所述文件块进行划分,得到多个待传输集合;
17、s332:利用密码生成模型生成第一密码组,其中所述第一密码组中包含的密码数量与所述待传输集合的数量一致,利用所述第一密码组对多个所述待传输集合进行加密;
18、s333:将经过加密处理的多个所述待传输集合传输至所述接收端。
19、优选的,所述s4包括:
20、s41:获取多种数据压缩方法对应的文件压缩比以及内存压缩时间,根据多种数据压缩方法分别对所述待传输大数据文件进行模拟压缩;
21、s42:当经过任意一种数据压缩方法处理后的待传输大数据文件的大小不超过所述接收端中接收文件的空间大小时,选取所述数据压缩方法对所述待传输大数据文件进行划分,得到多个文件块;
22、s43:对多个所述文件块进行压缩及加密处理,完成传输。
23、优选的,所述s5包括:
24、s51:在所述接收端构建虚拟存储空间,根据所述待传输大数据文件的大小、多种数据压缩方法对应的文件压缩比以及内存压缩时间、所述虚拟存储空间的大小确定第二文件最佳划分方法,
25、s52:根据所述第二文件最佳划分方法对所述待传输大数据文件进行划分,形成多个文件块;
26、s53:对所述文件块压缩及加密处理,完成传输。
27、本发明还提供一种基于大数据的数据安全传输方法的传输系统,基于发送端、接收端以及安全终端实现,包括:
28、获取模块,所述获取模块与所述发送端连接,用于获取所述发送端中待传输大数据文件的大小,以及所述接收端中接收文件的空间大小;
29、判断模块,用于对比所述待传输大数据文件的大小以及所述接收端中接收文件的空间大小,若则进入s3,反之进入s4;
30、第一传输模块,用于当所述待传输大数据文件的大小不超过所述接收端中接收文件的空间大小时,对所述待传输大数据文件划分成多个文件块,然后对所述文件块进行压缩及加密处理,完成传输;
31、第二传输模块,用于当所述待传输大数据文件的大小超过所述接收端中接收文件的空间大小时,对所述待传输大数据文件进行模拟压缩,同时判断模拟压缩后的所述待传输大数据文件的大小与所述接收端中接收文件的空间大小的关系,当经过模拟压缩处理后的所述待传输大数据文件的大小不超过所述接收端中接收文件的空间时,对所述待传输大数据文件进行划分及加密处理,完成传输;
32、第三传输模块,用于当经过模拟压缩处理后的所述待传输大数据文件的大小超过所述接收端中接收文件的空间时,在所述接收端构建虚拟存储空间,然后对所述待传输大数据文件进行划分,形成多个文件块,然后对所述文件块压缩及加密处理,完成传输;
33、溯源模块,用于完成传输时所述接收端向所述安全终端发送存储指令,所述安全终端对存储指令进行溯源处理,当完成溯源时进行存储。
34、经由上述的技术方案可知,与现有技术相比,本发明公开提供了一种基于大数据的数据安全传输方法及系统,判断待传输大数据文件与接收端中接收文件空间的大小,当小于等于时可以将待传输大数据文件划分成多个文件块,然后对所述文件块进行压缩及加密处理后完成传输,当大于时根据需要将待传输大数据文件进行模拟压缩处理或结合虚拟存储空间完成传输,并且在传输前完成加密处理,所传输的文件分别经过了划分压缩和顺序排列的处理,使得在拦截之后无法进行破解,即使被破解也无法获得全部的文件数据,从而提高文件数据传输的安全性,避免数据文件内容的泄露。
1.一种基于大数据的数据安全传输方法,基于发送端、接收端以及安全终端实现,其特征在于,包括以下步骤:
2.根据权利要求1所述的一种基于大数据的数据安全传输方法,其特征在于,还包括:
3.根据权利要求1所述的一种基于大数据的数据安全传输方法,其特征在于,所述s3包括:
4.根据权利要求3所述的一种基于大数据的数据安全传输方法,其特征在于,所述s33包括:
5.根据权利要求4所述的一种基于大数据的数据安全传输方法,其特征在于,所述s4包括:
6.根据权利要求1所述的一种基于大数据的数据安全传输方法,其特征在于,所述s5包括:
7.一种利用权利要求1-6任一项所述的一种基于大数据的数据安全传输方法的传输系统,基于发送端、接收端以及安全终端实现,其特征在于,包括: