本申请涉及电数字数据处理领域,具体而言,涉及一种时空数据管理方法、装置、非易失性存储介质及电子设备。
背景技术:
1、相关技术中时空数据通常是存放在可同时提供存储和查询功能的数据库如redis、elasticsearch中,或者是以hbase做为数据存储。这两种存储方式虽然在小数据量下查询性能较好,但是在大数据量下存储成本高且查询性能差。导致相关技术中针对大数据量的时空数据无法进行有效的集中管理。
2、针对上述的问题,目前尚未提出有效的解决方案。
技术实现思路
1、本申请实施例提供了一种时空数据管理方法、装置、非易失性存储介质及电子设备,以至少解决相关技术中针对大数据量的时空数据存储成本高且查询性能差导致的无法高效管理大数据量的时空数据的技术问题。
2、根据本申请实施例的一个方面,提供了一种时空数据管理方法,包括:依据目标数据集合内的各条目标数据中记载的时间字段对目标数据集合中的目标数据进行分区处理,得到多个数据分区,其中,多个数据分区中的每个数据分区内所包含的目标数据对应同一个时间段;对每个数据分区,依据数据分区中的目标数据的地理位置信息对目标数据进行编码,得到每条目标数据对应的位置编码;依据目标数据的位置编码和数据分区将目标数据存储到数据文件中;依据数据文件中所存储的目标数据的位置编码的取值范围构建目标索引,其中,目标索引用于检索数据文件。
3、可选地,依据目标数据的位置编码和数据分区将目标数据存储到数据文件中的步骤包括:确定数据分区预设的数据文件的数量;对目标数据的位置编码进行哈希计算,得到目标数据对应的哈希值;依据数据文件的数量对哈希值进行分区,得到多个哈希值分区,其中,哈希值分区的数量与数据文件的数量一致,并且每个哈希值分区对应一个预设的数据文件;依据哈希值所在的哈希值分区确定目标数据对应的数据文件,并将目标数据存储到对应的数据文件中。
4、可选地,位置编码包括经度编码和维度编码;依据数据文件中所存储的目标数据的位置编码的取值范围构建目标索引的步骤包括:依据数据文件中的目标数据的经度编码的取值范围确定第一覆盖范围;依据数据文件中的目标数据的维度编码的取值范围确定第二覆盖范围;依据第一覆盖范围和第二覆盖范围构建目标索引。
5、可选地,时空数据管理方法还包括:接收查询条件语句;依据查询条件语句中的时间范围信息对查询条件语句进行拆分,得到至少一个子查询条件;依据子查询条件中的位置范围信息和目标索引确定与子查询条件对应的目标数据。
6、可选地,依据查询条件语句中的时间范围信息对查询条件语句进行拆分,得到至少一个子查询条件的步骤包括:确定时间范围信息所对应的至少一个时间段;依据至少一个时间段中的各个时间段对查询条件语句进行拆分,从而确定各个时间段所对应的子查询条件。
7、可选地,依据子查询条件中的位置范围信息和目标索引确定与子查询条件对应的目标数据的步骤包括:依据位置范围信息确定编码取值范围;依据编码取值范围和目标索引确定第一目标数据集合,其中,第一目标数据集合中的目标数据对应的位置编码在编码取值范围内;依据位置范围信息在第一目标数据集合中确定第二目标数据集合,其中,第二目标数据集合中的目标数据中记载的地理位置在位置范围信息所指示的区域内,第二目标数据集合中的目标数据为与子查询条件对应的目标数据。
8、可选地,数据文件存储在分布式数据存储管理结构的数据湖中。
9、根据本申请实施例的另一方面,还提供了一种时空数据管理装置,包括:第一处理模块,用于依据目标数据集合内的各条目标数据中记载的时间字段对目标数据集合中的目标数据进行分区处理,得到多个数据分区,其中,多个数据分区中的每个数据分区内所包含的目标数据对应同一个时间段;第二处理模块,用于对每个数据分区,依据数据分区中的目标数据的地理位置信息对目标数据进行编码,得到每条目标数据对应的位置编码;第三处理模块,用于依据目标数据的位置编码和数据分区将目标数据存储到数据文件中;第四处理模块,用于依据数据文件中所存储的目标数据的位置编码的取值范围构建目标索引,其中,目标索引用于检索数据文件。
10、根据本申请实施例的另一方面,还提供了一种非易失性存储介质,非易失性存储介质中存储有程序,其中,在程序运行时控制非易失性存储介质所在设备执行时空数据管理方法。
11、根据本申请实施例的另一方面,还提供了一种电子设备,包括:存储器和处理器,处理器用于运行存储在存储器中的程序,其中,程序运行时执行时空数据管理方法。
12、在本申请实施例中,采用依据目标数据集合内的各条目标数据中记载的时间字段对目标数据集合中的目标数据进行分区处理,得到多个数据分区,其中,多个数据分区中的每个数据分区内所包含的目标数据对应同一个时间段;对每个数据分区,依据数据分区中的目标数据的地理位置信息对目标数据进行编码,得到每条目标数据对应的位置编码;依据目标数据的位置编码和数据分区将目标数据存储到数据文件中;依据数据文件中所存储的目标数据的位置编码的取值范围构建目标索引,其中,目标索引用于检索数据文件的方式,通过依据目标数据中记载的时间信息和地理位置信息对数据进行多次区分,并根据数据文件中记载的位置编码的取值范围来构建目标索引,达到了降低大数据量的时空数据的存储成本,并且提高查询性能的目的,从而实现了高效管理大数据量的时空数据的技术效果,进而解决了相关技术中针对大数据量的时空数据存储成本高且查询性能差导致的无法高效管理大数据量的时空数据技术问题。
1.一种时空数据管理方法,其特征在于,包括:
2.根据权利要求1所述的时空数据管理方法,其特征在于,所述依据所述目标数据的位置编码和所述数据分区将所述目标数据存储到数据文件中的步骤包括:
3.根据权利要求1所述的时空数据管理方法,其特征在于,所述位置编码包括经度编码和维度编码;所述依据所述数据文件中所存储的所述目标数据的位置编码的取值范围构建目标索引的步骤包括:
4.根据权利要求1所述的时空数据管理方法,其特征在于,所述时空数据管理方法还包括:
5.根据权利要求4所述的时空数据管理方法,其特征在于,所述依据所述查询条件语句中的时间范围信息对所述查询条件语句进行拆分,得到至少一个子查询条件的步骤包括:
6.根据权利要求4所述的时空数据管理方法,其特征在于,所述依据所述子查询条件中的位置范围信息和所述目标索引确定与所述子查询条件对应的所述目标数据的步骤包括:
7.根据权利要求1所述的时空数据管理方法,其特征在于,所述数据文件存储在分布式数据存储管理结构的数据湖中。
8.一种时空数据管理装置,其特征在于,包括:
9.一种非易失性存储介质,其特征在于,所述非易失性存储介质中存储有程序,其中,在所述程序运行时控制所述非易失性存储介质所在设备执行权利要求1至7中任意一项所述的时空数据管理方法。
10.一种电子设备,其特征在于,包括:存储器和处理器,所述处理器用于运行存储在所述存储器中的程序,其中,所述程序运行时执行权利要求1至7中任意一项所述的时空数据管理方法。