本发明实施例涉及计算机,尤其涉及一种数据处理方法、装置、电子设备及存储介质。
背景技术:
1、随着社会经济的发展,各行各业对于时间空间连续的、高精度高质量的气象数据的需求越来越高,例如,气象数据可以应用于电力、交通、农业等各个领域。
2、目前,不同来源的气象数据,如通过气象站点或轨道气象卫星监测到的气象数据,往往具有不同的时空分辨率。例如,通过气象站点监测到的气象数据能够实现单点分钟级的连续,但受站点选址和成本制约,站点分布在空间上具有显著非均匀性,难以实现区域全覆盖;静止轨道气象卫星能够对覆盖的固定区域的气象数据进行连续的监测,但由于轨道高度较高,其空间分辨率相对较低;极轨气象卫星轨道高度相对较低,空间分辨率高,但无法实现对于同一区域的气象数据的连续监测。
技术实现思路
1、本发明提供了一种数据处理方法、装置、电子设备及存储介质,通过对气象数据进行网格化处理,避免了不同来源的气象数据带来的差异,提升了气象数据的可用性。
2、第一方面,本发明实施例提供了一种数据处理方法,包括:
3、针对预设网格中的任一子网格,根据多个候选观测点到所述子网格对应的网格点的距离,从所述多个候选观测点中确定参考观测点,所述参考观测点的数量小于所述候选观测点的数量,所述候选观测点用于获取相同或不同来源的气象数据;
4、根据任意两个不同参考观测点之间的空间位置关系,和所述网格点与各参考观测点之间的空间位置关系,确定所述子网格对应的权重矩阵;
5、基于所述权重矩阵和气象数据矩阵,确定所述子网格对应的目标气象数据,所述气象数据矩阵包括通过各所述参考观测点获取的气象数据。
6、进一步的,根据多个候选观测点到所述子网格对应的网格点的距离,从所述多个候选观测点中确定参考观测点,包括:
7、通过如下公式确定各所述候选观测点到所述网格点的距离:
8、dis(k)=(lonk-lon)2+(latk-lat)2,k=1,2,3,...,n
9、其中,dis(k)为第k个候选观测点到所述网格点的距离,n为候选观测点的数量,lonk为第k个候选观测点的经度,latk为第k个候选观测点的纬度,lon为所述网格点的经度,lat为所述网格点的纬度;
10、将所确定的距离中低于设定阈值的距离对应的候选观测点,确定为参考观测点。
11、进一步的,根据任意两个不同参考观测点之间的空间位置关系,和所述网格点与各参考观测点之间的空间位置关系,确定所述子网格对应的权重矩阵,包括:
12、确定第一位置方差矩阵,所述第一位置方差矩阵包括将任意两个不同参考观测点的经纬度代入背景方差算子的第一结果,所述第一结果指示任意两个不同参考观测点之间的空间位置关系;
13、确定第二位置方差矩阵,所述第二位置方差矩阵包括将网格点的经纬度和任一参考观测点的经纬度代入背景方差算子的第二结果,所述第二结果指示网格点与各参考观测点之间的空间位置关系;
14、基于所述第一位置方差矩阵和所述第二位置方差矩阵,确定所述子网格对应的权重矩阵。
15、进一步的,通过如下公式确定将任意两个点的经纬度代入所述背景方差算子的结果:
16、
17、
18、其中,backgroundcovariance为所述背景方差算子,besselk为修正贝塞尔函数,rn为任意两个点对应的位置因子,locationa和locationb分别为任意两个点a点和b点的位置,locationa表示为a点的经度lona和纬度lata,locationb表示为b点的经度lonb和纬度latb;所述任意两个点包括任意两个不同参考观测点,或所述任意两个点包括所述网格点和任一参考观测点。
19、进一步的,基于所述第一位置方差矩阵和所述第二位置方差矩阵,确定所述子网格对应的权重矩阵,包括:
20、将所述第一位置方差矩阵分解为如下公式所示出的形式:
21、r=udvt
22、其中,r为所述第一位置方差矩阵,u为所述第一分解矩阵,d为所述第二分解矩阵,v为所述第三分解矩阵;
23、通过如下公式确定所述子网格对应的权重矩阵:
24、weight=u*(d*(ph*u))
25、其中,weight为所述权重矩阵,ph为所述第二位置方差矩阵;
26、其中,所述第一分解矩阵为所述第一位置方差矩阵的正交特征向量扩充后构成的正交矩阵,所述第二分解矩阵为所述第一位置方差矩阵的非零特征值构成的对角矩阵,所述第三分解矩阵为所述第一位置方差矩阵的正交特征向量构成的正交矩阵。
27、进一步的,基于所述权重矩阵和气象数据矩阵,确定所述子网格对应的目标气象数据,包括:
28、通过如下公式确定所述子网格对应的目标气象数据:
29、res=values*weight
30、其中,res为所述目标气象数据,values为所述气象数据矩阵,weight为所述权重矩阵。
31、进一步的,在所述基于所述权重矩阵和气象数据矩阵,确定所述子网格对应的目标气象数据之后,还包括:
32、针对预设网格中的任一子网格,确定对应的分析序列,所述分析序列的表达式为x=ap,q+noise,其中,x为分析序列,ap,q为原始序列,p和q代表二维空间网格中的横纵坐标,noise为设定时长对应的白噪声序列;所述原始序列包括设定时长内按照时间排列的所述子网格对应的目标气象数据;
33、将所述分析序列分解为多个周期分量,表达式为[c1+c2+c3+…+cn+rn]=emd(x),其中,emd代表经验模态分解算子,c1,c2,c3,…,cn为分解出的周期分量,rn为分解残差;
34、针对每个周期分量确定对应的能量密度,所述能量密度的表达式为其中,ei为第i个周期分量对应的能量密度,t为第i个周期分量的时长,ci(h)为第i个周期分量在h时刻的值;
35、针对每个周期分量确定对应的相关性系数,所述相关性系数的表达式为其中,ri为第i个周期分量对应的相关性系数,cov(a,ci)为子网格对应的原始序列a和第i个周期分量ci的协方差;σa为原始序列a的标准差;σi为第i个周期分量的标准差;
36、对各周期分量对应的能量密度按照从大到小排列,对各周期分量对应的相关性系数按照从大到小排列;
37、将排列在前满足设定条件的能量密度和相关性系数对应的周期分量进行累加,得到对所述目标气象数据进行误差订正后的订正气象数据。
38、第二方面,本发明实施例提供了一种数据处理装置,包括:
39、第一确定模块,用于针对预设网格中的任一子网格,根据多个候选观测点到所述子网格对应的网格点的距离,从所述多个候选观测点中确定参考观测点,所述参考观测点的数量小于所述候选观测点的数量,所述候选观测点用于获取相同或不同来源的气象数据;
40、第二确定模块,用于根据任意两个不同参考观测点之间的空间位置关系,和所述网格点与各参考观测点之间的空间位置关系,确定所述子网格对应的权重矩阵;
41、第三确定模块,用于基于所述权重矩阵和气象数据矩阵,确定所述子网格对应的目标气象数据,所述气象数据矩阵包括通过各所述参考观测点获取的气象数据。
42、第三方面,本发明实施例提供了一种电子设备,包括:
43、至少一个处理器;以及
44、与所述至少一个处理器通信连接的存储器;其中,
45、所述存储器存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行如第一方面所述的方法。
46、第四方面,本发明实施例提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如第一方面所述的方法。
47、本发明实施例提供了一种数据处理方法、装置、电子设备及存储介质,所述方法包括:针对预设网格中的任一子网格,根据多个候选观测点到所述子网格对应的网格点的距离,从所述多个候选观测点中确定参考观测点,所述参考观测点的数量小于所述候选观测点的数量,所述候选观测点用于获取相同或不同来源的气象数据;根据任意两个不同参考观测点之间的空间位置关系,和所述网格点与各参考观测点之间的空间位置关系,确定所述子网格对应的权重矩阵;基于所述权重矩阵和气象数据矩阵,确定所述子网格对应的目标气象数据,所述气象数据矩阵包括通过各所述参考观测点获取的气象数据。上述技术方案,可以将相同或不同来源的气象数据按照同样的方式进行网格化处理,得到预设网格中的任一子网格对应的目标气象数据,避免了不同来源的气象数据带来的差异,提升了气象数据的可用性。
48、应当理解,本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征,也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
1.一种数据处理方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,根据多个候选观测点到所述子网格对应的网格点的距离,从所述多个候选观测点中确定参考观测点,包括:
3.根据权利要求1所述的方法,其特征在于,根据任意两个不同参考观测点之间的空间位置关系,和所述网格点与各参考观测点之间的空间位置关系,确定所述子网格对应的权重矩阵,包括:
4.根据权利要求3所述的方法,其特征在于,通过如下公式确定将任意两个点的经纬度代入所述背景方差算子的结果:
5.根据权利要求3所述的方法,其特征在于,基于所述第一位置方差矩阵和所述第二位置方差矩阵,确定所述子网格对应的权重矩阵,包括:
6.根据权利要求1所述的方法,其特征在于,基于所述权重矩阵和气象数据矩阵,确定所述子网格对应的目标气象数据,包括:
7.根据权利要求1所述的方法,其特征在于,在所述基于所述权重矩阵和气象数据矩阵,确定所述子网格对应的目标气象数据之后,还包括:
8.一种数据处理装置,其特征在于,包括:
9.一种电子设备,其特征在于,包括:
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-7中任一所述的方法。
