本公开涉及汽车，具体而言，涉及一种鸟瞰图特征的生成方法、装置、电子设备、车辆以及计算机存储介质。
背景技术：
1、在自动驾驶技术中，鸟瞰图特征提供了一种从车辆顶部向下的俯视视角的特征表达方式，能够提供全方位环境感知的能力，不仅能够帮助识别和追踪车辆周围的对象(比如行人、车辆等)，还能评估对象之间的空间关系，这对路径规划和目标检测等任务至关重要，因此，提升鸟瞰图特征的精度也是自动驾驶技术中的重要研究内容之一。
技术实现思路
1、本公开实施例至少提供一种鸟瞰图特征的生成方法、装置、电子设备、车辆以及计算机存储介质，通过增加第二类别的目标网格中的特征信息，可以提升目标鸟瞰图特征的特征丰富性，从而有助于提升鸟瞰图特征的精度。
2、本公开实施例提供了一种鸟瞰图特征的生成方法，包括：
3、获取多张图像，其中，所述多张图像分别通过车辆设置的不同拍摄视角的图像采集装置拍摄得到；
4、分别对所述多张图像进行特征提取，得到每张图像对应的图像特征，并将所述多张图像对应的图像特征输入到训练好的鸟瞰图特征生成模型中，得到初始鸟瞰图特征；所述初始鸟瞰图特征包括多个网格，每个网格具有对应的网格特征；
5、针对所述初始鸟瞰图特征中的每个网格，确定所述网格的类别信息；所述类别信息包括第一类别以及第二类别，所述第一类别用于表征所述网格对应的视锥特征点云的数量大于预设数量，所述第二类别用于表征所述网格对应的视锥特征点云的数量小于所述预设数量；
6、针对属于所述第二类别的目标网格，从所述多张图像的图像特征中确定与所述目标网格匹配的目标特征点，将所述目标网格的网格特征与所述目标特征点进行特征融合，以增加所述目标网格中的特征信息，得到目标鸟瞰图特征。
7、本公开实施例中，通过确定每个网格的类别信息，并针对属于第二类别的目标网格，增加目标网格中的特征信息，如此，可以提升目标鸟瞰图特征的特征丰富性，从而有助于提升鸟瞰图特征的精度，这样，在基于目标鸟瞰图特征进行目标预测等任务时，有助于提升目标检测的准确度。
8、此外，本实施例只需要对第二类别的目标网格进行特征融合处理，计算量较小，便于在车辆进行部署。
9、在一种可能的实施方式中，所述车辆设置的各个图像采集装置对应的不同拍摄视角的视角覆盖范围呈360度。
10、本公开实施例中，由于各个图像采集装置对应的不同拍摄视角的视角覆盖范围呈360度，如此，可以提升各个图像采集装置拍摄的多张图像的图像内容的丰富性。
11、在一种可能的实施方式中，所述分别对所述多张图像进行特征提取，得到每张图像对应的图像特征，包括：
12、针对每张所述图像，对所述图像进行特征提取，得到与所述图像对应的初始图像特征；
13、将所述初始图像特征输入至预设的特征金字塔网络，得到分别与所述图像特征对应的深层特征以及浅层特征，其中，所述深层特征和所述浅层特征分别由所述特征金字塔网络的不同特征提取层进行输出得到；
14、将所述深层特征以及所述浅层特征进行融合，得到与所述图像对应的图像特征。
15、本公开实施例中，通过特征金字塔网络得到与图像特征对应的深层特征和浅层特征，这样将深层特征以及浅层特征进行融合后，可以提升图像特征的多尺度性。
16、在一种可能的实施方式中，所述针对属于所述第二类别的目标网格，从所述多张图像对应的图像特征中确定与所述目标网格匹配的目标特征点，包括：
17、针对每个所述目标网格，确定与所述目标网格对应的世界坐标系中的多个三维空间点；
18、针对每个三维空间点，将所述三维空间点分别投影到所述多张图像的图像特征上，得到与所述三维空间点对应的目标图像特征点；
19、将与各个三维空间点分别对应的目标图像特征点，确定为与所述目标网格匹配的目标特征点。
20、本公开实施例中，通过将与目标网格对应的三维空间点进行投影，得到与三维空间点匹配的目标图像特征点，这样，可以基于确定的目标图像特征点来增加目标网格中的特征信息，有利于提升目标网格的特征丰富性。
21、在一种可能的实施方式中，所述针对每个所述目标网格，确定与所述目标网格对应的世界坐标系中的多个三维空间点，包括：
22、针对每个所述目标网格，将所述目标网格的二维坐标转换到世界坐标系下，得到所述目标网格对应的世界坐标系下的横纵坐标，并基于所述横纵坐标在所述世界坐标系下进行竖直方向采样，得到所述多个三维空间点。
23、本公开实施例中，通过坐标转换确定目标网格对应的世界坐标系下的横纵坐标，并基于横纵坐标进行竖直方向采样，可以提升确定的多个三维空间点的准确性。
24、在一种可能的实施方式中，所述目标特征点的数量为多个；所述将所述目标网格的网格特征与所述目标特征点进行特征融合，以增加所述目标网格中的特征信息，包括：
25、针对每个目标特征点，将所述目标网格的网格特征与所述目标特征点进行特征融合，得到初步融合特征，并确定所述初步融合特征对应的权重；
26、基于各个初步融合特征以及各个初步融合特征分别对应的权重，增加所述目标网格中的特征信息。
27、本公开实施例中，通过将目标网格的网格特征与每个目标特征点分别进行特征融合，得到初步融合特征，然后基于初步融合特征以及对应的权重，如此可以增加目标网格的特征信息，并且可以避免特征信息的丢失。
28、在一种可能的实施方式中，每个所述目标特征点具有预测深度概率分布信息；所述确定所述初步融合特征对应的权重，包括：
29、获取与所述目标特征点对应的三维空间点相对于所述目标特征点所属的图像的实际深度信息，并基于预设的深度分布信息，确定所述实际深度信息对应的实际深度概率分布信息；
30、基于所述预测深度概率分布信息以及所述实际深度概率分布信息，确定所述初步融合特征的权重。
31、本公开实施例中，基于预测深度概率分布信息和实际深度概率分布信息，确定初步融合特征的权重，这样，可以使得初步融合特征中具有深度信息，从而可以提升目标鸟瞰图特征的特征信息丰富性。
32、在一种可能的实施方式中，所述方法还包括：
33、获取预设时间段内的多个目标鸟瞰图特征，从所述多个目标鸟瞰图特征中剔除至少一个目标鸟瞰图特征，得到剩余鸟瞰图特征；
34、根据目标预测网络对所述剩余鸟瞰图特征进行目标预测，得到目标预测结果；
35、获取剔除的所述至少一个目标鸟瞰图特征对应的实际结果，并基于所述目标预测结果以及所述剔除的所述至少一个目标鸟瞰图特征对应的实际结果，对所述鸟瞰图特征生成模型的模型参数进行调整。
36、本公开实施例中，基于预设时间段内的多个目标鸟瞰图特征进行预测，并基于预测结果对模型参数进行调整，可以提升模型对时序信息的提取能力，从而基于调整后的模型可以提高鸟瞰图特征的生成质量。
37、在一种可能的实施方式中，所述根据目标预测网络对所述剩余鸟瞰图特征进行目标预测，得到目标预测结果，包括：
38、将所述剩余鸟瞰图特征输入到长时序解码器中，得到第一特征；
39、从所述剩余鸟瞰图特征中确定具有短时序关系的目标剩余鸟瞰图特征，并将所述目标剩余鸟瞰图特征输入到短时序解码器中，得到第二特征；
40、基于所述第一特征以及所述第二特征，得到所述第一鸟瞰图特征，并将所述第一鸟瞰图特征输入至所述目标预测网络中，得到所述目标预测结果。
41、本公开实施例中，第一特征能够表征长时序信息，第二特征能够表征短时序信息，这样，即可提升第一鸟瞰图特征的时序表达能力。
42、在一种可能的实施方式中，获取当前时刻之前的至少一帧历史目标鸟瞰图特征，将所述目标鸟瞰图特征与所述至少一帧历史目标鸟瞰图特征进行融合，得到融合鸟瞰图特征。
43、本公开实施例中，将目标鸟瞰图特征与至少一帧历史目标鸟瞰图特征进行融合，得到融合鸟瞰图特征，也即，可以在时序上进行特征融合，有利于提升融合鸟瞰图特征的特征完整性。
44、本公开实施例提供了一种鸟瞰图特征的生成装置，包括：
45、图像获取模块，用于获取多张图像，其中，所述多张图像分别通过车辆设置的不同拍摄视角的图像采集装置拍摄得到；
46、特征提取模块，用于分别对所述多张图像进行特征提取，得到每张图像对应的图像特征，并将所述多张图像对应的图像特征输入到训练好的鸟瞰图特征生成模型中，得到初始鸟瞰图特征；所述初始鸟瞰图特征包括多个网格，每个网格具有对应的网格特征；
47、类别确定模块，用于针对所述初始鸟瞰图特征中的每个网格，确定所述网格的类别信息；所述类别信息包括第一类别以及第二类别，所述第一类别用于表征所述网格对应的视锥特征点云的数量大于预设数量，所述第二类别用于表征所述网格对应的视锥特征点云的数量小于所述预设数量；
48、特征融合模块，用于针对属于所述第二类别的目标网格，从所述多张图像的图像特征中确定与所述目标网格匹配的目标特征点，将所述目标网格的网格特征与所述目标特征点进行特征融合，以增加所述目标网格中的特征信息，得到目标鸟瞰图特征。
49、在一种可能的实施方式中，所述车辆设置的各个图像采集装置对应的不同拍摄视角的视角覆盖范围呈360度。
50、在一种可能的实施方式中，所述特征提取模块具体用于：
51、针对每张所述图像，对所述图像进行特征提取，得到与所述图像对应的初始图像特征；
52、将所述初始图像特征输入至预设的特征金字塔网络，得到分别与所述图像特征对应的深层特征以及浅层特征，其中，所述深层特征和所述浅层特征分别由所述特征金字塔网络的不同特征提取层进行输出得到；
53、将所述深层特征以及所述浅层特征进行融合，得到与所述图像对应的图像特征。
54、在一种可能的实施方式中，所述特征融合模块具体用于：
55、针对每个所述目标网格，确定与所述目标网格对应的世界坐标系中的多个三维空间点；
56、针对每个三维空间点，将所述三维空间点分别投影到所述多张图像的图像特征上，得到与所述三维空间点对应的目标图像特征点；
57、将与各个三维空间点分别对应的目标图像特征点，确定为与所述目标网格匹配的目标特征点。
58、在一种可能的实施方式中，所述特征融合模块具体用于：
59、针对每个所述目标网格，将所述目标网格的二维坐标转换到世界坐标系下，得到所述目标网格对应的世界坐标系下的横纵坐标，并基于所述横纵坐标在所述世界坐标系下进行竖直方向采样，得到所述多个三维空间点。
60、在一种可能的实施方式中，所述目标特征点的数量为多个；所述特征融合模块具体用于：
61、针对每个目标特征点，将所述目标网格的网格特征与所述目标特征点进行特征融合，得到初步融合特征，并确定所述初步融合特征对应的权重；
62、基于各个初步融合特征以及各个初步融合特征分别对应的权重，增加所述目标网格中的特征信息。
63、在一种可能的实施方式中，每个所述目标特征点具有预测深度概率分布信息；所述特征融合模块具体用于：
64、获取与所述目标特征点对应的三维空间点相对于所述目标特征点所属的图像的实际深度信息，并基于预设的深度分布信息，确定所述实际深度信息对应的实际深度概率分布信息；
65、基于所述预测深度概率分布信息以及所述实际深度概率分布信息，确定所述初步融合特征的权重。
66、在一种可能的实施方式中，所述鸟瞰图特征的生成装置还包括模型调整模块；所述模型调整模块用于：
67、获取预设时间段内的多个目标鸟瞰图特征，从所述多个目标鸟瞰图特征中剔除至少一个目标鸟瞰图特征，得到剩余鸟瞰图特征；
68、根据目标预测网络对所述剩余鸟瞰图特征进行目标预测，得到目标预测结果；
69、获取剔除的所述至少一个目标鸟瞰图特征对应的实际结果，并基于所述目标预测结果以及所述剔除的所述至少一个目标鸟瞰图特征对应的实际结果，对所述鸟瞰图特征生成模型的模型参数进行调整。
70、在一种可能的实施方式中，所述模型调整模块具体用于：
71、将所述剩余鸟瞰图特征输入到长时序解码器中，得到第一特征；
72、从所述剩余鸟瞰图特征中确定具有短时序关系的目标剩余鸟瞰图特征，并将所述目标剩余鸟瞰图特征输入到短时序解码器中，得到第二特征；
73、基于所述第一特征以及所述第二特征，得到所述第一鸟瞰图特征，并将所述第一鸟瞰图特征输入至所述目标预测网络中，得到所述目标预测结果。
74、在一种可能的实施方式中，所述特征融合模块还用于：
75、获取当前时刻之前的至少一帧历史目标鸟瞰图特征，将所述目标鸟瞰图特征与所述至少一帧历史目标鸟瞰图特征进行融合，得到融合鸟瞰图特征。
76、本公开实施例还提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行上述任一种可能的实施方式中所述的鸟瞰图特征的生成方法的步骤。
77、本公开实施例还提供一种车辆，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当车辆运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行上述任一种可能的实施方式中所述的鸟瞰图特征的生成方法的步骤。
78、本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述任一种可能的实施方式中所述的鸟瞰图特征的生成方法的步骤。
79、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开的技术方案。
80、为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
1.一种鸟瞰图特征的生成方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述车辆设置的各个图像采集装置对应的不同拍摄视角的视角覆盖范围呈360度。
3.根据权利要求1或2所述的方法，其特征在于，所述分别对所述多张图像进行特征提取，得到每张图像对应的图像特征，包括：
4.根据权利要求1-3任一所述的方法，其特征在于，所述针对属于所述第二类别的目标网格，从所述多张图像对应的图像特征中确定与所述目标网格匹配的目标特征点，包括：
5.根据权利要求4所述的方法，其特征在于，所述针对每个所述目标网格，确定与所述目标网格对应的世界坐标系中的多个三维空间点，包括：
6.根据权利要求4或5所述的方法，其特征在于，所述目标特征点的数量为多个；所述将所述目标网格的网格特征与所述目标特征点进行特征融合，以增加所述目标网格中的特征信息，包括：
7.根据权利要求6所述的方法，其特征在于，每个所述目标特征点具有预测深度概率分布信息；所述确定所述初步融合特征对应的权重，包括：
8.根据权利要求1所述的方法，其特征在于，所述方法还包括：
9.根据权利要求8所述的方法，其特征在于，所述根据目标预测网络对所述剩余鸟瞰图特征进行目标预测，得到目标预测结果，包括：
10.根据权利要求1所述的方法，其特征在于，所述方法还包括：
11.一种鸟瞰图特征的生成装置，其特征在于，包括：
12.一种电子设备，其特征在于，包括处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1-10任一项所述的鸟瞰图特征的生成方法的步骤。
13.一种车辆，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当车辆运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1-10中任一项所述的鸟瞰图特征的生成方法的步骤。
14.一种计算机存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1-10中任一项所述的鸟瞰图特征的生成方法的步骤。
