本公开实施例涉及模型更新领域，更具体地，涉及一种多端协同的车辆模型更新方法、一种多端协同的车辆模型更新装置、一种车辆、及一种多端协同设备。
背景技术：
1、智能车辆是一个集环境感知、规划决策、多等级辅助驾驶等功能于一体的综合系统，智能车辆需要设置各种人工智能模型来实现这些功能，例如，需要设置用于通过摄像头采集的图像进行目标识别的目标识别模型等。对于智能车辆而言，模型的准确性是至关重要的，其决定了车辆的智能化功能能否可靠实现，因此，智能车辆的模型需要不断进行学习和更新。在现有技术中，在模型上线使用后，车辆能够基于获取到的样本，在本地对模型进行训练更新，但是，由于车辆获取到的样本数量和车辆自身的计算能力均有限，因此，导致模型性能的提升也受到了限制。
技术实现思路
1、本公开实施例的一个目的是提供一种结合多个车辆在本地的训练结果，对车辆模型进行更新以提升模型性能的新技术方案。
2、根据本公开的第一方面，提供了多端协同的车辆模型更新方法的实施例，该方法由车辆实施，该方法包括：
3、获取所述车辆的训练样本；
4、通过所述训练样本训练所述车辆的第一模型，得到所述第一模型的模型参数在训练结束时的第一参数值；
5、根据所述模型参数的所述第一参数值和所述模型参数在训练开始时的第二参数值，得到所述模型参数的梯度值；
6、将所述模型参数的梯度值发送至多端协同设备进行模型的协同更新；
7、接收所述多端协同设备通过所述协同更新得到的所述模型参数的第三参数值；其中，所述模型参数的第三参数值由所述多端协同设备根据所述模型参数的梯度值和公共模型中对应模型参数的参数值得到，所述公共模型与所述第一模型具有相同的网络结构，所述公共模型的模型参数的参数值为所述多端协同设备基于多个车辆提供的对应模型参数的梯度值更新后的数值；
8、通过所述第三参数值更新所述车辆的第一模型。
9、可选地，所述模型参数的第三参数值由所述多端协同设备根据所述模型参数的梯度值和公共模型中对应模型参数的参数值得到，包括：
10、所述模型参数的第三参数值由所述多端协同设备对所述模型参数的梯度值和所述模型参数的参数值进行第一加权计算得到；其中，所述模型参数的梯度值在所述第一加权计算中的权重，大于或者等于所述模型参数的参数值在所述第一加权计算中的权重。
11、可选地，所述公共模型由所述多端协同设备在得到所述模型参数的第三参数值之后，根据所述模型参数的梯度值和所述公共模型中对应模型参数的参数值进行更新。
12、可选地，所述公共模型由所述多端协同设备在得到所述模型参数的第三参数值之后，根据所述模型参数的梯度值和所述公共模型中对应模型参数的参数值进行更新，包括：
13、所述公共模型由所述多端协同设备在得到所述模型参数的第三参数值之后，根据对所述模型参数的梯度值和所述公共模型中对应模型参数的参数值进行第二加权计算的计算结果进行更新；其中，所述模型参数的梯度值在所述第二加权计算中的权重小于所述模型参数的参数值在所述第二加权计算中的权重。
14、可选地，所述将所述模型参数的梯度值发送至多端协同设备进行模型的协同更新之后，所述方法还包括：
15、接收所述多端协同设备通过所述协同更新得到的所述第一应用模型的模型参数的参数值；其中，所述第一应用模型为所述车辆在实施设定任务时应用的模型，所述第一模型为用于更新所述第一应用模型的训练用模型，所述第一应用模型的模型参数的参数值由所述多端协同设备根据所述模型参数的第三参数值得到；
16、通过接收到的所述第一应用模型的模型参数的参数值，更新所述第一应用模型。
17、可选地，所述第一模型为对应目标识别任务的模型，所述目标识别任务包括识别目标对象的位置和识别目标对象的类别，所述获取所述车辆的训练样本之前，所述方法还包括：
18、获取所述车辆的摄像头采集到的图像；
19、将所述图像输入至所述第一模型或者对应所述第一模型的第一应用模型，得到在所述图像中识别到的目标对象所对应检测框的检测框信息；其中，所述第一应用模型为所述第一模型的蒸馏模型，所述检测框信息包括所述检测框在所述图像中的位置信息和所述检测框所对应的目标对象类别的置信度；
20、获取设定时间段内的多帧图像的检测框信息；
21、根据所述多帧图像中对应同一目标对象类别的各检测框的置信度，对所述各检测框对应的关联数据进行拟合，并根据拟合结果在所述各检测框中筛选出有效检测框；其中，所述检测框对应的关联数据包括所述检测框在图像中的位置信息，以及所述检测框所在图像的采集时间；
22、获取所有有效检测框对应的最高置信度；
23、将每一所述有效检测框的置信度重新标注为所述最高置信度；
24、根据有效检测框的重新标注后的置信度，生成所述车辆的训练样本。
25、可选地，所述获取设定时间段内多帧图像的检测框信息之前，所述方法还包括：
26、在所述图像的检测框对应的最高置信度大于第一阈值的情况下，对所述图像的检测框信息进行设定处理，得到所述图像的需要保留的检测框；
27、在所述图像的检测框对应的最高置信度小于或者等于所述第一阈值的情况下，保留所述图像的所有检测框；
28、其中，所述进行设定处理包括：
29、在所述图像的所有检测框中滤除置信度小于所述第一阈值的检测框，得到检测框候选集合；
30、在所述检测框候选集合中，筛选出最大置信度对应的第一检测框；
31、遍历所述检测框候选集合中除所述第一检测框的其他检测框，计算每一其他检测框与所述第一检测框之间的交并比；
32、在所述检测框候选集合中滤除使得所述交并比大于第二阈值的其他检测框，并从所述检测框候选集合中取出所述第一检测框存放在第一集合中；
33、在所述第一集合中的检测框的数量达到设定值的情况下，将所述第二集合中的检测框作为所述图像的需要保留的检测框；
34、在所述第一集合中的检测框的数量小于所述设定值的情况下，再一次执行所述在所述检测框候选集合中，筛选出最高置信度对应的第一检测框的步骤。
35、可选地，所述根据所述多帧图像中对应同一目标对象类别的各检测框的置信度，对所述各检测框对应的关联数据进行拟合，包括：
36、在所述各检测框中，随机选出设定数量的置信度大于第三阈值的检测框作为内点；
37、通过所述内点对应的关联数据，拟合得到设定曲线；其中，所述设定曲线为反映识别到的目标对象在图像中位置信息随时间变化的曲线；
38、在所述各检测框具有不符合所述设定曲线的外点的情况下，在所述各检测框中滤除所述外点，并再次执行所述在所述各检测框中，随机选出设定数量的置信度大于第三阈值的检测框作为内点的步骤；
39、在所述各检测框不具有所述外点的情况下结束拟合，并将剩余的各检测框作为有效检测框。
40、根据本公开的第二方面，提供了多端协同的车辆模型更新方法的另一种实施例，该方法包括：
41、接收车辆发送的第一模型的模型参数的梯度值；其中，所述模型参数的梯度值根据所述模型参数在第一模型训练结束时的第一参数值和所述模型参数在第一模型训练开始时的第二参数值得到；
42、根据所述模型参数的梯度值和公共模型中对应模型参数的参数值，得到所述模型参数的第三参数值；
43、将所述模型参数的第三参数值发送至所述车辆进行第一模型的更新。
44、根据本公开的第三方面，提供了多端协同的车辆模型更新装置的实施例，该装置包括：
45、样本获取模块，用于获取所述车辆的训练样本；
46、本地训练模块，用于通过所述训练样本训练所述车辆的第一模型，得到所述第一模型的模型参数在训练结束时的第一参数值；
47、梯度计算模块，用于根据所述模型参数的所述第一参数值和所述模型参数在训练开始时的第二参数值，得到所述模型参数的梯度值；
48、发送模块，用于将所述模型参数的梯度值发送至多端协同设备进行模型的协同更新；
49、接收模块，用户接收所述多端协同设备通过所述协同更新得到的所述模型参数的第三参数值；其中，所述模型参数的第三参数值由所述多端协同设备根据所述模型参数的梯度值和公共模型中对应模型参数的参数值得到，所述公共模型与所述第一模型具有相同的网络结构，所述公共模型的模型参数的参数值为所述多端协同设备基于多个车辆提供的对应模型参数的梯度值更新后的数值；以及，
50、模型更新模块，用于通过所述第三参数值更新所述车辆的第一模型。
51、根据本公开实施例的第四方面，提供了一种车辆，其包括根据本公开实施例的第三方面所述的车辆模型更新装置；或者，所述车辆包括存储器和处理器，所述存储器存储可执行指令，所述指令用于控制所述处理器进行操作以执行根据本公开的第一方面所述的方法。
52、根据本公开实施例的第五方面，还提供了一种多端协同设备，其包括存储器和处理器，所述存储器存储可执行指令，所述指令用于控制所述处理器进行操作以执行根据本公开的第二方面所述的方法。
53、本公开实施例的一个有益效果在于，根据本公开实施例的车辆模型更新方法，车辆在本地对第一模型进行训练后，可以得到反映第一模型的模型参数的参数值本次训练中的变化程度的梯度值，并将该梯度值上传至多端协同设备进行模型的协同更新，以还利用其他车辆的训练结果，提升该车辆模型的性能。进一步地，在本公开实施例的方法中，多端协同设备维护一个公共模型，该公共模型与第一模型具有相同的网络结构，即，二者具有相同的模型参数，但模型参数的参数值通常是不同的，多端协同设备在进行协同更新时，将根据车辆提供的模型参数的梯度值和公共模型中对应模型参数的参数值，确定该车辆的模型参数的第三参数值，而公共模型的模型参数是由多个车辆的训练结果共同维护更新的，即，该公共模型的模型参数的参数值为基于多个车辆提供的对应模型参数的梯度值更新后的数值，这样，在该车辆根据多端协同设备提供的模型参数的第三参数值，来更新本地的第一模型时，便可达到融合多个车辆在本地的训练结果，对车辆模型进行更新的目的，进而以较高模型更新效率及经济的模型更新成本，提升模型性能。
54、通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。
1.一种多端协同的车辆模型更新方法，其特征在于，由所述车辆实施，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述模型参数的第三参数值由所述多端协同设备根据所述模型参数的梯度值和公共模型中对应模型参数的参数值得到，包括：
3.根据权利要求1所述的方法，其特征在于，所述公共模型由所述多端协同设备在得到所述模型参数的第三参数值之后，根据所述模型参数的梯度值和所述公共模型中对应模型参数的参数值进行更新。
4.根据权利要求3所述的方法，其特征在于，所述公共模型由所述多端协同设备在得到所述模型参数的第三参数值之后，根据所述模型参数的梯度值和所述公共模型中对应模型参数的参数值进行更新，包括：
5.根据权利要求1所述的方法，其特征在于，
6.根据权利要求1至5中任一项所述的方法，其特征在于，所述第一模型为对应目标识别任务的模型，所述目标识别任务包括识别目标对象的位置和识别目标对象的类别，所述获取所述车辆的训练样本之前，所述方法还包括：
7.根据权利要求6所述的方法，其特征在于，所述获取设定时间段内多帧图像的检测框信息之前，所述方法还包括：
8.根据权利要求6所述的方法，其特征在于，所述根据所述多帧图像中对应同一目标对象类别的各检测框的置信度，对所述各检测框对应的关联数据进行拟合，包括：
9.一种多端协同的车辆模型更新方法，其特征在于，包括：
10.一种多端协同的车辆模型更新装置，其特征在于，包括：
11.一种车辆，其特征在于，包括权利要求10所述的车辆模型更新装置；或者，所述车辆包括存储器和处理器，所述存储器存储可执行指令，所述指令用于控制所述处理器进行操作以执行根据权利要求1-8中任一项所述的方法。
12.一种多端协同设备，其特征在于，包括存储器和处理器，所述存储器存储可执行指令，所述指令用于控制所述处理器进行操作以执行根据权利要求9所述的方法。
