本发明涉及深度学习和智能无人系统，特别是涉及一种无人车决策模型虚实迁移方法、控制方法及相关系统。
背景技术：
1、虚实迁移是智能无人系统实现现实应用的重要研究方向之一，主要研究如何实现在虚拟仿真环境中训练的决策模型如何无缝地迁移到现实环境，弥合现实与虚拟环境之间的差异。虚实迁移方法的研究能够大大减少智能无人系统决策模型训练的训练成本、训练周期，提高策略学习效率。现有的虚实迁移方法主要有：域随机化、域自适应、渐进式网络、生成对抗网络等。
2、域随机化方法通过在源域引入随机性参数，增强模型的泛化性，使其能够在目标域中具有更强的适应能力；域自适应方法通过在虚拟环境和现实环境之间适应，使得模型能够更好地适应现实环境领域数据，提高泛化性；渐进式网络方法通过逐步将源域学习到的网络结构连接到目标域网络输入层，使得目标域的学习能够保留源域的知识，实现源域到目标域的迁移；生成对抗网络的方法通过对抗训练的方式生成高度逼真的现实环境数据，使得智能无人系统在虚拟环境中的感知和现实环境中的感知一致。
3、但是，以上这些方法中，虚拟环境和现实环境的输入是不关联的，大多需要现实环境的宝贵数据来进行微调，即在训练决策模型时，需要有一个在现实环境中训练的过程，并且难以解决相同任务的跨场景迁移问题，即对于相同的任务，改变其中的目标、障碍等元素类型，策略性能急剧下降，无法学习到任务中的语义。
4、综上，现有的虚实迁移方法主要存在虚拟现实感知差异大，导致策略无缝迁移困难的问题。
技术实现思路
1、本发明的目的是提供一种无人车决策模型虚实迁移方法、控制方法及相关系统，通过将任务环境中的真实物体与虚拟物体进行关联，从而构建虚实一致的任务环境语义图，并将其用于训练无人车决策算法模型，以实现决策算法模型的虚实无缝迁移。
2、为实现上述目的，本发明提供了如下方案：
3、第一方面，本发明提供了一种无人车决策模型虚实迁移方法，所述方法包括：
4、构建位姿数据集；所述位姿数据集包括各类虚拟物体的位姿数据；各类所述虚拟物体为不同形状的几何物体。
5、根据所述位姿数据集，利用神经辐射场网络学习各类所述虚拟物体的几何特征，获得每类所述虚拟物体对应的神经网络模型；所述几何特征包括虚拟物体对应像素点的颜色。
6、建立真实任务环境中各真实物体与各类所述虚拟物体的映射关系，并根据映射关系和各类所述虚拟物体对应的神经网络模型，确定各真实物体对应的神经网络模型。
7、根据所述真实任务环境中的各真实物体的位置信息以及各真实物体对应的神经网络模型，构建真实任务环境语义图；所述真实任务环境为无人车执行任务的真实环境。
8、根据所述真实任务环境语义图，对决策算法模型进行训练，获得训练后的决策算法模型。
9、将所述训练后的决策算法模型部署到所述无人车的控制器上；所述控制器用于根据训练后的决策算法模型控制所述无人车执行任务。
10、可选的，所述构建位姿数据集，包括：
11、构建虚拟数据生成场景。
12、在所述虚拟数据生成场景中，控制虚拟相机围绕所述虚拟物体自动运动，确定各类所述虚拟物体的位姿数据。
13、可选的，根据所述位姿数据集，利用神经辐射场网络学习各类所述虚拟物体的几何特征，获得每类所述虚拟物体对应的神经网络模型，包括：
14、根据所述虚拟相机内参确定目标图像中的光线方向；所述目标图像为所述虚拟相机围绕所述虚拟物体自动运动时所获取的图像。
15、根据所述位姿数据确定目标图像中的光线原点。
16、将所述光线原点以及所述光线方向输入至神经辐射场网络，确定所述虚拟物体预测颜色值。
17、将所述虚拟物体预测颜色值和所述虚拟物体实际颜色值代入损失函数中，得到损失值。
18、根据所述损失值，更新神经辐射场网络的权重，得到更新后的神经辐射场网络；所述更新后的神经辐射场网络为所述虚拟物体的神经网络模型。
19、可选的，所述真实任务环境中的各真实物体的位置信息的确定步骤，包括：
20、获取所述真实任务环境的当前观测值；所述当前观测值包括图像数据和雷达数据；
21、根据所述图像数据、所述雷达数据和yolo算法，估计真实任务环境中各真实物体的位置信息；所述位置信息包括所述真实物体的水平坐标信息、垂直坐标信息以及深度坐标信息。
22、可选的，根据所述真实任务环境中的各真实物体的位置信息以及各真实物体对应的神经网络模型，构建真实任务环境语义图，包括：
23、根据所述真实任务环境中的各真实物体的位置信息和真实相机内参，确定各真实物体图像对应的光线原点和光线方向。
24、将各真实物体图像对应的光线原点和光线方向输入到各真实物体对应的神经网络模型中，预测各真实物体图像的对应采样点的颜色值和密度值；所述采样点为根据光线原点和光线方向确定的射线上的点。
25、将预测的各真实物体图像的对应采样点的颜色值和密度值进行组合，重构出仅包含各真实物体的真实任务环境语义图。
26、可选的，所述决策算法模型为近端策略优化算法。
27、第二方面，本发明提供了另一种无人车决策模型虚实迁移方法，所述方法包括：
28、构建位姿数据集；所述位姿数据集包括各类虚拟物体的位姿数据；各类所述虚拟物体为不同形状的几何物体。
29、根据所述位姿数据集，利用神经辐射场网络学习各类所述虚拟物体的几何特征，获得每类所述虚拟物体对应的神经网络模型；所述几何特征包括虚拟物体对应像素点的颜色。
30、建立虚拟任务环境中各物体与各类所述虚拟物体的映射关系，并根据映射关系和各类所述虚拟物体对应的神经网络模型，确定虚拟任务环境中各物体对应的神经网络模型。
31、根据所述虚拟任务环境中的各物体的位置信息以及各物体对应的神经网络模型，构建虚拟任务环境语义图；所述虚拟任务环境为无人车执行任务的虚拟环境。
32、根据所述虚拟任务环境语义图，对决策算法模型进行训练，获得训练后的决策算法模型。
33、将所述训练后的决策算法模型部署到所述无人车的控制器上；所述控制器用于根据所述训练后的决策算法模型控制所述无人车执行任务。
34、第三方面，本发明提供了一种无人车决策模型虚实迁移系统，所述系统包括：
35、位姿数据集构建模块，用于构建位姿数据集；所述位姿数据集包括各类虚拟物体的位姿数据；各类所述虚拟物体为不同形状的几何物体。
36、神经网络学习模块，用于根据所述位姿数据集，利用神经辐射场网络学习各类所述虚拟物体的几何特征，获得每类所述虚拟物体对应的神经网络模型；所述几何特征包括虚拟物体对应像素点的颜色。
37、真实物体与虚拟物体映射模块，用于建立真实任务环境中各真实物体与各类所述虚拟物体的映射关系，并根据映射关系和各类所述虚拟物体对应的神经网络模型，确定各真实物体对应的神经网络模型。
38、真实任务环境语义图构建模块，用于根据所述真实任务环境中的各真实物体的位置信息以及每类真实物体对应的神经网络模型，构建真实任务环境语义图；所述真实任务环境为无人车执行任务的真实环境。
39、决策算法模型训练模块，用于根据所述真实任务环境语义图，对决策算法模型进行训练，获得训练后的决策算法模型。
40、部署模块，用于将所述训练后的决策算法模型部署到所述无人车的控制器上；所述控制器用于根据训练后的决策算法模型控制所述无人车执行任务。
41、第四方面，本发明提供了一种无人车控制方法，所述方法包括：
42、建立真实任务环境中的各真实物体与各类虚拟物体的映射关系，并根据所述映射关系和各类虚拟物体对应的神经网络模型，确定各真实物体对应的神经网络模型；各类虚拟物体对应的所述神经网络模型为根据位姿数据集，利用神经辐射场网络学习各类所述虚拟物体的几何特征，获得的每类所述虚拟物体对应的神经网络模型；所述几何特征包括虚拟物体对应像素点的颜色；所述位姿数据集包括各类虚拟物体的位姿数据；各类所述虚拟物体为不同形状的几何物体。
43、根据所述真实任务环境中的各真实物体的位置信息以及各真实物体对应的神经网络模型，构建真实任务环境语义图；所述任务环境为无人车执行任务的真实环境。
44、根据所述真实任务环境语义图，以及第一方面或第二方面或第三方面中所确定的训练后的决策算法模型，确定无人车的执行动作。
45、第五方面，本发明提供了一种无人车控制系统，所述系统包括：
46、真实物体与虚拟物体映射模块，用于建立真实任务环境中的各真实物体与各类虚拟物体的映射关系，并根据所述映射关系和各类虚拟物体对应的神经网络模型，确定各真实物体对应的神经网络模型；各类虚拟物体对应的所述神经网络模型为根据位姿数据集，利用神经辐射场网络学习各类所述虚拟物体的几何特征，获得的每类所述虚拟物体对应的神经网络模型；所述几何特征包括虚拟物体对应像素点的颜色；所述位姿数据集包括各类虚拟物体的位姿数据；各类所述虚拟物体为不同形状的几何物体。
47、真实任务环境语义图构建模块，用于根据所述真实任务环境中的各真实物体的位置信息以及各真实物体对应的神经网络模型，构建真实任务环境语义图；所述任务环境为无人车执行任务的真实环境。
48、控制模块，用于根据所述真实任务环境语义图，以及第一方面或第二方面或第三方面中所确定的训练后的决策算法模型，确定无人车的执行动作。
49、根据本发明提供的具体实施例，本发明公开了以下技术效果：
50、相较于现有技术存在虚拟环境和现实环境的输入不关联，训练决策模型时，需要有一个在现实环境中训练的过程，并且难以解决相同任务的跨场景迁移问题等缺陷，本发明通过构建各类虚拟物体的位姿数据，预训练神经辐射场网络，获得各类虚拟物体对应的神经网络模型，进而将真实物体和虚拟物体进行映射关联，并结合各真实物体对应的神经网络模型，构建真实任务环境语义图，将其用于对决策算法模型进行训练，从而实现决策算法模型的虚实无缝迁移。本发明的技术方案不需要经过在现实环境中训练无人车的过程，直接将训练好的决策算法模型部署至无人车即可，并且能够很好地解决相同任务的跨场景迁移的问题。
1.一种无人车决策模型虚实迁移方法，其特征在于，所述方法包括：
2.根据权利要求1所述一种无人车决策模型虚实迁移方法，其特征在于，所述构建位姿数据集，包括：
3.根据权利要求2所述一种无人车决策模型虚实迁移方法，其特征在于，根据所述位姿数据集，利用神经辐射场网络学习各类所述虚拟物体的几何特征，获得每类所述虚拟物体对应的神经网络模型，包括：
4.根据权利要求1所述一种无人车决策模型虚实迁移方法，其特征在于，所述真实任务环境中的各真实物体的位置信息的确定步骤，包括：
5.根据权利要求1所述一种无人车决策模型虚实迁移方法，其特征在于，根据所述真实任务环境中的各真实物体的位置信息以及各真实物体对应的神经网络模型，构建真实任务环境语义图，包括：
6.根据权利要求1所述一种无人车决策模型虚实迁移方法，其特征在于，所述决策算法模型为近端策略优化算法。
7.一种无人车决策模型虚实迁移方法，其特征在于，所述方法包括：
8.一种无人车决策模型虚实迁移系统，其特征在于，所述系统包括：
9.一种无人车控制方法，其特征在于，所述方法包括：
10.一种无人车控制系统，其特征在于，所述系统包括：
