本发明涉及虚实融合，特别是一种基于虚实融合的边端仿真方法及系统。
背景技术：
1、随着社会对于生产自动化的需求的日渐增长，无人系统正在越来越广泛地被应用于生产生活当中，无人机、无人车等智能体在其中扮演者执行者地角色，而智能体投入实际生产使用前的仿真，是一个一直被广泛讨论的问题，不论是基本的运动控制还是越来越高级复杂的人工智能算法，在搭载在智能体上进行实际应用之前都要经历很长一段时间的调试过程，且在面对不同的场景时，算法中的参数包括执行顺序等都会有所不同，为了适应不同的场景，建设大量的特定场景化的试验场为无人智能平台提供调试的环境是开展相关研究的主要途径，但是实际建设这类场景是一件比较消耗资源的事情，特别是现如今无人系统的应用场景越来越多样复杂化，面对过于复杂或者危险的场景去搭建对应的实验场地很明显是一件不太合理的事情，所以人们对于仿真系统的使用需求日渐增长。
2、目前使用比较广泛的一些仿真平台如gazebo平台、flexible平台、physx平台以及英伟达的isaac sim平台等，都实现了复杂场景的构建和算法接口的集成，各类仿真平台随着渲染场景的日渐复杂，其需要的硬件条件也在不断提升，寻常的仿真都是渲染以及算法运行放在一台计算机上进行的，这样其实对于有多个智能体的情况其实比较不友好，一方面的多个智能体的运行包括渲染在一台机器上运行的话需要该机器配备比较高的算力，再来就是在该机器上进行仿真时画面窗口包括代码命令行窗口会比较多，分布杂乱，不容易观察以及展示。
3、本发明的目的就是为了克服上述现有仿真平台的缺陷而提出的一种基于虚实融合的边端仿真方案。
技术实现思路
1、鉴于上述存在的问题，提出了本发明。
2、因此，本发明所要解决的问题是：如何克服现有仿真平台的缺陷的问题。
3、为解决上述技术问题，本发明提供如下技术方案：一种基于虚实融合的边端仿真方法，包括，搭建仿真设备，建立仿真模型；根据仿真模型需要通过虚拟串口进行数据采集，进行虚拟仿真，形成虚拟智能体；进行虚拟智能体和实际智能体的虚实融合。
4、作为本发明所述一种基于虚实融合的边端仿真方法的一种优选方案，其中：所述仿真设备包括设备硬件及设备软件；所述设备硬件包括一台主服务器、一台管理服务器及多台边缘计算机，分别连接显示屏，观察虚拟环境及虚拟智能体的状态，使用交换机进行连接；所述主服务器cpu采用英特尔8359p，gpu采用nvidiayesla l40；所述管理服务器采用kubemanager云边协同管理平台；所述边缘计算机采用orin agx，连接用的所述交换机为10g交换机；所述设备软件采用英伟达isaac sim仿真平台及相关生态，采取nvidia最先进的虚拟仿真平台ovx的架构结合计算需求专注于机器人的训练和测试，桌面管理采用虚拟化桌面管理平台vmware horizonvgpu版。
5、作为本发明所述一种基于虚实融合的边端仿真方法的一种优选方案，其中：所述虚拟串口包括，在边缘计算机与其对应虚拟智能体的通讯方面，边缘计算机对于虚拟无人机的飞控以及各类传感器信息的读取、对虚拟无人车的编码器各个传感器的读取，采用虚拟串口通讯，在虚拟智能体上对应不同的传感器设置不同的串口，串口的协议与实际智能体上的对应传感器的协议相同，进行边缘计算平台与虚拟智能体的连接；所述传感器包括惯导单元、加速度传感器、陀螺仪、磁罗盘、气压传感器、超声波雷达，根据仿真模型需要通过虚拟串口进行数据采集；所述虚拟仿真包括，在训练数据上，利用域随机化和多种数据类型生成用于训练感知模型的合成数据。
6、作为本发明所述一种基于虚实融合的边端仿真方法的一种优选方案，其中：所述虚实融合包括，边端计算模块搭载在实际智能体上，实际的智能体与虚拟环境中建模出来的虚拟智能体建立联系，两个智能体之间的位姿同步和接收信息同步，实际智能体的位姿发送给虚拟智能体，虚拟智能体接收到的环境信息实时反馈给实际智能体，做到虚拟与现实的融合，对于现实智能体的定位，采用动作捕捉实现。
7、作为本发明所述一种基于虚实融合的边端仿真方法的一种优选方案，其中：所述动作捕捉包括，采用vicon光学动作捕捉系统，将反光标识贴在无人机的几个关键结点位置，粘贴的位置要有高度差，由光学动捕相机发出红外光经过标识上反光涂层反射进入动捕相机中，利用三角测量原理进行计算，对反光标识所在的点进行三维空间内的定位；所述vicon光学动作捕捉系统包括十五个红外摄像头、一台十二路交换机及vicon软件。
8、作为本发明所述一种基于虚实融合的边端仿真方法的一种优选方案，其中：所述虚实融合还包括，计算虚实融合程度函数考察虚实融合程度，表示为：
9、d(vi,ri)＝|vi-ri|
10、
11、
12、其中，f(v,r)为虚实融合程度函数，v为虚拟智能体的数据集合，r为实际智能体的数据集合，n为使用的传感器数量，vi为第i个传感器在虚拟智能体上的数据，ri为第i个传感器在实际智能体上的数据，d(vi,ri)为虚拟和实际数据之间的差异度量函数，θ(vi,ri)为虚拟和实际智能体在第i个传感器上的位姿差异，t为考察时间长度，s(vi)为虚拟智能体在第i个传感器上的状态，s(ri)为实际智能体在第i个传感器上的状态，α为控制差异度量的调节参数，β为控制状态同步的调节参数；设置虚实融合程度低阈值f1和高阈值f2，若f(v,r)∈[f2，1]，则虚拟智能体和实际智能体之间达到高度融合，为高度融合状态，虚拟和实际智能体之间的数据和行为表现出极高的一致性和同步性，虚实融合完成；若f(v,r)∈[f1，f2)，则虚拟智能体和实际智能体之间处于中度融合状态，虚拟和实际智能体之间存在一定程度的一致性，融合程度是可接受的，但需要对中度融合状态进行深度选择，选择出更高的融合效果；若f(v,r)∈[0，f1)，则表示虚拟智能体和实际智能体之间的融合程度低，为低融合状态，要求对融合策略进行重大调整和优化。
13、作为本发明所述一种基于虚实融合的边端仿真方法的一种优选方案，其中：所述对中度融合状态进行深度选择表示为：
14、
15、其中，fmf(v,r)为中度融合程度的函数，γ为虚拟智能体和实际智能体之间数据差异调节系数，δ为位姿同步精度调节系数，λ为调节数据差异的衰减系数；设置中度融合程度的函数阈值f3，若fmf(v,r)≥f3，则虚拟智能体和实际智能体之间处于中度融合上层状态，融合程度好，但仍有提升空间，加强位姿数据的实时同步和精确度，改善虚拟和实际智能体之间的交互反馈机制；若fmf(v,r)≤f3，则虚拟智能体和实际智能体之间处于中度融合下层状态，融合程度差，要求对融合策略进行重大调整和优化，改进数据同步机制，包括增加同步频率、优化数据传输过程，在虚拟环境中更准确地模拟实际环境，包括物理特性、传感器反馈。
16、本发明的另外一个目的是提供一种基于虚实融合的边端仿真方法的系统，其能通过虚实融合的边端仿真系统，解决了一种基于虚实融合的边端仿真的问题。
17、为解决上述技术问题，本发明提供如下技术方案：一种基于虚实融合的边端仿真系统，包括，仿真设备搭建模块、虚拟数据采集仿真模块及虚实融合模块；所述仿真设备搭建模块用于搭建仿真设备，建立仿真模型；所述虚拟数据采集仿真模块用于根据仿真模型需要通过虚拟串口进行数据采集，进行虚拟仿真，形成虚拟智能体；所述虚实融合模块用于进行虚拟智能体和实际智能体的虚实融合。
18、一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如上所述一种基于虚实融合的边端仿真方法的步骤。
19、一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如上所述一种基于虚实融合的边端仿真方法的步骤。
20、本发明有益效果为：本发明提供的一种基于虚实融合的边端仿真方法减小基于数学建模与物理规律构建数字孪生平台的误差，保证虚拟空间与物理空间的模型一致性；边端分离，主服务器用于渲染环境和虚拟智能体，计算模块用于任务相关算法的运行和计算，各司其职，能够保证整个系统最大程度的流畅运行，减弱系统硬件耦合性，在一个模块出现问题时不会影响其它模块以及主服务器的正常运行；在底层算法如串口连接等上位机与机身的信息传递模块，采用了虚拟串口的方式，在进行编程时可以最大程度地接近真实智能体上面上位机对于整个智能体的控制，仿真的程序可以在不需要做很大改动的情况下便可以放入真实智能体中，需要做的可能只需要改一些控制算法等的参数，相较于以往的仿真更具便利性，有利于降低时间成本，同时对虚实融合程度进行考察，使虚实融合程度更高。
1.一种基于虚实融合的边端仿真方法，其特征在于：包括，
2.如权利要求1所述的一种基于虚实融合的边端仿真方法，其特征在于：所述仿真设备包括设备硬件及设备软件；
3.如权利要求2所述的一种基于虚实融合的边端仿真方法，其特征在于：所述虚拟串口包括，在边缘计算机与其对应虚拟智能体的通讯方面，边缘计算机对于虚拟无人机的飞控以及各类传感器信息的读取、对虚拟无人车的编码器各个传感器的读取，采用虚拟串口通讯，在虚拟智能体上对应不同的传感器设置不同的串口，串口的协议与实际智能体上的对应传感器的协议相同，进行边缘计算平台与虚拟智能体的连接；
4.如权利要求3所述的一种基于虚实融合的边端仿真方法，其特征在于：所述虚实融合包括，边端计算模块搭载在实际智能体上，实际的智能体与虚拟环境中建模出来的虚拟智能体建立联系，两个智能体之间的位姿同步和接收信息同步，实际智能体的位姿发送给虚拟智能体，虚拟智能体接收到的环境信息实时反馈给实际智能体，做到虚拟与现实的融合，对于现实智能体的定位，采用动作捕捉实现。
5.如权利要求4所述的一种基于虚实融合的边端仿真方法，其特征在于：所述动作捕捉包括，采用vicon光学动作捕捉系统，将反光标识贴在无人机的几个关键结点位置，粘贴的位置要有高度差，由光学动捕相机发出红外光经过标识上反光涂层反射进入动捕相机中，利用三角测量原理进行计算，对反光标识所在的点进行三维空间内的定位；
6.如权利要求5所述的一种基于虚实融合的边端仿真方法，其特征在于：所述虚实融合还包括，计算虚实融合程度函数考察虚实融合程度，表示为，
7.如权利要求6所述的一种基于虚实融合的边端仿真方法，其特征在于：所述对中度融合状态进行深度选择表示为，
8.一种采用如权利要求1～7任一所述的一种基于虚实融合的边端仿真方法的系统，其特征在于：包括，仿真设备搭建模块、虚拟数据采集仿真模块及虚实融合模块；
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于：所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的一种基于虚实融合的边端仿真方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的一种基于虚实融合的边端仿真方法的步骤。
