本发明属于数字孪生技术，具体涉及大型室内未知场景下的搜救技术，尤其涉及一种基于数字孪生的多车平行智能协同搜救系统及其构建方法。
背景技术：
1、数字孪生(digital twins)最指用数字技术在计算机的虚拟空间中建立一个和物理实体完全等价的信息模型。该信息模型可作为监控实体的工具，也可以通过自身规划为实体提供引导。通过对城市受灾现场，即搜救场景建立数字孪生模型有助于让决策者更快更直观了解现场情况，进而做出有效的决策，在不造成损失的情况下寻找更佳的决策方案，提高物理世界的工作效率，节省救援时间，将数字孪生技术融入城市搜救具有十分重大的现实意义。此外，数字孪生还可以与平行智能相结合，即通过在仿真环境中对虚体自身进行智能决策推演，提供决策方案来辅助实体有效决策。
2、现阶段，针对大型室内未知场景的搜寻主要依靠人工完成，但场景的大规模和未知导致存在搜寻时间长、搜寻效率低、威胁搜救人员安全等问题。伴随着国家工业化和智能化的发展，无人车、无人机等无人系统凭借着高性能、高灵活性、高精度、在危险区域执行任务不造成人员伤亡等特点，被广泛应用于各种抢险救灾、侦察打击等现场。所以使用无人车、无人机等无人系统进行搜救不仅能够提高搜索效率，更可以良好的保证人员生命安全。如今在部分的搜救行动中会使用无人机来进行搜救，源于无人机具有高机动性，能够大幅提高搜救效率。但当面对城市这类大场景时，无人机的一些缺点便暴露出来：首先，其负重能力弱、电量有限、无法长时间支持高强度的搜救任务。其次，无人机受天气影响较大，当城市经历极端自然灾害后极有可能伴随大风、强电磁干扰等极端环境，这些使无人机性能无法体现，甚至发生故障，如电子设备失灵现象，此时无人机本身会变成一个巨大的威胁因素。相比之下，无人车具有更强的环境适应性，可以负载更多的传感器设备感知信息辅助后续。除此之外，在城市搜救任务中，时间被认为是最重要的指标之一。在城市这种大范围且复杂场景中，使用有限载荷和航程限制的单个机器人往往效率极低，要花费大量时间。另一方面，复杂的地形、气象等现实条件容易导致单机产生故障，导致任务失败。而同时使用多个机器人协同工作，多机之间的数据通信可进行资源整合及共享提高救灾的能力及范围，不仅可以有效提高救援效率，保障受灾人员的生命健康，及时处理灾区事故，还可以降低单点失效导致任务失败的风险，大大提高系统的鲁棒性。
3、将数字孪生技术应用于大型室内未知场景的搜救任务，能够让决策者快速了解真实情况并依据辅助决策进行高效决策。结合无人化集群的方式完成救援任务，在保障高效搜索效率的同时也确保了救援人员的人身安全。
技术实现思路
1、发明目的：针对大型室内未知场景的下的搜救任务中存在的复杂多变、无法清楚准确的识别和定位搜救目标的问题，本发明的第一目的是提供一种基于数字孪生的多车平行智能协同搜救系统，第二目的是提供一种基于数字孪生的多车平行智能协同搜救系统的构建方法。
2、技术方案：一种基于数字孪生的多车平行智能协同搜救系统，该系统通过动静结合方式建立3d数字孪生模型，对于固定的无人车模型，采用静态构建方式，通过urdf模型的方式导入数字孪生系统；对于搜救场景采用基于激光雷达的实时3d环境重建，通过对实体激光雷达传感器扫描的点云数据进行处理，获取地图文件，再通过实时的虚实交互，孪生模型根据数据类型进行分析判断，在不同位置建立不同属性物体，最终完成孪生系统的实时构建；
3、所述系统通过实时误差补偿的方式来实现虚实同步，实虚体移动模块传递话题/cmd_vel的速度信息，包含角速度及线速度；当检测到误差超出设定阈值时，移动模块上报误差补偿模块，误差补偿模块结合话题/odom实时位姿信息进行补偿，调整移动模块参数，最终实现实时精准的同步孪生；
4、所述系统包括基于移动的实体进行目标识别，在搜救区域中基于视觉识别算法识别搜救目标，且实时上报自身位置信息及周边的虚实体，所述的移动实体包括与周围移动实体的通信。
5、一种基于数字孪生的多车平行智能协同搜救系统的构建方法，包括如下步骤：
6、(1)构建融合平行智能的数字孪生系统框架，所述的数字孪生系统框架基于五维模型结合平行智能的决策任务与搜救场景，且包括平行决策层在内的数字孪生六维框架；
7、(2)构建待搜救区域的3d数字孪生模型，该模型是以动态静态结合方式进行孪生模型的实时构建，其中对于无人车模型使用静态进行构建，对于搜救场景环境模型采用实时动态构建；
8、(3)基于在线校准的虚实同步技术，通过实时在线监控的方式来进行实虚体之间的各参数同步，保证在各类属性上孪生世界和物理世界保持高度一致；
9、(4)基于虚实交互的协同目标搜索技术，以无人车集群方式进行目标协同搜索，同时无人车集群实时与数字孪生系统进行信息交互，该信息包括无人集群自身位置及搜索过程状态信息；
10、(5)基于实时孪生数据的平行决策推演技术，待搜救目标位置确认后，系统开始进行平行决策推演，进而根据实时孪生数据及任务信息从预案方法库中选择算法，随后开始生成平行决策，最终从若干决策方案中选择奖励值最高决策作为辅助决策方案。
11、进一步地，所述的数字孪生系统框架包括物理实体层、虚拟孪生层、孪生数据层、平行决策层、服务层以及连接层六部分；
12、所述的物理实体层是由物理世界真实存在的物体组成，包括若干移动机器人和真实环境两部分，所有移动机器人共享一个真实环境，其中移动机器人实体为无人车turtlebot3 waffle pi，真实环境实体为自主搭建室内静态障碍场地，两部分实体均具备几何特征和物理特性；
13、所述的虚拟孪生层是在unity 3d仿真系统建立的真实物理实体的三维数字镜像，与物理实体层的两部分内容一一对应，且包括机器人孪生模型和孪生环境模型，无人车孪生体采用静态方式构建，孪生环境使用动态方式进行3d实时重建；
14、所述的孪生数据层用于衔接虚体实体之间的数据传输和存储，实体采集的孪生数据包括由激光雷达、视觉摄像头在内传感器所采集的实时信息以及移动机器人所产生的移动数据，孪生体采集的数据包括实时3d重建的孪生环境信息和孪生系统运行维护过程及平行决策中产生的状态信息；
15、所述平行决策层根据任务目标和已建立的数字孪生虚拟环境为决策者提供辅助方案，通过在虚拟孪生场景内生成若干预备决策方案，在虚拟场景中运行后评估性能，再对各预备决策方案进行平行比较，最终选择最佳决策提供给决策人员作为参考；
16、所述的服务层是面向真实应用中的需求问题，包括功能服务和应用服务，所述的功能服务用于协调和管理系统各组件间通信以及机器人控制管理，所述的应用服务用于提供虚实交互的协同搜索在内的任务场景，且所述的服务层与平行决策层交互为后续面向应用的辅助决策制定提供支持；
17、所述的连接层负责数据传递，是任意两层交互的桥梁，其传递数据包括实体模型所采集的各类传感器数据、孪生体环境模型构建数据以及驱动无人车孪生模型的移动数据、平行决策层所需实时孪生模型状态数据以及平行决策后的最优决策数据。所有经过连接层传递的数据都将送入孪生数据层进行保存，为后续的应用操作提供支持。
18、进一步地，所述的3d数字孪生模型中是通过以urdf文件实现进行构建，预先测量实体机器人的真实物理参数再按照指定格式进行存储。
19、进一步地，所述的3d数字孪生模型中对于搜救场景环境模型的实时动态构建包括如下过程：
20、基于激光slam设计实时3d重建算法，该算法以激光slam生成的稠密点云地图数据作为实时孪生环境构建的数据源，在获取点云地图数据后，对数据进行格式转换和坐标提取，该算法的是通过灰度映射将灰度值映射为高度信息，数学表达式如下所示：
21、h[i][j]＝g[i][j]*γ+δh
22、其中，g[i][j]为地图像素(i,j)处的灰度值，h[i][j]为地图像素(i,j)处的高度值，γ为缩放因子，δh为高度偏移量；
23、获取高度信息后连同平面坐标信息一同保存为pcd格式，其转换关系数学表达式如下所示：
24、f(j)＝j*α
25、g(i)＝i*α
26、x[i][j]＝f(j)
27、y[i][j]＝g(i)
28、z[i][j]＝h[i][j]
29、其中x,y,z为最终提取的点云坐标，f(j),g(i)为像素点坐标向三维空间映射关系，α为像素间距离；
30、实体将点云位置坐标、点云数据类型、实时激光雷达数据打包，然后传输至数字孪生系统，用于后续的数字孪生环境生成；
31、虚体端接受数据后首先进行类型判断，区分障碍物和空地，点云类型判断与激光slam一致，当点云数据p取值不同时，认定为不同类型，具体数学表达式如下所示：
32、
33、将所有点云根据类型完成分类后，进行3d孪生模型的生成。
34、进一步地，基于在线校准的虚实同步包括移动模块和精度校准模模块，当实体接收到移动目标点后，所述移动模块中move_base立即规划轨迹并向下层控制器发放，最终转化为无人车的角速度ω和线速度v驱动实虚体移动；
35、所述精度校准模块用于误差补偿，误差包含虚体误差监控和精度校准，在虚实同步中，误差指孪生体和实体之间移动的位置偏差，通过精度校准模块会实时进行误差监控，误差计算方法数学表达式如下所示：
36、d(a,b)＜ω
37、其中a,b为实虚体相对于坐标原点的实时坐标，d(a,b)为实虚体距离，ω为规定阈值，超过阈值ω判定为误差产生，需要进行精度校准，将实体传输的里程计位姿数据和虚体现有坐标数据做差后对角速度和线速度进行补偿，精度校准的数学表达式如下所示，
38、δpos＝apos-bpos
39、δorien＝aorien-borien
40、δω＝δorien/δt
41、δv＝δpos/δt
42、ω'＝ω+δω
43、v'＝v+δv
44、其中ω'和v'是经过精度校准后的线速度和角速度，ω和v为实体即时传递给虚体的速度值，δpos为实虚体之间的坐标差值，δorien为实虚体之间的朝向差值；在校准过程中，孪生体将位姿差值作为角速度线速度补偿因子，在δt时间内完成位置更新；经在线校准后，由实体虚体移动所导致位移偏差将下降。
45、进一步地，该方法中，实体运动模块在收到系统下发的搜索区域后，基于yolo算法开始规划路径并在过程中进行视频图像采集，识别过程的数学表达式如下：
46、z＝f(x)
47、b,c＝g(z)
48、其中，x为待识别图像，f为特征提取神经网络模型，z为图像特征向量。g为类型预测模型，b,c分别为图像中心框坐标和识别结果；当结果为人类时，开始进行目标定位。
49、进一步地，在实体运动模块进行人类的识别和目标定位过程中，是基于双目测距完成对目标位置的确定，具体还包括：
50、首先通过pyrealsense获取当前图像帧并计算对齐帧，再从中分别获取color帧和depth帧；从color帧中提取rgb图像并通过yolo模型获取目标框中心像素坐标(u,v)，其计算方法为将像素坐标(ux,uy)转换为归一化平面上的坐标(u,v)，其中fx和fy分别是相机的焦距(以像素为单位)，cx和cy是主点的坐标(以像素为单位):
51、
52、
53、从depth帧获取各像素深度值d，结合归一化平面坐标(u,v)，得到相机坐标系下的坐标plocal，其数学表达如下：
54、x＝u·d
55、y＝v·d
56、z＝d
57、最后，使用相机的外参(旋转矩阵r和平移向量t)将相机坐标系下的三维坐标转换为世界坐标系下的三维坐标：
58、
59、其中plocal为目标点在相机坐标系中的坐标，pglobal为计算出的目标全局坐标，rz、ry、rx分别为用无人车的位姿pitch(θ)、yaw(ψ)计算的相应旋转矩阵，数学表达式如下所示：
60、
61、
62、
63、获取目标位置信息pglobal后，立即将其上报至数字孪生系统，系统根据上报位置对目标进行特殊标注。
64、步骤(5)搜救目标位置确认后，系统开始进行平行决策推演为决策者提供救援方案，系统根据实时孪生数据及任务信息从预案方法库中匹配算法，随后开始生成平行决策：以单体无人车作为智能体，以实时3d重建的孪生环境作为训练环境，定义决策模型五元组(s,o,a,r,pr)，五元组的含义如下：
65、1)动作空间a：无人车智能体驱动的主要方式是设置线速度、角速度，因此at∈a在时刻t的动作定义如下所示：
66、at＝{νt,ωt}
67、s.t.0≤νt≤0.26m/s 0≤ωt≤1.82rad/s
68、其中νt为t时刻智能体的线速度，ωt为智能体的角速度；根据无人车真实情况，对线速度和角速度的大小进行限制；
69、2)观测空间o：无人车智能体只能观测到部分环境信息，包括智能体在时刻t所选择的动作at以及时刻t的自身位置和目标位置因此时刻t的观测定义如下所示：
70、
71、3)奖励函数r：该系统的奖励设计包含三部分：到达最终目标时提供较大正奖励，当触碰到障碍物时不提供奖励，训练回合结束，同时，为了加快训练收敛速度，在其余情况中，根据前后两个时刻智能体和目标的距离差提供惩罚：与目标距离变小提供较小正奖励，与目标距离变大提供较小负奖励，最终，时刻t的奖励函数的定义如下所示：
72、
73、其中dg(t)为智能体到目标的距离，gdis为目标到达阈值，do(t)为智能体到最近障碍的距离，odis为触碰障碍的阈值，dg(t-1)-dg(t)为前后两个时刻智能体到目标的距离差；
74、4)状态空间s：在状态定义上，状态空间包括智能体所有观测内容，因此，对于st∈s,被定义为st＝ot其中st为t时刻智能体的状态值，基于以上的决策模型定义，对所有决策进行迭代训练后得到决策奖励向量(r1,r2...rn)，由决策评估函数f进行最优决策选择，f定义如下所示：
75、f＝max(r1,r2...rn)
76、以奖励值最大决策为最优决策r*，将其对应规划轨迹作为平行决策推演方案，为决策者提供具体的救援路线参考。
77、有益效果：与现有技术相比，本发明显著的效果主要包括：
78、(1)本发明采用动静结合来构建孪生模型，能够保证实时性与扩展性；
79、(2)本发明利用设计的误差补偿策略，能够保证数字孪生系统的虚实同步；
80、(3)利用协同搜索算法与视觉识别算法保障对待搜救目标的高效搜索；
81、(4)利用数字孪生系统进行虚实交互，为决策者提供辅助决策，也可以利用无人集群为搜救任务提供有利支持。
1.一种基于数字孪生的多车平行智能协同搜救系统，其特征在于，该系统通过动静结合方式建立3d数字孪生模型，其中对于固定的无人车模型，采用静态构建方式，通过urdf模型的方式导入数字孪生系统；对于搜救场景采用基于激光雷达的实时3d环境重建，通过对实体激光雷达传感器扫描的点云数据进行处理，获取地图文件，再通过实时的虚实交互，孪生模型根据数据类型进行分析判断，在不同位置建立不同属性物体，最终完成孪生系统的实时构建；
2.如权利要求1所述的一种基于数字孪生的多车平行智能协同搜救系统的构建方法，其特征在于：包括如下步骤：
3.根据权利要求2所述的基于数字孪生的多车平行智能协同搜救系统的构建方法，其特征在于：所述的数字孪生系统框架包括物理实体层、虚拟孪生层、孪生数据层、平行决策层、服务层以及连接层六部分；
4.根据权利要求2所述的基于数字孪生的多车平行智能协同搜救系统的构建方法，其特征在于：所述的3d数字孪生模型中是通过以urdf文件实现进行构建，预先测量实体机器人的真实物理参数再按照指定格式进行存储。
5.根据权利要求2所述的基于数字孪生的多车平行智能协同搜救系统的构建方法，其特征在于：所述的3d数字孪生模型中对于搜救场景环境模型的实时动态构建包括如下过程：
6.根据权利要求2所述的基于数字孪生的多车平行智能协同搜救系统的构建方法，其特征在于，基于在线校准的虚实同步包括移动模块和精度校准模模块，当实体接收到移动目标点后，所述移动模块中move_base立即规划轨迹并向下层控制器发放，最终转化为无人车的角速度ω和线速度v驱动实虚体移动；
7.根据权利要求2所述的基于数字孪生的多车平行智能协同搜救系统的构建方法，其特征在于，该方法中，实体运动模块在收到系统下发的搜索区域后，基于yolo算法开始规划路径并在过程中进行视频图像采集，识别过程的数学表达式如下：
8.根据权利要求7所述的基于数字孪生的多车平行智能协同搜救系统的构建方法，其特征在于，在实体运动模块进行人类的识别和目标定位过程中，是基于双目测距完成对目标位置的确定，具体还包括：
9.根据权利要求2所述的基于数字孪生的多车平行智能协同搜救系统的构建方法，其特征在于：步骤(5)搜救目标位置确认后，系统开始进行平行决策推演为决策者提供救援方案，系统根据实时孪生数据及任务信息从预案方法库中匹配算法，随后开始生成平行决策：以单体无人车作为智能体，以实时3d重建的孪生环境作为训练环境，定义决策模型五元组(s,o,a,r,pr)，五元组的含义如下：
