本发明涉及目标探测识别，具体是一种基于ai模型的目标多模态数据融合识别系统及方法。
背景技术：
1、目标探测识别技术作为计算机视觉领域最为重要的分支之一，被广泛应用于多种领域，在利用无人机对目标进行探测并识别时，一般采用可见光相机进行目标探测，但是，由于可见光相机获取到图像质量在很大程度上取决于环境情况，在遇到不利环境光照或天气条件时，图像会出现目标显示不清晰的问题，进而影响目标识别，而利用红外相机进行目标探测能够有效克服不利环境带来的目标识别影响；
2、但是，在利用红外相机进行目标探测时，因距离等原因导致部分较小目标因其红外辐射能量不足，进而容易导致红外相机无法探测到目标，因此，在不同环境条件下，可能会出现无人机在同一位置时可见光相机能够拍摄到目标图像但是红外相机无法探测到目标的现象，但是此时可见光相机拍摄到的目标图像可能存在质量不高的问题，不及时发现这一异常现象并切换探测设备，不利于提高目标探测识别成功的概率。
3、所以，人们急需一种基于ai模型的目标多模态数据融合识别系统及方法来解决上述技术问题。
技术实现思路
1、本发明的目的在于提供一种基于ai模型的目标多模态数据融合识别系统及方法，以解决现有技术中提出的问题。
2、为实现上述目的，本发明提供如下技术方案：一种基于ai模型的目标多模态数据融合识别系统，包括：探测信息采集模块、红外识别选择模块、目标探测控制模块和目标识别管理模块；
3、通过所述探测信息采集模块采集目标探测历史数据以及当前探测路线数据；
4、通过所述红外识别选择模块通过探测设备切换的方式来进行目标探测并确认选择红外识别目标的条件；
5、通过所述目标探测控制模块在选择红外识别目标后，对目标探测路线进行调控；
6、通过所述目标识别管理模块进行红外目标识别管理；
7、所述探测信息采集模块的输出端连接所述红外识别选择模块和目标识别管理模块的输入端，所述红外识别选择模块的输出端连接所述目标探测控制模块的输入端，所述目标探测控制模块的输出端连接所述目标识别管理模块的输入端。
8、进一步的，所述探测信息采集模块包括历史探测信息采集单元和特征数据采集单元；
9、通过所述历史探测信息采集单元采集以往利用无人机进行目标探测时，可见光相机拍摄到的历史目标图像数据以及识别历史目标图像时的识别成功和识别失败次数数据，同时采集当前无人机的计划探测路线信息；
10、通过所述特征数据采集单元采集数据库中已存储的不同的目标特征数据集。
11、进一步的，所述红外识别选择模块包括历史探测信息分析单元、识别成功率预测单元和设备切换选择单元；
12、通过所述历史探测信息分析单元调取历史目标图像，对图像中出现目标的区域进行轮廓提取，获取与历史目标匹配的图像，由于历史目标图像在拍摄时由于环境可见度的变化可能会出现目标拍摄不完整的现象，此处的匹配的图像表示的是图像中目标区域轮廓与进行图像增强后的历史目标图像中出现目标的区域轮廓相重合的图像，在历史目标图像中出现目标的区域轮廓上设置若干个采样点，所有历史目标图像中设置的采样点间隔距离都相同，采样点为等距离设置，按顺时针方向依次连接采样点，将采样点组成的区域面积作为对应历史目标图像中出现目标的区域预估面积，通过相同方式分析与历史目标匹配的图像中出现目标的区域预估面积，依据预估面积分析不同历史目标图像中的目标可见系数，同时对所有历史目标图像进行模糊检测，获取历史目标图像的清晰度，将目标可见系数和清晰度组成数据组，调取每一组数据对应的图像的识别成功次数和识别失败次数数据，分析识别目标可见系数和清晰度不同的图像时的识别成功率，一组目标可见系数和清晰度对应一个识别成功率；
13、通过所述识别成功率预测单元将目标可见系数、清晰度以及识别成功率组成数据点，对数据点进行拟合建立目标识别分析模型，采集可见光相机当前拍摄到的图像，分析当前图像的目标可见系数和清晰度，将当前图像的目标可见系数和清晰度代入目标识别分析模型中，预测识别当前图像中目标的成功率；
14、通过所述设备切换选择单元设置成功率阈值，比较预测成功率和阈值，若预测成功率超出阈值，选择直接对可见光相机拍摄到的当前图像进行目标识别；若预测成功率未超出阈值，选择切换使用红外相机进行目标探测并识别，关闭可见光相机，将启动信号发送至红外相机控制端；
15、所述历史探测信息分析单元的输入端连接所述历史探测信息采集单元的输出端，所述历史探测信息分析单元的输出端连接所述识别成功率预测单元的输入端，所述识别成功率预测单元的输出端连接所述设备切换选择单元的输入端。
16、进一步的，所述目标探测控制模块包括设备切换控制单元和移动控制管理单元；
17、所述设备切换控制单元用于在接收到启动信号后，控制红外相机开启并进行目标探测识别；
18、所述移动控制管理单元用于调取当前无人机的计划探测路线，分析无人机按计划探测路线继续移动是否会与探测到的目标产生偏离：若判断会产生偏离，调整无人机向目标方向移动；若判断不会产生偏离，不调整计划探测路线，控制无人机按计划探测路线继续移动直至红外相机探测到目标；
19、所述设备切换控制单元的输入端连接所述设备切换选择单元的输出端，所述设备切换控制单元的输出端连接所述移动控制管理单元的输入端。
20、进一步的，所述目标识别管理模块包括目标图像获取单元、特征融合提取单元和ai训练识别单元；
21、所述目标图像获取单元用于利用红外相机对目标进行不同角度的图像拍摄，获取拍摄到的目标图像数据集；
22、所述特征融合提取单元用于提取不同角度下拍摄的目标图像的特征，利用3d-cvf特征融合技术对提取到的特征进行融合；
23、所述ai训练识别单元用于将融合后的目标特征数据输入到ai模型中，利用ai模型比对融合后的目标特征与预先采集到的不同目标的特征，确认当前的目标类别，完成当前的目标识别；
24、所述目标图像获取单元的输入端连接所述移动控制管理单元和特征数据采集单元的输出端，所述目标图像获取单元的输出端连接所述特征融合提取单元的输入端，所述特征融合提取单元的输出端连接所述ai训练识别单元的输入端。
25、一种基于ai模型的目标多模态数据融合识别方法，包括以下步骤：
26、s100：采集目标探测历史数据以及当前探测路线数据；
27、s200：通过探测设备切换的方式来进行目标探测并确认选择红外识别目标的条件；
28、s300：在选择红外识别目标后，对目标探测路线进行调控；
29、s400：进行红外目标识别管理。
30、进一步的，在s100中：采集以往利用无人机进行目标探测时，可见光相机拍摄到的历史目标图像数据以及识别历史目标图像时的识别成功和识别失败次数数据，采集当前无人机的计划探测路线信息，采集数据库中已存储的不同的目标特征数据集。
31、进一步的，在s200中：调取历史目标图像，对图像中出现目标的区域进行轮廓提取，获取与历史目标匹配的图像，在历史目标图像中出现目标的区域轮廓上以间隔距离l设置采样点，获取到随机一个历史目标图像上共设置了f个采样点，以图像中心为原点建立二维坐标系，获取到f个采样点坐标集合为（a，b）={（a1，b1），（a2，b2），…，（af，bf）}，按顺时针方向依次连接采样点，根据下列公式计算随机一个历史目标图像中出现目标的区域预估面积sg：
32、；
33、其中，aj和bj分别表示第j个采样点的横、纵坐标，通过相同方式计算得到与随机一个历史目标匹配的图像中出现目标的区域预估面积为f，得到随机一个历史目标图像中的目标可见系数wg，，通过相同方式计算得到不同历史目标图像中的目标可见系数集合为w={w1，w2，…，wg，…，wn}，其中，n表示历史目标图像个数，对历史目标图像进行模糊检测，检测到历史目标图像的清晰度集合为d={d1，d2，…，dn}，利用tenengrad梯度算法对图像进行模糊检测，将目标可见系数和清晰度组成数据组{（w1，d1），（w2，d2），…，（wn，dn）}，调取到以往识别目标可见系数为w1且清晰度为d1的图像时识别成功次数为h1，识别失败次数为g1，得到识别目标可见系数为w1且清晰度为d1的图像的识别成功率为k1，，通过相同方式得到的识别目标可见系数和清晰度不同的图像时的识别成功率集合为k={k1，k2，…，kn}，组成数据点{（w1，d1，k1），（w2，d2，k2），…，（wn，dn，kn）}，对数据点进行拟合建立目标识别分析模型：，其中，、和表示偏回归系数，分别求解、和：
34、；
35、；
36、；
37、其中，dg表示检测到的第g个历史目标图像的清晰度，kg表示识别目标可见系数为wg且清晰度为dg的图像的识别成功率，获取可见光相机当前拍摄到的图像，分析得到当前图像的目标可见系数为w，检测到当前图像的清晰度为d，当前图像的目标可见系数分析方式与上述方式相同，将w和d代入目标识别分析模型中：令x=w、y=d，预测得到识别当前图像中目标的成功率为，设置成功率阈值为k，比较和k：若，选择直接对可见光相机拍摄到的当前图像进行目标识别；若，选择切换使用红外相机进行目标探测并识别，关闭可见光相机，无人机上同时安装有可见光相机和红外相机；
38、考虑到会出现无人机在同一位置时可见光相机能够拍摄到目标图像但是红外相机因距目标较远导致红外辐射能量不足无法探测到目标，即可见光相机优先探测到目标的情形，优先对可见光相机拍摄到的目标图像进行分析，预测当前仅依据可见光相机拍摄到的图像进行目标识别时的识别成功率，进而选择是否需要切换红外相机继续探测目标，由于存在环境条件不同的问题，可见光相机拍摄的图像中目标可能显示不完整或图像不清晰，这两种因素都是影响目标识别成功率的主要因素，通过大数据技术采集历史识别数据，分析在不同情形下目标识别的成功率，以此作为参考样本来建立目标识别分析模型，利用模型来预测当前的识别成功率，若识别成功率偏低，及时选择切换红外相机进行目标探测，有利于有效克服在不利环境下可见光相机拍摄的图像因质量不高导致目标无法准确识别的弊端，若识别成功率偏高，直接依据可见光相机拍摄到的图像进行目标识别，无须再开启红外相机继续探测，在保障准确识别目标的同时降低了目标探测设备的整体耗能，实现了目标探测识别因环境条件的适应性调控的功能。
39、进一步的，在s300中：控制红外相机开启并进行目标探测识别，调取当前无人机的计划探测路线，以无人机当前所在位置为起点，截取从起点开始之后的计划探测路线，截取长度为j，在截取到的路线上等间距设置m个路线点，获取到m个路线点到当前探测到的目标的直线距离集合为c={c1，c2，…，cm}，其中，c1表示从起点之后设置的第1个路线点到当前探测到的目标的直线距离，对数据点{（1，c1），（2，c2），…，（m，cm）}进行直线拟合，建立偏离判断模型：，其中，a表示模型偏置，b表示截距，求解模型偏置a：
40、；
41、其中，ci表示从起点之后设置的第i个路线点到当前探测到的目标的直线距离，若，判断无人机按计划探测路线继续移动会与探测到的目标产生偏离，调整无人机向目标方向移动；若，判断无人机按计划探测路线继续移动不会与探测到的目标产生偏离，不调整计划探测路线，控制无人机按计划探测路线继续移动直至红外相机探测到目标；
42、在选择切换红外相机继续进行目标探测后，由于当前位置红外相机因目标较小而无法探测到目标，需要控制无人机继续移动直至红外相机能够探测到目标，由于存在初始已经计划好的移动路线，依据路线与目标的偏离情况对路线做出适应性调整，通过设置从当前位置起的路线点，建立路线偏离判断模型的方式来判断控制无人机依据已经计划好的移动路线移动是否能够帮助红外相机探测到目标，偏置大于0，表示沿路线移动无人机距当前目标的距离有拉远趋势，需要及时调整无人机移动方向，偏置小于或等于0，表示沿路线移动无人机距当前目标的距离有拉进趋势，在逐渐靠近目标，因此无须调整移动方向，在必要时灵活调整探测路线减少了红外相机探测到目标所花费的时间，同时减少了特定情况下无人机移动路线调整转换的工作量。
43、进一步的，在s400中：在红外相机探测到目标后，利用红外相机对目标进行不同角度的图像拍摄，获取拍摄到的目标图像数据集，提取不同角度下拍摄的目标图像的特征，利用3d-cvf特征融合技术对提取到的特征进行融合，将融合后的目标特征数据输入到ai模型中，利用ai模型比对融合后的目标特征与预先采集到的不同目标的特征，确认当前的目标类别，完成当前的目标识别，ai模型指的是神经网络模型；
44、由于不同角度下拍摄到的图像中，目标呈现多模态的特征，将目标特征进行融合后，再利用神经网络模型进行目标识别，提高了目标分类识别的准确率。
45、与现有技术相比，本发明的有益效果是：
46、考虑到会出现无人机在同一位置时可见光相机能够拍摄到目标图像但是红外相机因距目标较远导致红外辐射能量不足无法探测到目标，即可见光相机优先探测到目标的情形，优先对可见光相机拍摄到的目标图像进行分析，预测当前仅依据可见光相机拍摄到的图像进行目标识别时的识别成功率，进而选择是否需要切换红外相机继续探测目标，由于存在环境条件不同的问题，可见光相机拍摄的图像中目标可能显示不完整或图像不清晰，这两种因素都是影响目标识别成功率的主要因素，通过大数据技术采集历史识别数据，分析在不同情形下目标识别的成功率，以此作为参考样本来建立目标识别分析模型，利用模型来预测当前的识别成功率，若识别成功率偏低，及时选择切换红外相机进行目标探测，有利于有效克服在不利环境下可见光相机拍摄的图像因质量不高导致目标无法准确识别的弊端，若识别成功率偏高，直接依据可见光相机拍摄到的图像进行目标识别，无须再开启红外相机继续探测，在提高目标识别成功概率的同时降低了目标探测设备的整体耗能，实现了目标探测识别因环境条件的适应性调控的功能；
47、在选择切换红外相机继续进行目标探测后，由于当前位置红外相机因目标较小而无法探测到目标，需要控制无人机继续移动直至红外相机能够探测到目标，由于存在初始已经计划好的移动路线，依据路线与目标的偏离情况对路线做出适应性调整，通过设置从当前位置起的路线点，建立路线偏离判断模型的方式来判断控制无人机依据已经计划好的移动路线移动是否能够帮助红外相机探测到目标，在必要时灵活调整探测路线减少了红外相机探测到目标所花费的时间，同时减少了特定情况下无人机移动路线调整转换的工作量；
48、在进行目标识别时，考虑到不同角度下拍摄到的图像中目标呈现多模态的特征，将目标特征进行融合后，再利用神经网络模型进行目标识别，提高了目标分类识别的准确率。
1.一种基于ai模型的目标多模态数据融合识别系统，其特征在于，包括：探测信息采集模块、红外识别选择模块、目标探测控制模块和目标识别管理模块；
2.根据权利要求1所述的一种基于ai模型的目标多模态数据融合识别系统，其特征在于：所述探测信息采集模块包括历史探测信息采集单元和特征数据采集单元；
3.根据权利要求2所述的一种基于ai模型的目标多模态数据融合识别系统，其特征在于：所述红外识别选择模块包括历史探测信息分析单元、识别成功率预测单元和设备切换选择单元；
4.根据权利要求3所述的一种基于ai模型的目标多模态数据融合识别系统，其特征在于：所述目标探测控制模块包括设备切换控制单元和移动控制管理单元；
5.根据权利要求4所述的一种基于ai模型的目标多模态数据融合识别系统，其特征在于：所述目标识别管理模块包括目标图像获取单元、特征融合提取单元和ai训练识别单元；
6.一种基于ai模型的目标多模态数据融合识别方法，其特征在于：包括以下步骤：
7.根据权利要求6所述的一种基于ai模型的目标多模态数据融合识别方法，其特征在于：在s100中：采集以往利用无人机进行目标探测时，可见光相机拍摄到的历史目标图像数据以及识别历史目标图像时的识别成功和识别失败次数数据，采集当前无人机的计划探测路线信息，采集数据库中已存储的不同的目标特征数据集。
8.根据权利要求7所述的一种基于ai模型的目标多模态数据融合识别方法，其特征在于：在s200中：调取历史目标图像，对图像中出现目标的区域进行轮廓提取，获取与历史目标匹配的图像，在历史目标图像中出现目标的区域轮廓上以间隔距离l设置采样点，获取到随机一个历史目标图像上共设置了f个采样点，以图像中心为原点建立二维坐标系，获取到f个采样点坐标集合为（a，b）={（a1，b1），（a2，b2），…，（af，bf）}，按顺时针方向依次连接采样点，根据下列公式计算随机一个历史目标图像中出现目标的区域预估面积sg：
9.根据权利要求7所述的一种基于ai模型的目标多模态数据融合识别方法，其特征在于：在s300中：控制红外相机开启并进行目标探测识别，调取当前无人机的计划探测路线，以无人机当前所在位置为起点，截取从起点开始之后的计划探测路线，截取长度为j，在截取到的路线上等间距设置m个路线点，获取到m个路线点到当前探测到的目标的直线距离集合为c={c1，c2，…，cm}，其中，c1表示从起点之后设置的第1个路线点到当前探测到的目标的直线距离，对数据点{（1，c1），（2，c2），…，（m，cm）}进行直线拟合，建立偏离判断模型：，其中，a表示模型偏置，b表示截距，求解模型偏置a：
10.根据权利要求9所述的一种基于ai模型的目标多模态数据融合识别方法，其特征在于：在s400中：在红外相机探测到目标后，利用红外相机对目标进行不同角度的图像拍摄，获取拍摄到的目标图像数据集，提取不同角度下拍摄的目标图像的特征，利用3d-cvf特征融合技术对提取到的特征进行融合，将融合后的目标特征数据输入到ai模型中，利用ai模型比对融合后的目标特征与预先采集到的不同目标的特征，确认当前的目标类别，完成当前的目标识别。
