本发明涉及目标检测，更具体的，涉及一种基于整体性网络的夜间仓储机器人目标检测方法及系统。
背景技术：
1、在现代仓储管理中，使用机器人进行自动化作业已经成为一种趋势。然而，可见光图像的质量受到光照条件的限制，常常无法准确描述整个场景，特别是在暗光环境下, 传统的机器人视觉目标检测系统往往面临图像质量下降、目标识别不准确等问题。因此，结合红外图像进行图像融合已成为一种重要的解决方案，以提高机器人在夜间仓库作业中的目标检测效果。目前，传统的图像融合方法虽然在可见光与红外图像融合方面有所成效，但在暗光环境下的表现仍不尽人意。基于深度学习的图像融合方法虽然取得了一定的进展，但对于暗光环境下的图像融合问题仍有待改进。
2、已有的技术中，暗视成像红外和可见光图像融合方法(divfusion)提出了一种适用于暗光场景下的耦合交互图像融合网络，通过两阶段的训练方式解决了暗光环境下的图像融合问题。但其在阶段之间传输数据的形式采用单尺度的图像数据，导致融合结果出现过饱和的现象。而efmn则采用了多尺度的特征传输方式，提升了融合信息量，解决了全局过曝光现象。然而，这些方法仍存在信息数据流失的问题，且对融合图像的视觉效果并未给予足够关注。
技术实现思路
1、为了解决上述技术问题，本发明提出了一种基于整体性网络的夜间仓储机器人目标检测方法及系统。
2、本发明第一方面提供了一种基于整体性网络的夜间仓储机器人目标检测方法，包括：
3、利用仓储机器人的视觉装置获取暗光环境下的可见光图像及红外图像，通过隐藏的数据流水线构建整体性网络，将所述可见光图像及红外图像作为网络输入；
4、将所述可见光图像利用基于卷积神经网络的编解码器进行特征提取，分离光照分量和反射分量进行图像增强，获取增强图像；
5、将所述增强图像与红外图像聚合，利用交叉注意力模块及细节提取模块提取低频纹理信息及高频语义信息，通过所述低频纹理信息及高频语义信息生成融合图像；
6、根据所述融合图像进行目标特征提取及目标感知，输出仓储机器人的目标检测结果。
7、本方案中，通过隐藏的数据流水线构建整体性网络，将所述可见光图像及红外图像作为网络输入，具体为：
8、通过隐藏的数据流水线构建整体性网络，获取海量的暗光环境或夜间的可见光图像及红外图像作为数据源，从所述数据源中获取训练数据生成批处理块，将所述批处理块利用前向计算、反向计算及参数更新进行网络训练；
9、所述整体性网络包括数据增强阶段和图像融合阶段，并通过共享的特征提取模块相互耦合，将所述批处理块划分为若干数据片，利用数据流水线依次处理数据片；
10、整体性网络的每个阶段运行在独立的线程中，当前一阶段的计算任务结束后，利用消息机制生成消息发送到后一阶段，后一阶段接收到消息后继续执行计算任务；
11、并通过消息机制通知主线程顺序执行前向计算、反向计算及参数更新，迭代训练后输出最终的整体性网络，将仓储机器人视觉装置获取的暗光环境下的可见光图像及红外图像导入整体性网络，作为网络输入。
12、本方案中，所述数据增强阶段，具体为：
13、利用所述数据增强阶段对输入的暗光环境下可见光图像进行处理，使用基于卷积神经网络的编解码器对输入的暗光环境下的可见光图像进行特征提取；
14、在卷积神经网络中引入3d卷积残差块对所述可见光图像进行卷积，卷积操作后与输入相加进行激活，并设置两条并行特征提取支线，在两条特征提取支线中使用不同尺度的卷积核获取不同尺度的特征；
15、分别获取两条特征提取支线的多尺度特征，将两部分的多尺度特征进行拼接整合，对整合后的特征通过池化后利用不同步长的空洞卷积提取图像特征，利用解码器对所述图像特征进行特征恢复；
16、利用retinex理论分离出所述可见光图像的光照分量和反射分量，通过局部及全局响应归一化分别对所述反射分量进行处理，实现噪声抑制，并引入注意力机制对光照分量进行特征加强，实现光照修正；
17、将增强后的光照分量及反射分量重新合并，生成增强后的可见光图像。
18、本方案中，所述图像融合阶段，具体为：
19、将增强后的可见光图像与红外图像聚合输入到图像融合阶段，利用交叉注意力模块通过自注意力机制提取可见光图像与红外图像的基础特征信息，求解基础特征信息的结构信息，提取低频纹理特征；
20、利用可逆神经网络构建细节提取模块，通过特征数据共享获取交叉注意力模块的基础特征信息，基于所述基础特征信息通过递归训练的方式提取全局的高频语义信息；
21、将交叉注意力模块及细节提取模块输出的低频纹理特征及高频语义信息进行融合，生成最终的融合图像。
22、本方案中，所述交叉注意力模块，具体为：
23、利用自注意力机制对双通道编码器输出的特征信息整合、优化，利用交叉注意力引导基础特征信息的提取；
24、通过sobel算子进行边缘检测求解基础特征信息的结构信息，提取低频纹理特征；
25、其中可见光图像在交叉注意力模块的权重为：
26、;
27、其中分别表示可见光图像和红外图像的特征，、、分别表示查询、关键向量及值向量的计算，表示梯度求解操作，表示特征的展开维度，表示数据流链路，表示矩阵转置。
28、本方案中，所述细节提取模块，具体为：
29、利用可逆神经网络构建细节提取模块，通过递归训练的方式提取全局的细节信息生成高频语义信息；
30、可见光图像的高频语义信息和红外图像的高频语义信息表示为：
31、;
32、其中，表示可逆神经网络的映射函数，和分别代表可见光图像和红外图像的特征。
33、本方案中，根据所述融合图像进行目标特征提取及目标感知，输出仓储机器人的目标检测结果，具体为：
34、获取融合图像进行裁剪生成互不重叠且大小一致的图像块，提取融合图像的特征计算不同图像块的信息熵，根据所述信息熵对图像块进行筛选，保留大于预设信息熵阈值的图像块；
35、根据暗光环境下仓储目标的历史检测数据构建参考目标图像，并利用各类别仓储目标的正常图像实现参考目标图像的数据扩充，构建参考目标图像集；
36、利用保留的图像块进行目标初步检测，通过初步检测结果在参考目标图像集中进行预筛选，根据预筛选的图像数据构建参考块；
37、使用马氏距离作为度量函数，计算图像块与参考块之间的距离表征相似度，获取小于距离阈值的参考块，将每个图像块的参考块组成相似块集合；
38、获取相似块集合中背景类块及目标类块的占比，根据所述占比为图像块设置目标标签或背景标签，提取目标标签对应的图像块，统计分析参考块的出现频率最高仓储目标类别，输出仓储机器人的目标检测结果。
39、本发明第二方面提供了一种基于整体性网络的夜间仓储机器人目标检测系统，该系统包括：存储器、处理器，所述存储器及处理器存储并执行基于整体性网络的夜间仓储机器人目标检测方法的程序。
40、与现有技术相比，本公开的有益效果为：
41、（1）通过整体性网络结构和特征提取模块的设计，本发明能够更好地融合可见光图像的颜色信息和红外图像的结构信息，生成纹理细节丰富、结构信息明显的融合图像，从而提高目标检测的准确性；
42、（2）对比度均衡化的融合损失使得融合图像在视觉上更加清晰和均衡，减少了过曝光现象，使得仓储机器人在暗光环境下能够更准确地识别目标；
43、（3）由于采用了共享的特征提取模块和整体性网络结构，本发明减少了网络层级和参数数量，提高了计算效率，使得机器人视觉系统能够实时处理大量图像数据。
1.一种基于整体性网络的夜间仓储机器人目标检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于整体性网络的夜间仓储机器人目标检测方法，其特征在于，通过隐藏的数据流水线构建整体性网络，将所述可见光图像及红外图像作为网络输入，具体为：
3.根据权利要求2所述的一种基于整体性网络的夜间仓储机器人目标检测方法，其特征在于，所述数据增强阶段，具体为：
4.根据权利要求2所述的一种基于整体性网络的夜间仓储机器人目标检测方法，其特征在于，所述图像融合阶段，具体为：
5.根据权利要求4所述的一种基于整体性网络的夜间仓储机器人目标检测方法，其特征在于，所述交叉注意力模块，具体为：
6.根据权利要求4所述的一种基于整体性网络的夜间仓储机器人目标检测方法，其特征在于，所述细节提取模块，具体为：
7.根据权利要求1所述的一种基于整体性网络的夜间仓储机器人目标检测方法，其特征在于，根据所述融合图像进行目标特征提取及目标感知，输出仓储机器人的目标检测结果，具体为：
8.一种基于整体性网络的夜间仓储机器人目标检测系统，其特征在于，该系统包括：存储器、处理器，所述存储器及处理器存储并执行如权利要求1-7任一项所述的基于整体性网络的夜间仓储机器人目标检测方法的程序。
