本发明涉及行人检测，特别是涉及一种可见光-红外多模态行人检测方法、系统、计算机设备及存储介质。
背景技术：
1、随着新能源汽车和智能驾驶技术的迅猛发展，对行人检测技术的要求也在不断提高。新能源汽车以其环保、高效的特点逐渐成为市场的主流，而智能驾驶技术的进步则为汽车行业带来了革命性的变化。这些技术的发展不仅提高了汽车的性能，也极大地增强了行车安全性。在这样的背景下，行人检测技术成为了智能驾驶系统中不可或缺的一部分。
2、行人检测任务通常需要在全天候及全时段下进行，面对例如照度低、曝光高、行人被遮挡及恶劣天气等情况时，单一的基于可见光图像的行人检测无法获得精度高、鲁棒性好的检测结果。因此引入红外图像与可见光图像互相补充，利用两种图像信息在不同条件下的特点，增强行人检测算法应对复杂情况的能力，实现全天候、全时段的行人检测。其中，可见光图像的特点是具有更多的细节和更好的分辨率，但十分依赖光照，无法在照度低、曝光高等情况下工作；红外图像的特点是其检测物体发出的热量信息，在低光照情况下有较好的鲁棒性，但其分辨率低、缺乏颜色和纹理信息的缺点也使其无法全时段工作。因此，判断环境光照的强度对于可见光和红外图像的融合具有重要的意义，合理的融合权重可以更好地发挥可见光和红外图像各自的优势。
3、行人检测技术的核心目标是在各种复杂的交通环境中准确、快速地识别出行人的位置和行动趋势，以便智能驾驶系统能够及时做出反应，避免交通事故的发生。这要求行人检测技术不仅要有高度的准确性，还要能够适应各种光照条件、天气条件以及复杂的道路环境
4、为了满足这些要求，行人检测技术正朝着更加智能化、高效化的方向发展。利用深度学习等人工智能技术，研究人员正在开发出更加强大的行人检测算法，这些算法能够从海量的数据中学习行人的各种特征，提高检测的准确率和速度。同时，通过集成多种传感器，如摄像头、雷达和激光雷达等，智能驾驶系统能够获得更加全面和精确的周围环境信息，进一步提高行人检测的性能。
技术实现思路
1、发明目的：为了提高行人检测的准确性和鲁棒性，本发明提供了一种可见光-红外多模态行人检测方法、系统、计算机设备及存储介质，通过在不同光照条件下为两种不同模态数据的融合添加自适应权重，实现全天候及复杂环境下的行人检测，以满足智能驾驶及视频监控等领域的需求。
2、技术方案：一种可见光-红外多模态行人检测方法，包括以下步骤：
3、搭建并训练光照感知网络模型，得到训练好的光照感知网络模型；
4、基于光照感知网络模型的输出，搭建并训练多模态行人检测模型，得到训练好的多模态行人检测模型；
5、由训练好的光照感知网络模型和训练好的多模态行人检测模型构成最终检测模型；
6、将待检测行人图像数据输入至最终检测模型中，得到预测结果；所述预测结果包括行人预测边界框、行人预测分类以及预测光照场景。
7、进一步的，所述光照感知网络模型由一个池化层、三个全连接层和一个归一化指数函数层组成，所述归一化指数函数层的输出为输入至光照感知网络模型中的行人图像数据属于白天的概率。
8、进一步的，所述的训练光照感知网络模型，得到训练好的光照感知网络模型，具体包括：
9、收集白天光照场景下行人图像训练数据和夜晚光照场景下行人图像训练数据；
10、为每张行人图像训练数据添加相应的标注数据，所述标注数据包括行人边界框标注、行人分类标注以及光照场景标注，所述光照场景标注分为白天光照场景和夜晚光照场景；
11、将添加有标注数据的行人图像训练数据对光照感知网络模型进行训练，使光照损失函数最小化，得到训练好的光照感知网络模型；包括：
12、对行人图像训练数据属于白天光照场景的概率和属于夜晚光照场景的概率按照下式进行调整：
13、
14、ωt＝1-ωr
15、其中，|ω|∈(0,1)，αω和γω为可学习参数，ωd和ωn＝(1-ωd)分别为输入的行人图像数据属于白天光照场景的概率和属于夜晚光照场景的概率；
16、所述光照损失函数表示为：
17、
18、其中，和分别为行人图像数据中的光照场景标注，当光照场景标注为白天光照场景时，当光照场景标注为夜晚光照场景时，
19、进一步的，所述多模态行人检测模型包括：
20、特征提取网络，用于提取行人图像数据的卷积特征；
21、特征融合网络，用于将行人图像数据的卷积特征与光照权重进行融合，得到光照权重融合卷积特征；所述光照权重为光照感知网络模型的输出；
22、多模态行人检测网络，用于以光照权重融合卷积特征为输入，以预测结果为输出；
23、所述多模态行人检测网络至少包括：
24、白天分类层，用于得到可见光分类评分
25、夜晚分类层，用于得到红外分类评分
26、白天回归层，用于得到可见光边界框
27、夜晚回归层，用于得到红外边界框
28、进一步的，所述训练多模态行人检测模型，得到训练好的多模态行人检测模型，具体包括：
29、将行人图像训练数据输入至训练好的光照感知网络模型中，获得该行人图像训练数据对应的光照权重；
30、将行人图像训练数据输入至特征提取网络，得到行人图像数据的卷积特征，结合光照权重，经由特征融合网络，得到光照权重融合卷积特征；
31、采用光照权重融合卷积特征对多模态行人检测网络进行训练，使检测损失函数最小化，得到训练好的多模态行人检测模型；
32、所述检测损失函数，表示为：
33、
34、式中，lbbox为行人预测分类损失函数，lcls为行人预测边界框损失函数，λbb为正则化参数，s为训练样本集；
35、当训练样本集s中的训练样本与真实边界框的交并比大于0.5时，则定义训练标签否则定义为真实边界框；
36、所述行人预测分类损失函数表示为：
37、
38、所述行人预测边界框回归损失函数表示为：
39、
40、式中，和分别为预测分类和预测边界框；smoothl1表示平滑l1损失函数，分别为预测边界框和真实边界框；
41、为可见光分类评分和红外分类评分的光照加权和，表示为：
42、
43、为计算可见光边界框和红外边界框的光照加权和，表示为：
44、
45、本发明公开了一种可见光-红外多模态行人检测系统，包括：
46、光照感知网络模型，用于得到待检测行人图像数据的光照权重；
47、多模态行人检测模型，用于根据待检测行人图像数据的光照权重和待检测行人图像数据，得到预测结果；所述预测结果包括行人预测边界框、行人预测分类以及预测光照场景。
48、进一步的，所述光照感知网络模型由一个池化层、三个全连接层和一个归一化指数函数层组成，所述归一化指数函数层的输出为输入至光照感知网络模型中的行人图像数据属于白天的概率；所述光照权重为行人图像数据属于白天的概率；
49、该光照感知网络模型按照以下训练步骤得到：
50、收集白天光照场景下行人图像训练数据和夜晚光照场景下行人图像训练数据；
51、为每张行人图像训练数据添加相应的标注数据，所述标注数据包括行人边界框标注、行人分类标注以及光照场景标注，所述光照场景标注分为白天光照场景和夜晚光照场景；
52、将添加有标注数据的行人图像训练数据对光照感知网络模型进行训练，使光照损失函数最小化，得到训练好的光照感知网络模型；包括：
53、对行人图像训练数据属于白天光照场景的概率和属于夜晚光照场景的概率按照下式进行调整：
54、
55、ωt＝1-ωr
56、其中，|ω|∈(0,1)，αω和γω为可学习参数，ωd和ωn＝(1-ωd)分别为输入的行人图像数据属于白天光照场景的概率和属于夜晚光照场景的概率；
57、所述光照损失函数表示为：
58、
59、其中，和分别为行人图像数据中的光照场景标注，当光照场景标注为白天光照场景时，当光照场景标注为夜晚光照场景时，
60、进一步的，所述多模态行人检测模型包括：
61、特征提取网络，用于提取行人图像数据的卷积特征；
62、特征融合网络，用于将行人图像数据的卷积特征与光照权重进行融合，得到光照权重融合卷积特征；所述光照权重为光照感知网络模型的输出；
63、多模态行人检测网络，用于以光照权重融合卷积特征为输入，以预测结果为输出；
64、所述多模态行人检测网络至少包括：
65、白天分类层，用于得到可见光分类评分
66、夜晚分类层，用于得到红外分类评分
67、白天回归层，用于得到可见光边界框
68、夜晚回归层，用于得到红外边界框
69、所述多模态行人检测网络按照以下训练步骤得到：
70、将行人图像训练数据输入至训练好的光照感知网络模型中，获得该行人图像训练数据对应的光照权重；
71、将行人图像训练数据输入至特征提取网络，得到行人图像数据的卷积特征，结合光照权重，经由特征融合网络，得到光照权重融合卷积特征；
72、采用光照权重融合卷积特征对多模态行人检测网络进行训练，使检测损失函数最小化，得到训练好的多模态行人检测模型；
73、所述检测损失函数，表示为：
74、
75、式中，lbbox为行人预测分类损失函数，lcls为行人预测边界框损失函数，λbb为正则化参数，s为训练样本集；
76、当训练样本集s中的训练样本与真实边界框的交并比大于0.5时，则定义训练标签否则定义为真实边界框；
77、所述行人预测分类损失函数表示为：
78、
79、所述行人预测边界框回归损失函数表示为：
80、
81、式中，和分别为预测分类和预测边界框；表示平滑l1损失函数，分别为预测边界框和真实边界框；
82、为可见光分类评分和红外分类评分的光照加权和，表示为：
83、
84、为计算可见光边界框和红外边界框的光照加权和，表示为：
85、
86、本发明公开了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现一种可见光-红外多模态行人检测方法的步骤。
87、本发明公开了一种存储介质，所述存储介质存储有行人检测程序，所述行人检测程序被至少一个处理器执行时实现一种可见光-红外多模态行人检测方法的步骤。
88、有益效果：与现有技术相比，本发明方法通过获取行人图像数据的光照权重，运用光照权重对不同光照下的可见光及红外行人图像进行加权融合，不仅提高了行人检测模型在不同光照下的准确度和鲁棒性，同时也能应对某些情况下单一模态难以区分行人与背景的问题，有效地提高了行人检测模型的检测性能。
1.一种可见光-红外多模态行人检测方法，其特征在于：包括以下步骤：
2.根据权利要求1所述的一种可见光-红外多模态行人检测方法，其特征在于：所述光照感知网络模型由一个池化层、三个全连接层和一个归一化指数函数层组成，所述归一化指数函数层的输出为输入至光照感知网络模型中的行人图像数据属于白天的概率。
3.根据权利要求2所述的一种可见光-红外多模态行人检测方法，其特征在于：所述的训练光照感知网络模型，得到训练好的光照感知网络模型，具体包括：
4.根据权利要求1所述的一种可见光-红外多模态行人检测方法，其特征在于：所述多模态行人检测模型包括：
5.根据权利要求4所述的一种可见光-红外多模态行人检测方法，其特征在于：所述训练多模态行人检测模型，得到训练好的多模态行人检测模型，具体包括：
6.一种可见光-红外多模态行人检测系统，其特征在于：包括：
7.根据权利要求6所述的一种可见光-红外多模态行人检测系统，其特征在于：所述光照感知网络模型由一个池化层、三个全连接层和一个归一化指数函数层组成，所述归一化指数函数层的输出为输入至光照感知网络模型中的行人图像数据属于白天的概率；所述光照权重为行人图像数据属于白天的概率；
8.根据权利要求6所述的一种可见光-红外多模态行人检测系统，其特征在于：所述多模态行人检测模型包括：
9.一种计算机设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现权利要求1至5任意一项所述的一种可见光-红外多模态行人检测方法的步骤。
10.一种存储介质，其特征在于，所述存储介质存储有行人检测程序，所述行人检测程序被至少一个处理器执行时实现权利要求1至5任意一项所述的一种可见光-红外多模态行人检测方法的步骤。
