本技术涉及智能驾驶,具体而言,涉及一种智能车辆环境感知方法及装置。
背景技术:
1、目前,随着自动驾驶技术的不断发展和智能交通系统的日益普及,市场迫切需要一种能够精确理解复杂道路环境并做出快速响应的高效智能车辆感知解决方案。现有的车辆感知技术,通常获取目标车辆在测试场景中的图像,然后通过不同类型的识别模型对图像进行识别,以分别确定图像中的车道线、障碍物和可通行空间等信息。然而,在实践中发现,现有的模型在对环境感知往往需要多个模型对单一任务分别训练学习,需要的算力和时间成本较大,且多个任务无法做到互补,从而无法实现不同环境下的环境感知。可见,现有方法无法适应多样化和复杂的环境,感知效率低,准确性低。
技术实现思路
1、本技术实施例的目的在于提供一种智能车辆环境感知方法及装置,能够通过自适应边界对比损失优化特征表示的方式,提高了模型在处理多样化和复杂环境中的效率和准确性。
2、本技术第一方面提供了一种智能车辆环境感知方法,包括:
3、预先构建原始感知网络;其中,所述原始感知网络的损失函数包括自适应边界对比损失函数,所述原始感知网络的优化器为admw优化器,所述原始感知网络的学习率为余弦退火算法;
4、获取训练样本数据;
5、对所述训练样本数据进行数据增强处理,得到目标样本数据;
6、通过所述目标样本数据确定训练集和验证集;
7、通过所述训练集、所述验证集、所述admw优化器,所述余弦退火算法对所述原始感知网络进行训练,得到训练好的智能车辆感知网络,并在训练所述原始感知网络时,根据所述自适应边界对比损失函数对所述原始感知网络的网络边界进行调整;
8、获取待检测图像数据;
9、通过所述智能车辆感知网络对所述待检测图像数据进行识别处理,得到环境感知结果。
10、进一步地,所述根据所述自适应边界对比损失函数对所述原始感知网络的网络边界进行调整,包括:
11、在训练所述原始感知网络时,获取所述原始感知网络对所述训练集进行多任务特征提取得到的分类特征样本集合;
12、根据所述分类特征样本集合计算每一对特征之间的相对特征距离;
13、根据所述训练集计算样本平均距离和样本距离标准差;
14、根据预设的边界调整公式、样本平均距离、样本距离标准差和所述相对特征距离,计算目标边界;
15、根据所述目标边界和所述自适应边界对比损失函数,调整所述原始感知网络的网络边界。
16、进一步地,所述边界调整公式为:
17、;
18、其中,和分别是基于整个训练集计算的平均距离和标准差,是非线性映射函数,用于调整边界,是特征空间的距离度量函数。
19、进一步地,所述自适应边界对比损失函数包括abcl损失函数;
20、所述abcl损失函数为:
21、;
22、其中,样本为锚点样本,为样本的正样本,为样本的负样本,表示样本和正样本在特征空间中的距离,表示样本和负样本在特征空间中的距离。
23、进一步地,所述方法还包括:
24、预先构建在线学习网络;其中,所述在线学习网络的网络结构与所述智能车辆感知网络的网络结构相同;
25、获取实时在线数据和所述智能车辆感知网络的原模型参数;
26、通过所述实时在线数据对所述在线学习网络进行训练,得到训练好的实时模型参数;
27、根据预设的动态调节函数、所述原模型参数以及所述实时模型参数计算目标模型参数;
28、将所述智能车辆感知网络的所述原模型参数替换为所述目标模型参数。
29、进一步地,所述智能车辆感知网络至少包括多任务特征提取模块、自适应特征融合层和解码器集合;
30、所述多任务特征提取模块包括预先设置的多个相关的感知任务和每个所述感知任务对应的特征提取器;
31、所述特征提取器为深度cnn网络或者深度学习的回归模型;
32、所述自适应特征融合层至少包括自注意力层;
33、所述解码器集合至少包括三维空间与物体类别解码器、道路与车道线解码器以及环境条件解码器。
34、进一步地,所述通过所述智能车辆感知网络对所述待检测图像数据进行识别处理,得到环境感知结果包括:
35、通过所述多任务特征提取模块对所述待检测图像数据进行多任务特征提取,得到分类特征集合;
36、通过所述自适应特征融合层对所述分类特征集合进行融合处理,得到融合特征;
37、通过所述解码器集合中的每个解码器分别对所述融合特征进行处理,得到每个所述解码器输出的解码信息;
38、汇总所述解码信息,得到环境感知结果。
39、进一步地,所述通过所述多任务特征提取模块对所述待检测图像数据进行多任务特征提取,得到分类特征集合,包括:
40、通过所述感知任务对所述待检测图像数据进行物体识别,得到每个感知任务对应的物体识别图像;
41、通过所述特征提取器对相应的所述物体识别图像进行特征提取,得到多个原始特征;
42、根据环境对所述原始特征进行分类,得到分类特征集合。
43、进一步地,所述通过所述自适应特征融合层对所述分类特征集合进行融合处理,得到融合特征,包括:
44、通过所述自注意力层对所述分类特征集合进行特征加权处理,得到加权特征;
45、通过预设的融合算法对所述加权特征进行通道维度上的融合处理,得到融合特征。
46、本技术第二方面提供了一种智能车辆环境感知装置,所述智能车辆环境感知装置包括:
47、构建单元,用于预先构建原始感知网络;其中,所述原始感知网络的损失函数包括自适应边界对比损失函数,所述原始感知网络的优化器为admw优化器,所述原始感知网络的学习率为余弦退火算法;
48、第一获取单元,用于获取训练样本数据;
49、处理单元,用于对所述训练样本数据进行数据增强处理,得到目标样本数据;
50、确定单元,用于通过所述目标样本数据确定训练集和验证集;
51、训练单元,用于通过所述训练集、所述验证集、所述admw优化器,所述余弦退火算法对所述原始感知网络进行训练,得到训练好的智能车辆感知网络;
52、边界调整单元,用于在训练所述原始感知网络时,根据所述自适应边界对比损失函数对所述原始感知网络的网络边界进行调整;
53、第二获取单元,用于获取待检测图像数据;
54、识别单元,用于通过所述智能车辆感知网络对所述待检测图像数据进行识别处理,得到环境感知结果。
55、进一步地,所述边界调整单元包括:
56、第三获取单元,用于在训练所述原始感知网络时,获取所述原始感知网络对所述训练集进行多任务特征提取得到的分类特征样本集合;
57、第一计算单元,用于根据所述分类特征样本集合计算每一对特征之间的相对特征距离;
58、所述第一计算单元,还用于根据所述训练集计算样本平均距离和样本距离标准差;
59、所述第一计算单元,还用于根据预设的边界调整公式、样本平均距离、样本距离标准差和所述相对特征距离,计算目标边界;
60、调整单元,用于根据所述目标边界和所述自适应边界对比损失函数,调整所述原始感知网络的网络边界。
61、进一步地,所述边界调整公式为:
62、;
63、其中,和分别是基于整个训练集计算的平均距离和标准差,是非线性映射函数,用于调整边界,是特征空间的距离度量函数。
64、进一步地,所述自适应边界对比损失函数包括abcl损失函数;
65、所述abcl损失函数为:
66、;
67、其中,样本为锚点样本,为样本的正样本,为样本的负样本,表示样本和正样本在特征空间中的距离,表示样本和负样本在特征空间中的距离。
68、进一步地,所述智能车辆环境感知装置还包括:
69、所述构建单元,还用于预先构建在线学习网络;其中,所述在线学习网络的网络结构与所述智能车辆感知网络的网络结构相同;
70、第四获取单元,用于获取实时在线数据和所述智能车辆感知网络的原模型参数;
71、所述训练单元,还用于通过所述实时在线数据对所述在线学习网络进行训练,得到训练好的实时模型参数;
72、第二计算单元,用于根据预设的动态调节函数、所述原模型参数以及所述实时模型参数计算目标模型参数;
73、替换单元,用于将所述智能车辆感知网络的所述原模型参数替换为所述目标模型参数。
74、进一步地,所述智能车辆感知网络至少包括多任务特征提取模块、自适应特征融合层和解码器集合;
75、所述多任务特征提取模块包括预先设置的多个相关的感知任务和每个所述感知任务对应的特征提取器;
76、所述特征提取器为深度cnn网络或者深度学习的回归模型;
77、所述自适应特征融合层至少包括自注意力层;
78、所述解码器集合至少包括三维空间与物体类别解码器、道路与车道线解码器以及环境条件解码器。
79、进一步地,所述识别单元包括:
80、提取子单元,用于通过所述多任务特征提取模块对所述待检测图像数据进行多任务特征提取,得到分类特征集合;
81、融合子单元,用于通过所述自适应特征融合层对所述分类特征集合进行融合处理,得到融合特征;
82、处理子单元,用于通过所述解码器集合中的每个解码器分别对所述融合特征进行处理,得到每个所述解码器输出的解码信息;
83、汇总子单元,用于汇总所述解码信息,得到环境感知结果。
84、进一步地,所述提取子单元包括:
85、识别模块,用于通过所述感知任务对所述待检测图像数据进行物体识别,得到每个感知任务对应的物体识别图像;
86、提取模块,用于通过所述特征提取器对相应的所述物体识别图像进行特征提取,得到多个原始特征;
87、分类模块,用于根据环境对所述原始特征进行分类,得到分类特征集合。
88、进一步地,所述融合子单元包括:
89、处理模块,用于通过所述自注意力层对所述分类特征集合进行特征加权处理,得到加权特征;
90、融合模块,用于通过预设的融合算法对所述加权特征进行通道维度上的融合处理,得到融合特征。
91、本技术第三方面提供了一种电子设备,包括存储器以及处理器,所述存储器用于存储计算机程序,所述处理器运行所述计算机程序以使所述电子设备执行本技术第一方面中任一项所述的智能车辆环境感知方法。
92、本技术第四方面提供了一种计算机可读存储介质,其存储有计算机程序指令,所述计算机程序指令被一处理器读取并运行时,执行本技术第一方面中任一项所述的智能车辆环境感知方法。
93、本技术的有益效果为:该方法及装置能够通过自适应边界对比损失优化特征表示的方式,提高了模型在处理多样化和复杂环境中的效率和准确性。
1.一种智能车辆环境感知方法,其特征在于,包括:
2.根据权利要求1所述的智能车辆环境感知方法,其特征在于,所述根据所述自适应边界对比损失函数对所述原始感知网络的网络边界进行调整,包括:
3.根据权利要求2所述的智能车辆环境感知方法,其特征在于,所述边界调整公式为:
4.根据权利要求2所述的智能车辆环境感知方法,其特征在于,所述自适应边界对比损失函数包括abcl损失函数;
5.根据权利要求1所述的智能车辆环境感知方法,其特征在于,所述方法还包括:
6.根据权利要求1所述的智能车辆环境感知方法,其特征在于,所述智能车辆感知网络至少包括多任务特征提取模块、自适应特征融合层和解码器集合;
7.根据权利要求6所述的智能车辆环境感知方法,其特征在于,所述通过所述智能车辆感知网络对所述待检测图像数据进行识别处理,得到环境感知结果,包括:
8.根据权利要求7所述的智能车辆环境感知方法,其特征在于,所述通过所述多任务特征提取模块对所述待检测图像数据进行多任务特征提取,得到分类特征集合,包括:
9.根据权利要求7所述的智能车辆环境感知方法,其特征在于,所述通过所述自适应特征融合层对所述分类特征集合进行融合处理,得到融合特征,包括:
10.一种智能车辆环境感知装置,其特征在于,所述智能车辆环境感知装置包括:
