一种白光条件下的车辆颜色识别方法与流程

1.本发明属于图像处理技术领域，特别是涉及一种白光条件下的车辆颜色识别方法。


背景技术：

2.近年来，随着计算机及互联网技术的飞速发展，各种机动车数量的迅猛增长，各类信息包括与交通相关的信息呈现爆炸式增长的态势。为了能够更加安全、高效的管理这些信息，智能交通系统应运而生。智能交通系统可以在收费卡口，停车场，刑事追踪等方面展现出强大的作用。视频图像中车辆信息包括车牌号码、车辆颜色、车辆型号等，其中车辆颜色识别在车辆道路监控中有着举足轻重的作用，是车辆信息中不可或缺的一部分。当车牌号码无法识别或者无法区分时，车辆颜色等其他车辆信息就成为区分车辆的依据。例如在违规套牌车辆识别中，必须通过非号牌信息来区分同号牌车辆，车辆颜色信息就是首选。
3.目前的车辆颜色识别方法主要有以下几种：
4.(1)直接分类的方法[1]，首先检测到车辆位置，然后直接提取车辆区域的颜色特征，最后采用分类器进行分类。该方法无法找出车辆待识别区域，因此车窗、轮胎、背景等都会对结果造成巨大影响。
[0005]
(2)基于图像处理车辆颜色区域选择的方法[2][3]。首先通过定位车牌位置与大小，然后根据先验知识初选出车辆颜色识别区域，再根据梯度、亮度等信息挑精选出车辆颜色识别区域，最后在区域内进行车辆颜色识别。该方法需要大量的人工经验，鲁棒性不强，受环境的影响较大。
[0006]
(3)基于分割车辆颜色区域的方法[4]。标注大量车辆颜色有效区域数据，采用语义分割的方法检测出车辆颜色识别的有效区域，再在区域内进行车辆颜色识别。该方法中数据标注工作量巨大，并且识别需要进行语义分割，算法计算量巨大。
[0007]
(4)灰度消除法[5]，该方法通过rgb空间最大值与最小值差的方法去除掉车窗玻璃、车辆阴影等干扰区域，通过像素个数比值，区别彩色车辆和黑白车辆。该方法是基于图像处理的方法，容易受环境光的影响，鲁棒性不强
[0008]
(5)基于场景分类的方法[6]，先对待识别车辆进行场景分类，然后调用该场进行的颜色分类模型进行车辆颜色进行分类。该方法需要大量的数据，同时无法找出车辆待识别区域。
[0009]
综上所述，现有技术中存在如下问题有待解决：(1)对于车辆颜色，基于人眼的直觉，实际上只有部分区域能够用于车辆颜色识别，例如车窗、车灯、轮胎等就不属于车辆颜色判断的区域，需要进行排除，而车辆颜色有效区域一般是车辆引擎盖，车门等区域。如果算法不能够准确有效的找出有效区域，将会导致识别率降低。
[0010]
(2)由于自然场景下，不同光照、不同天气、不同角度等因素的影响，即便本身是同一种颜色的车，图像经常会呈现出色偏、反光等现象，导致算法识别率降低。
[0011]
相参考文献如下：
[0012]
[1]车辆颜色识别方法与装置，公开号cn 107844745 a.
[0013]
[2]一种车身颜色识别区域定位的方法及装置，公开号cn 106529553 b.
[0014]
[3]一种监控场景下的车身颜色识别方法，公开号cn 109741406 a.
[0015]
[4]车辆颜色的自动识别方法、电子装置、计算机设备和介质，公开号cn 111325211 a.
[0016]
[5]一种车身颜色识别方法，公开号cn 105005766 a.
[0017]
[6]车辆颜色分类模型训练方法、装置和车辆颜色识别方法，公开号cn 110348505 a。


技术实现要素：

[0018]
本发明针对现有技术的不足，提供一种白光条件下车辆颜色矫正方法，该方法结合了retinex和darkchannel方法的优点，可以有效缓解因低照度、逆光等现象造成的影响，减小在这些不利环境因素导致的识别率降低的问题。同时设计了一种基于空间注意力机制的网络模型，该模型可以让网络模型自动聚焦到车辆颜色的有效区域，提高车身颜色有效区域的权重，降低车辆颜色无效区域的权重，然后采用深度神经网络准确识别出车辆颜色。
[0019]
为了达到上述目的，本发明提供的技术方案是：一种白光条件下的车辆颜色识别方法，包括如下步骤：
[0020]
步骤1，收集大量白光条件下采集的车辆图像数据，并对每辆车进行车辆颜色标记；
[0021]
步骤2，设计车辆颜色识别网络模型；
[0022]
所述车辆颜色识别模型包含backbone模块，attention模块，bap模块，fc模块和softmax模块；
[0023]
步骤3，将收集的车辆数据提供给车辆颜色识别网络模型进行反复迭代训练；
[0024]
步骤4，采用车辆检测器检测图像中的车辆位置信息；
[0025]
步骤5，通过检测到的车辆位置将车辆图像从原始图像中裁剪出来；
[0026]
步骤6，将裁剪出来的车辆图像进行颜色矫正；
[0027]
步骤7，将经过颜色矫正后的车辆图像送入到车辆颜色识别网络，预测车辆颜色类别。
[0028]
进一步的，步骤2所述车辆颜色识别模型中的backbone模块采用的是mobilenetv2的前4个残差结构；attention模块是从backbone模块提取的原始特征得到空间权重mask，用于给不同位置加权；bap模块是将attention模块得到的权重mask对backbone模块提取的原始特征进行加权，得到加权后的新特征；fc模块的作用是将新特征维度与输出类别数匹配；softmax模块的作用是用于输出每个类别的概率。
[0029]
进一步的，attention模块的具体处理过程如下；
[0030]
采用m个1x1的卷积核将backbone模块提取的feature_raw做卷积操作，得到mx14x14个mask掩膜图，并将每个mask归一化到0～1之间；
[0031]
其中归一化公式为：
[0032]
式中，masksrc
j
表示原始第j个mask，maskdst
j
表示归一化后的第j个mask，
[0033]
分别表示原始第j个mask的第i个点和归一化后的j个mask的第i个点；
[0034]
min(masksrc
j
),max(masksrc
j
)分别表示原始第j个mask的最小值与最大值。
[0035]
进一步的，bap模块是将attention模块中m个mask掩膜图与backbone模块提取的feature_raw做点积操作，得到64xmx14x14个特征图，然后再对每个特征图做平均池化操作，得到64xmx1x1个特征图。
[0036]
进一步的，softmax模块是将fc模块输出的n个预测结果做softmax操作，目的是预测每一类的概率，其中softmax公式为：其中z
i
表示第i类的预测值，p
i
表示第i类的预测概率。
[0037]
进一步的，步骤6的具体实现过程如下；
[0038]
(1)，裁剪检测得到的车辆图像块，记为p；
[0039]
(2)，计算p的最大、最小值，vmax，vmin；
[0040]
(3)，将步骤(2)中得到的p进行线性拉伸，得到p1＝255*(p
‑
vmin)/(vmax
‑
vmin)；
[0041]
(4)，将步骤(3)得到的p1进行变换到对数域，得到p2＝log(p1 1)/log(256)；
[0042]
(5)，根据步骤(4)得到的p2，计算p2的暗原色通道，得到p3；
[0043]
(6)，根据步骤(4)得到的p2，计算p2各颜色通道的亮度图，得到p4；
[0044]
(7)，根据步骤(5)，步骤(6)得到的p3，p4计算颜色矫正图像，得到p5＝(p2
‑
p3)/(p4
‑
p3)；
[0045]
(8)，将步骤(7)得到的颜色矫正图恢复到正常图像，得到p6＝p5*255。
[0046]
进一步的，步骤(5)中计算p2的暗原色通道的方式为：其中j
dark
被称为图像的暗原色通道，ω(x)表示以x为中心的局部块区域，c表示为r,g,b三通道中的一个颜色通道，j
c
为输入图像的c通道；x是指对数域图像p2上的一个像素点，y是局部块区域ω(x)中的一个像素点。
[0047]
进一步的，步骤(6)中计算p2的各颜色通道的亮度图的计算方式为：其中被称为图像c通道的亮度图，ω(x)表示以x为中心的局部块区域，c表示为r,g,b三通道中的一个颜色通道，j
c
为输入图像的c通道；x是指对数域图像p2上的一个像素点，y是局部块区域ω(x)中的一个像素点。
[0048]
与现有技术相比，本发明的优点和有益效果：(1)提出了一种白光条件下车辆颜色矫正方法，该方法可以减小因低照度、逆光现象造成的识别率降低的影响。(2)设计一种基于空间注意力机制的网络模型，该模型可以自动聚焦车身颜色有效区域，无需依靠人工经验去定位待识别区域。
附图说明
[0049]
图1为本发明方法整体流程图。
[0050]
图2为本发明颜色矫正流程图。
[0051]
图3为本发明颜色矫正效果图。
[0052]
图4为本发明车辆颜色分类网络模型图。
具体实施方式
[0053]
下面结合附图和实施例对本发明的技术方案作进一步说明。
[0054]
如图1所示，本发明提供的一种白光条件下的车辆颜色识别方法，包括如下步骤：
[0055]
步骤1、收集大量白光条件下采集的车辆图像数据，并对每辆车进行车辆颜色标记。
[0056]
步骤1中通过卡口、停车场的摄像头采集大量白光条件下的车辆图像数据，然后通过车辆检测器检测图像中车辆的位置信息，这里的位置信息包含(x1,y1,x2,y2),其中x1,y1,x2,y2分别表示车辆左上角，右下角的横纵坐标，然后根据车辆的位置信息从图像数据中裁剪出车辆图像块，最后用人工的方式标记出该车辆图像块中的车辆颜色。
[0057]
步骤2、设计车辆颜色识别网络模型。
[0058]
步骤2中设计的车辆颜色识别模型如图4所示，包含backbone，attention，bap，fc，softmax等模块。其中backbone采用的是mobilenetv2的前4个残差结构；attention是从backbone提取的原始特征得到空间权重mask，用于给不同位置加权；bap就是将attention得到的权重mask对backbone提取的原始特征进行加权，得到加权后的新特征；fc层的作用是将新特征维度与输出类别数匹配；softmax的作用是用于输出每个类别的概率。
[0059]
本发明的车辆颜色识别网络是在传统分类网络模型的基础上增加空间注意力机制，空间注意力模块的作用是自动给车辆图像中不同区域分配不同的权重，增大车辆颜色有效区域的权重，减小车辆无效区域的权重，以此来提升网络模型的分类性能。整个网络结构由backbone，attention，bap，fc及softmax等模块组合而成，网络模型结构如图4所示。
[0060]
backbone模块：本发明采用mobilenetv2的前4个残差结构堆叠而成，输入为大小为：3x224x224，输出为：64x14x14，将输出记为feature_raw。
[0061]
attention模块：本发明采用m个1x1的卷积核将backbone提取的feature_raw做卷积操作，得到mx14x14个mask掩膜图，并将每个mask归一化到0～1之间，m默认为16。归一化公式为：其中masksrc
j
表示原始第j个mask，maskdst
j
表示归一化后的第j个mask，分别表示原始第j个mask的第i个点和归一化后的j个mask的第i个点。min(masksrc
j
),max(masksrc
j
)分别表示原始第j个mask的最小值与最大值。
[0062]
bap模块(bilinear attention pooling)：本发明采用将attention中m个mask图与backbone提取的feature_raw做点积操作，得到64xmx14x14个特征图，然后再对每个特征图做平均池化操作，得到64xmx1x1个特征图，记为feature_matrix。
[0063]
fc模块：本发明将bap提取的feature_matrix做n类的fc全连接，用于输出每一类的预测结果。
[0064]
softmax模块，本发明将fc输出的n个预测结果做softmax操作，目的是预测每一类
的概率。其中softmax公式为：其中z
i
表示第i类的预测值，p
i
表示第i类的预测概率。
[0065]
步骤3、将收集的车辆数据提供给车辆颜色识别网络模型进行反复迭代训练。
[0066]
步骤3中网络训练的参数为：lr＝0.001，moment＝0.9，weight_decay＝1e
‑
5，epoch＝50，batchsize＝64，网络优化采用sgd梯度下降方式，学习率采用固定补偿衰减，每隔2个epoch乘以0.9；其中lr：学习率，moment：动量，weight_decay：衰减系数，epoch：训练集总体迭代次数，batchsize：一次迭代样本数量。
[0067]
步骤4、采用车辆检测器检测图像中的车辆位置信息。
[0068]
步骤4中的车辆检测器采用yolov5框架，采用coco voc联合数据集训练得到。
[0069]
步骤5、通过检测到的车辆位置将车辆图像从原始图像中裁剪出来。
[0070]
步骤6、将裁剪出来的车辆图像进行颜色矫正。
[0071]
步骤6中的颜色矫正的流程图如图2所示，包含步骤有：线性拉伸，对数域变换，暗原色通道提取，各颜色通道亮度图提取，各颜色通道矫正等步骤，通过此步骤将原始车辆图像颜色进行矫正。本发明结合retinex与darkchannel的优点，通过实验发现效果对于在恶虐环境下车辆颜色矫正具有一定的优越性，流程图如图2所示，其效果如图3所示，左边为原始图，右边为经过颜色矫正后的图，其步骤如下：
[0072]
(1)，裁剪检测得到的车辆图像块，记为p。
[0073]
(2)，计算p的最大、最小值，vmax，vmin。
[0074]
(3)，将步骤(2)中得到的p进行线性拉伸，得到p1＝255*(p
‑
vmin)/(vmax
‑
vmin)。
[0075]
(4)，将步骤(3)得到的p1进行变换到对数域，得到p2＝log(p1 1)/log(256)。
[0076]
(5)，根据步骤(4)得到的p2，计算p2的暗原色通道，得到p3，暗原色通道的求取过程为：提取原始图像每个像素点的r，g，b三通道中最小分量，得到一个单通道的暗原色图，然后采用marcel van herk的快速算法对暗原色图进行局部区域最小滤波，也即灰度腐蚀操作，得到暗原色通道。
[0077]
(6)，根据步骤(4)得到的p2，计算p2各颜色通道的亮度图，得到p4，各颜色通道亮度图的求取过程为：将原始图像在rgb空间进行分解，得到r，g，b三个通道图，然后采用marcel van herk的快速算法分别对r，g，b三个通道图进行局部区域最大滤波，也即灰度膨胀操作，得到各通道亮度图。
[0078]
(7)，根据步骤(5)，步骤(6)得到的p3，p4计算颜色矫正图像，得到p5＝(p2
‑
p3)/(p4
‑
p3)。
[0079]
(8)，将步骤(7)得到的颜色矫正图恢复到正常图像，得到p6＝p5*255。
[0080]
步骤(5)中计算p2的暗原色通道的方式为：其中j
dark
被称为图像的暗原色通道，ω(x)表示以x为中心的局部块区域，c表示为r,g,b三通道中的一个颜色通道，j
c
为输入图像的c通道。
[0081]
步骤(6)中计算p2的各颜色通道的亮度图的计算方式为：
[0082]
其中被称为图像c通道的亮度图，ω(x)表示以x为中心的局部块区域，c表示为r,g,b三通道中的一个颜色通道，j
c
为输入图像的c通道。
[0083]
步骤7、将经过颜色矫正后的车辆图像块送入到车辆颜色识别网络，预测车辆颜色类别。
[0084]
本文中所描述的具体实施例仅仅是对本发明专利作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的专利或者超越所附权利要求书所定义的范围。