基于多视角特征融合的行人重识别方法与流程

1.本发明属于计算机视觉和行人重识别领域，特别是一种基于多图像特征融合的行人重识别方法。


背景技术：

2.监控网络部署的逐步扩大造成了海量的视频数据需要分析和处理。使用传统人工方式进行处理需要大量的人力与时间。现在越来越多的研究人员将研究方向转移到了计算机视觉技术，尝试利用计算机技术辅助工作人员进行检索和分析，从而提高数据处理的速度与精度。近些年来，深度学习的迅速发展，计算机处理海量数据的能力不断提高。在各类计算机视觉的研究中，越来越多的研究人员将研究重点放在了卷积神经网络上。其中就包括对于监控视频的处理与分析，行人重识别作为图像检索的子问题之一就是其中的一个分支。
3.行人重识别是指在不同的摄像头视角下，检索指定的行人。实际场景的监控网络包含着处于不同位置的多个摄像头，这些摄像头的拍摄范围往往是不重叠的。其中目标行人的活动轨迹跨越多个摄像头，在时空上具有不连续性。传统的针对单一视角的目标检测和识别技术在这种场景中效果有限，因此需要可以处理跨视角图像的计算机视觉技术对监控视频进行分析。然而行人重识别的主要目的是检索在不重叠摄像头下的行人图像，所以其作为处理监控数据的重要技术得到了工业界与学术界的广泛关注。该技术可以利用行人在不同摄像头下的出现与否，建立移动轨迹，实现跨摄像头的跟踪。另外，行人重识别在智能商业领域也有广泛的应用前景，包括消费者行为分析，兴趣分析等，辅助商家进行商业决策。
4.除了在工业上具有应用价值，行人重识别在学术界也是一个具有挑战性的课题。许多研究人员在行人重识别课题的研究上投入大量的精力。与人脸识别关注面部不同，行人重识别更注重通过行人的整体外观(包括躯干、服饰等)进行信息提取。研究者通过更鲁棒的特征提取算法与度量算法，提高行人重识别的准确率，进而启发相关技术的研究，推动计算机视觉领域的发展。尽管目前通过深度学习网络与大规模数据集为行人重识别带来了巨大的进展，但是由于视角变化，遮挡等现象，行人重识别仍然是一项具有挑战的课题。
5.目前行人重识别的研究可以分为特征学习与度量学习两个部分。前者将行人重识别视作分类问题，设计深度神经网络，将行人身份作为标签训练模型，得到对身份具有鲁棒性的特征表示。后者主要将图像间的相似度作为度量，设计损失函数，如三元损失等，通过计算正负样本图像对的相似度，使得同身份的行人图像的相似度小于不同身份的行人图像。从本质上来说，两种方法均对于每一张图像生成一个描述符。
6.在实现本技术的过程中，发明人发现现有方法存在以下技术问题。目前的行人重识别方法使用卷积神经网络(cnn)生成描述符。然而，这些算法受到cnn的限制，提取的特征只包含单个图像的信息，然而行人重识别中，数据集采集自不同的摄像头视角。不同视角下对同一个人的观察不完全相同，比如背包只能从身后看到，所以即使是统一行人的后视图
与正视图会被赋予较低的相似度。因此仅仅单个图像的信息的会使得生成的描述符鲁棒性不足。不同摄像头间的信息存在偏差，该偏差降低了模型的匹配结果的准确率。


技术实现要素：

7.本发明的目的在于克服现有技术的不足，充分考虑不同摄像头之间信息的差异，提出一种基于多视角特征融合的行人重识别方法，利用消息传递，将同一个行人多个图像的信息相融合，减小信息偏差的影响,从而得到更加鲁棒的特征表示。
8.本发明解决其技术问题是采取以下技术方案实现的：
9.步骤1、将测试集全部图像输入深度卷积网络，经过全局池化，对行人图像进行初步的特征提取，输出原始视觉特征，该特征由单个图像提取得到，表示该行人在当前单个摄像头下的视觉信息；
10.步骤2、在主干网络学习到的特征空间中，数据按照其身份成簇，不同身份的样本相分离。因此，假设距离相近的样本属于同一身份的概率更大，计算全部特征之间的余弦距离，获得邻接矩阵。将每一个图像的特征当作节点，将属于k互近邻的点进行连接，边长设置为 1，由此得到一张无向的邻接图。
11.步骤3、将原始特征建模为消息，在每一次迭代中沿着邻接图进行消息传递。每一个节点接收到的消息来源于具有高相似度的样本，因此其中包含了该图像在其他摄像头视角下的视觉信息。将传递的消息与原始消息相结合经过多次迭代后，得到融合了周围节点信息的最终特征表示。该特征因此而具有行人在多个摄像头下的视觉信息，从而加强了特征表示的鲁棒性。
12.步骤4、计算检测图像与待检测集的相似度，排序得到重识别结果。
13.进一步，步骤1的特征提取的具体方法包括以下步骤：
14.⑴
将resnt50最后一个残差模块的步长设置为1，使生成的特征图的尺寸变为原来的两倍，以此获取原图中更多的语义信息；
15.⑵
利用交叉熵与三元损失函数，将resnet50在训练集上训练。其中交叉熵表示特征通过分类器后与标签one
‑
hot编码后偏差。一个三元组包含锚样本，正样本与负样本。该损失函数使得锚与正样本的距离小于锚与负样本的距离；
16.⑶
将query与gallary集分别输入训练好的resnet50，得到2048维的特征，将两部分特征在batch维度上拼接，得到整个测试集的特征向量；
17.进一步，步骤3的消息传递的每一次迭代具体方法包括以下步骤：
18.⑴
邻接图中的每个节点具有2048维的特征向量，在每一个迭代中，对于每一个节点，聚合其相连节点的特征并且求得均值。由于相邻接点中同时包含属于不同身份的节点，因此我们使用平均池化的方式，减少来源于负样本的噪声的干扰；
19.⑵
为了保持数值的稳定，将代表聚合特征的均值乘以α，将代表单摄像头信息的原始特征乘以1
‑
α，然后将两者相加，更新节点特征。；
20.本发明的优点和积极效果是：
21.1、本发明利用cnn提取出的特征构建邻接图，并且沿着图进行消息传播。使得不同图像间的信息相融合，由于相邻节点中包含不同摄像头拍摄的图片，因此融合的信息中包含了该行人在不同摄像头下的信息，从而得到了对于该行人多视角的完整的描述，提高了
特征的鲁棒性，获得了更好的性能。
22.2、本发明设计合理，不改变网络的训练过程，只在测试中加入了无参数的消息传递，在不增加参数量的情况下极大地提高了准确率，并且该机制可以应用于任意深度学习网络。
附图说明
23.图1是本发明的特征基于多图像特征融合的行人重识别主干框图。
24.图2是本发明中消息传递的流程图。
具体实施方式
25.以下结合附图对本发明的实施做进一步详述。
26.一种基于多图像特征融合的行人重识别方法，如图1和图2所示，包括以下步骤：
27.步骤s1的具体实现方法如下：
28.步骤s1.1、将行人图像缩放为256
×
128，经过随机擦除，随机裁剪对数据进行增强。
29.步骤s1.2、使用的主干网络为resnet50，将最后一个残差模块的步长设置为1，使生成的特征图的尺寸变为原来的两倍，获取更多的语义信息。以mini
‑
batch的形式向网络中输入训练图像，根据预测值计算与真实值的交叉熵作为损失函数，使用adam优化器，初始学习率为3.5
×
10
‑4，共训练70代。
30.步骤s1.3、将图片输入到训练好的网络中，对于每一个图像得到2048维的特征向量。
31.步骤s2的具体实现方法如下：
32.步骤s2.1、图像数量为n，计算图像间的余弦距离作为相似度的度量。
33.步骤s2.2、将每个图像视为顶点，计算每个顶点的k近邻，若两顶点互为k近邻，则将其连接。得到一个无向图g(v,e)，其中v为顶点集合，顶点数为n，e为边集合，每条边长度均为1。
34.步骤s3的在第t次迭代具体实现方法如下：
35.步骤s3.1、顶点v的输入特征为表示通过主干网络学习到的单个摄像头下的视觉信息。其临域为n(v)，我们假设在临域中的样本以较大的概率与目标数据属于统一身份。
36.步骤s3.2、计算n(v)中所有顶点的特征的均值表示该行人在多摄像头下的信息。
37.步骤s3.3、将与加权相加。
38.步骤s3.4、更新顶点v的特征作为输出，输出的特征融合了多个摄像头下的信息特征
39.步骤s4、计算图像间的余弦距离作为相似度，排序后可得到识别结果。
40.通过多次迭代输出的特征即包含了多个图像的信息，对于行人有了更加完整的描述。
41.最后，我们使用cmc(cumulative matching characteristics，累计匹配曲线)，
map(mean average precision，平均正确率)评价匹配性能。方法如下：
42.测试环境：本发明的软件实现以ubuntu16.04系统微平台，使用python语言与pytorch 深度学习框架，torch
‑
geometric图网络框架开发；硬件环境为一台pc主机，内存16gb ram, gpu为nvidia gtx 1080ti，gpu显存12gb。
43.测试数据：实验数据集为公共数据及，包括market
‑
1501与dukemtmc
‑
reid。
44.测试结果如下：
45.表1.本发明与其他算法在market
‑
1501数据集下的性能比较
[0046][0047][0048]
表2.本发明与其他算法在dukemtmc
‑
reid数据集下的性能比较
[0049]
算法rank
‑
1mapmhn
‑
6 ide87.875.2casn ide84.567.0aanet
‑
5086.467.0vpm83.672.6ianet87.173.4本发明86.575.7
[0050]
通过以上对比数据可以看出，本发明的识别准确率效果超越了其他方法。并且，本方法不改变训练阶段，无需训练且不引入参数，可以用于任意的神经网络，证明了融合信息的有效性。