一种低质量鞋印图像的表示方法及鞋印图像检索方法与流程

1.本发明涉及图像处理技术领域，具体而言，尤其涉及一种低质量鞋印图像的表示方法及鞋印图像检索方法。


背景技术：

2.目前鞋印表示的方法主要有基于全局表观特征、基于区域特征和基于局部旋转不变特征的表示方法。基于全局表观特征的鞋印表示算法主要是将整张鞋印图像作为输入，并提取鞋印图像的特征，比如傅里叶特征、功率谱密度特征等。chazal等人提出了一种基于功率谱密度的鞋印表示方法，该方法首先对鞋印图像进行傅里叶变换，进而计算其功率谱密度并作为特征，最后进行相似度计算。基于区域特征的鞋印表示算法主要是将鞋印图像分为多个区域，对这些区域进行特征提取和相似度计算。wang等人提出使用小波傅里叶特征来表示鞋印。该算法将鞋印图像分为前脚掌和后脚跟两部分，并分别对这两部分提取特征，最后通过权重将这两部分联合起来构成鞋印特征。基于局部旋转不变特征的鞋印表示方法主要是在鞋印图像中寻找一个感兴趣的点，再以该点为中心的块中提取特征。2020年，park等人提出了使用关键点的几何布局来表示鞋印，并用随机森林分类器来计算相似度。
3.目前基于全局表观特征、基于区域特征和基于旋转不变特征的鞋印表示算法已经取得一定的成果，但他们是基于鞋印图像本身，没有考虑鞋印图像之间的关系。因此缺乏图像之间的语义信息。基于局部语义滤波器的方法只用响应最强的滤波器表示图像，忽略了滤波器之间的关系。


技术实现要素：

4.鉴于现有技术的不足，本发明提供一种低质量鞋印图像的表示方法及鞋印图像检索方法。本发明既考虑了图像之间的关系，又考虑了滤波器之间的关系，有效地提升了低质量鞋印图像的表示精度。
5.本发明采用的技术手段如下：
6.一种低质量鞋印图像的表示方法，包括：
7.获取待查询图像和鞋印图像数据集，将所述待查询图像和鞋印图像数据集中的所有图像合并为鞋印图像扩展集，其中所述鞋印图像扩展集的第一幅图像为待查询图像；
8.根据待查询图像构建语义滤波器组，基于所述语义滤波器组计算鞋印图像扩展集中各图像的局部相似度，基于所述局部相似度构建内图表示矩阵；
9.基于所述鞋印图像扩展集中各图像间的相似度构建相似度矩阵，由所述相似度矩阵构建邻接矩阵，基于所述邻接矩阵构建扁平邻接图，进而对所述扁平邻接图进行标准化处理后，构建外图表示矩阵；
10.将所述内图表示矩阵和外图表示矩阵进行拼接处理，获得鞋印图像的联合表示矩阵。
11.进一步地，根据待查询图像构建语义滤波器组，基于所述语义滤波器组构建内图
表示矩阵，包括：
12.所述根据纹理种类在待查询图像上选择k个语义块，针对每个语义块构建一个语义滤波器，将所有语义滤波器组合成语义滤波器组l＝{l1,l2,
…
,l
k
}，其中k为纹理种类数量；
13.基于所述鞋印图像扩展集构建一个(n 1)
×
k的内图表示矩阵i，内图表示矩阵i的初始值为0，n为鞋印图像数据集中的图像数量；
14.计算鞋印图像扩展集中的任一图像与所述语义滤波器组中各语义滤波器的局部相似度，更新内图表示矩阵i对应的行数据，直至内图表示矩阵i全部更新完毕。
15.进一步地，计算鞋印图像扩展集中的任一图像与所述语义滤波器组中各语义滤波器的局部相似度，更新内图表示矩阵i对应的行数据，包括根据以下方式获取局部相似度：
[0016][0017]
其中,s表示局部相似度，r(x,y)代表鞋印图像与语义滤波器的归一化互相关响应图,x代表图像中各点横坐标,y代表图像中各点纵坐标。
[0018]
进一步地，基于所述鞋印图像扩展集中各图像间的相似度构建相似度矩阵，包括：
[0019]
对所述鞋印图像扩展集中各图像进行特征提取；
[0020]
基于各图像特征计算任意两图像的相似度，并构建一个(n 1)
×
(n 1)的相似度矩阵。
[0021]
进一步地，由所述相似度矩阵构建邻接矩阵，基于所述邻接矩阵构建扁平邻接图，包括：
[0022]
以扩展数据集中的n 1幅图像作为顶点，根据相似度矩阵构建邻接矩阵w，构造规则为:若相似度矩阵中的元素值大于预设阈值则邻接矩阵w中对应的值为该元素的值，否则邻接矩阵w中对应的值0；
[0023]
构建一个(n 1)
×
(n 1)的扁平邻接图矩阵f，扁平邻接图矩阵的初始值全为0，根据以下方式更新扁平邻接图矩阵f：
[0024]
将鞋印图像扩展集中的i图作为起始点，根据邻接矩阵采用广度优先的方法遍历i所对应的邻接图，记录顶点编号和从起始点到该点的路径边数，设其中一个记录的顶点编号为j，起始点到该点的权重之积为p(j)，其中
[0025][0026]
j
p
表示j的父结点，则依据f(i,j)＝p(j)方式更新扁平邻接矩阵f。
[0027]
进一步地，对所述扁平邻接图进行标准化处理后，构建外图表示矩阵，包括：
[0028]
将扁平邻接图矩阵f进行标准化得到标准化矩阵s，对s进行奇异值分解，将分解得到的特征向量按照特征值由小到大排序，以取第2个到n 1个特征向量形成大小为(n 1)
×
n的外图表示矩阵e，
[0029]
其中标准化矩阵s根据以下计算获得：
[0030]
s＝d
‑
1/2
(d
‑
f)d
‑
1/2
，
[0031]
本发明还公开了一种鞋印图像检索方法，包括：
[0032]
应用上述任意一项所述方法获取鞋印图像的联合表示矩阵g
s
；
[0033]
计算g
s
中第一行与其他行的相似度，将计算得到的相似度结果进行降序输出得到检索结果。
[0034]
较现有技术相比，本发明具有以下优点：
[0035]
本发明首次以鞋图的形式从内部和外部结构关系来表示鞋印图像。增强了鞋印图像的内部语义表达和外部语义表达，有效地提升了低质量鞋印图像检索和分类的精度，使检索结果更符合人的主观评价。基于上述理由本发明可在痕迹鉴定领域广泛推广。
附图说明
[0036]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0037]
图1为本发明一种低质量鞋印图像的表示方法流程图。
具体实施方式
[0038]
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
[0039]
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0040]
如图1所示，本发明提供了一种低质量鞋印图像的表示方法，包括：
[0041]
s101、获取待查询图像和鞋印图像数据集，将所述待查询图像和鞋印图像数据集中的所有图像合并为鞋印图像扩展集，其中所述鞋印图像扩展集的第一幅图像为待查询图像。
[0042]
具体来说，将查询图q和数据集中的n幅图为按序合并形成(n 1)幅鞋印图像扩展集记为g，其中第一幅图为q。
[0043]
s102、根据待查询图像构建语义滤波器组，基于语义滤波器组计算鞋印图像扩展
集中各图像的局部相似度，基于所述局部相似度构建内图表示矩阵。
[0044]
具体来说，首先在查询图上选择k个语义块，在实施中k可以为1，2等根据查询图实际情况确定。如果一张图只有一个语义块如logo,那么k＝1，如果一张图有一个logo语义块，一个周期性的块，那么k＝2。一张图也可能存在多个语义块，具体可由用户根据查询图的实际情况决定。
[0045]
然后创建语义滤波器组l＝{l1,l2,
…
,l
k
}，作为本发明优选的实施方式，语义滤波器组的构建方式参考中国专利申请cn110188222a。
[0046]
进一步地，使用查询图中语义滤波器和鞋印图像扩展集的图像求相似度。
[0047][0048]
其中,s表示局部相似度，r(x,y)代表鞋印图像与语义滤波器的归一化互相关响应图，公式如下：
[0049][0050]
其中，x，y为鞋印图像x方向和y方向的坐标，u，v为语义滤波器x方向和y方向的坐标。f(u,v)为鞋印图像，是f(u,v)中与w当前所在位置相重合的区域平均值，w(x u,y v)为语义滤波器，为w(x u,y v)中的像素平均值。
[0051]
更进一步地，构建一个(n 1)
×
k的内图矩阵i，其初始值全0。遍历鞋印图像扩展集g中的每幅鞋印图像，依据如下方式更新矩阵i：
[0052]
以图i为例，计算分别采用上述计算方式，计算图i和滤波器组各个滤波器的局部相似度，形成k维向量，将k维向量更新到矩阵i中的第i行。依次类推，形成鞋印图像的内图表示。
[0053]
s103、基于所述鞋印图像扩展集中各图像间的相似度构建相似度矩阵，由所述相似度矩阵构建邻接矩阵，基于所述邻接矩阵构建扁平邻接图，进而对所述扁平邻接图进行标准化处理后，构建外图表示矩阵。
[0054]
具体来说，基于所述鞋印图像扩展集中各图像间的相似度构建相似度矩阵，包括：
[0055]
(1)特征提取
[0056]
使用通用的图像特征提取方法，如文献wang x n,sun h,yu q,et al.automatic shoeprint retrieval algorithm for real crime scenes[c].asian conference on computer vision,singapore,2014:399
‑
413.中提出的小波傅里叶变换，提取小波傅里叶特征作为图像的全局特征，提取局部语义块的特征作为图像的局部特征，将全局特征和局部特征通过权重融合后形成图像的整体特征。
[0057]
(2)相似度计算
[0058]
使用通用的图像相似度计算方法，计算两两图之间的相似度，作为本发明优选的实施方式，可以计算余弦相似度作为图像间相似度的评价指标。使用查询图和数据集中的图像求相似度，从而得到一个(n 1)
×
(n 1)的相似度矩阵。
[0059]
进一步地，由所述相似度矩阵构建邻接矩阵，基于所述邻接矩阵构建扁平邻接图，
包括：
[0060]
(1)邻接矩阵构建
[0061]
将相似度矩阵中小于阈值的元素置为0形成邻接矩阵w。
[0062]
(2)扁平邻接图构建
[0063]
构建一个(n 1)
×
(n 1)的扁平邻接图矩阵f，其初始值全为0。矩阵的下标对应数据集中图像的编号。
[0064]
遍历鞋印数据集中的每幅鞋印图像，依据如下方式更新矩阵f。
[0065]
以图i为例，将i图作为起始点，根据邻接矩阵采用广度优先的方法遍历i所对应的邻接图，记录顶点编号和从起始点到该点的路径边数。设其中一个记录的顶点编号为j,起始点到该点的权重之积为p(j)，其中
[0066][0067]
j
p
表示j的父结点，则依据f(i,j)＝p(j)方式更新扁平邻接矩阵f。
[0068]
在一个实施例中，假设n＝7，邻接矩阵w为下表所示的矩阵
[0069] 12345678100.80.90000020.8000000030.9000.50.60004000.5000005000.60000060000000.80.97000000.8008000000.900
[0070]
则扁平矩阵的构造过程为：
[0071]
(1)构造8*8的全0矩阵f；
[0072]
(2)以i＝1图作为起点，并将p(1)＝1；根据深度优先策略访问i的邻接节点j＝3,则p(3)＝p(1)*w(1,3)＝0.9,将f(1,3)更新为p(3)即f(1,3)＝0.9；同理p(2)＝0.8,f(1,2)＝0.8
[0073]
(3)按广度优先访问3的邻接节点4，此时j
p
＝3,j＝4,则p(4)＝p(3)*w(3,4)＝0.45,将f(1,4)更新为p(4)即f(1,4)＝0.45,同理f(1,5)＝0.54
[0074]
(4)从i＝2遍历到i＝8,执行步骤(2)(3)，得到如下表所示的扁平矩阵
[0075] 12345678100.80.90.450.5400020.800.720.360.43200030.90.7200.50.600040.450.360.500.300050.540.4320.60.3000060000000.80.9
7000000.800.728000000.90.720
[0076]
更进一步地，对所述扁平邻接图进行标准化处理后，构建外图表示矩阵，包括：
[0077]
将扁平邻接图矩阵f进行标准化得到标准化矩阵s，对s进行奇异值分解，将特征向量按照特征值由小到大排序，以取第2个到n 1个特征向量形成(n 1)
×
n大小的特征矩阵e。此时e为鞋印图像的外图表示，矩阵的每一行代表一幅图像。在实施中,标准化过程为：
[0078]
s＝d
‑
1/2
(d
‑
f)d
‑
1/2
，
[0079]
本发明中，n的值可以自定义，也可以根据下式得到。
[0080]
其中λ1,
…
,λ
n 1
表示由小到大排序后的特征值，th为事先设定的阈值，通常为0.1。
[0081]
s104、将所述内图表示矩阵和外图表示矩阵进行拼接处理，获得鞋印图像的联合表示矩阵。
[0082]
具体来说，鞋印可以用内图和外图共同表示。将内图i和外图e按行串联形成(n 1)
×
(k n)的矩阵g
s
，g
s
中第一行是查询图的鞋图表示，其他行是数据集中的对应鞋印图像的鞋图表示。
[0083]
设n＝7,k＝4,n＝5，内图矩阵和外图矩阵分别为：
[0084][0085]
则内图i和外图e按行串联形成的联合表示矩阵g
s
为：
[0086][0087]
本发明还提供了一种鞋印图像检索方法，包括：
[0088]
应用上述方法获取鞋印图像的联合表示矩阵g
s
；
[0089]
计算g
s
中第一行与其他行的相似度，将计算得到的相似度结果进行降序输出得到检索结果。
[0090]
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
[0091]
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
[0092]
在本技术所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的
方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
[0093]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0094]
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0095]
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、只读存储器(rom，read
‑
only memory)、随机存取存储器(ram，random access memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
[0096]
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。