本发明涉及一种数据与知识联合驱动的图像分类方法，属于计算机视觉领域。
背景技术：
1、图像分类是根据不同类别信息在图像中所反映的不同特征，把不同类别的目标分开的图像处理方法，其是计算机视觉领域研究的热门课题，也是实现智慧气象、智慧医疗、智慧交通等应用的重要基础。例如在智慧气象应用中自动识别气传致敏花粉的显微图像有利于提前预测花粉浓度，从而预防过敏性疾病并保证人类的生命健康；在智慧医疗领域中自动识别肺部电子计算机断层扫描(ct)图像有利于肺部相关疾病的早期诊断，实现疾病的自动化筛查，大大减轻医疗工作者的负担。
2、已有的图像分类方法可以归类为模型驱动方法和数据驱动方法。模型驱动方法提取图像的形状、纹理等预定义特征，然后训练传统分类器(如支持向量机、随机森林)预测图像的类别。如等人[1]提取目标对象的长轴长度和短轴长度等几何特征，并计算特征值熵、灰度共生矩阵、傅里叶描述子等来描述待识别图像，此后基于这些特征训练多层感知机进行图像分类。marcos等人[2]使用灰度共生矩阵、log-gabor滤波器等方法提取图像的纹理特征，然后训练k近邻分类器来预测目标的类别。这些方法仅考虑手工制作的特征，忽略了图像的高级特征，因此识别精度较低，泛化能力较差。
3、数据驱动的方法主要使用卷积神经网络(cnn)自动从图像中提取可鉴别特征。如khanzhina等人[3]为完成图像分类任务而提出了一种新的cnn结构，并执行网格搜索以构建最佳cnn配置(即优化器、核大小等)。andré等人[4]使用三种预训练的cnn(inceptionv3、resnet、densenet)来预测图像的类别。gui等人[5]提出了两种数据增广方法来帮助深度网络关注目标对象的周围区域。这些数据驱动的方法不需要提取预定义特征，比模型驱动的方法取得了更好的性能，逐渐成为图像分类的主流。然而，这些方法仅在背景简单的图像上可以获得较高的识别精度，且其性能严重依赖于大规模数据。
4、真实世界中的图像数据具有以下特征：(1)图像背景复杂。真实世界中的图像通常包含大量无关信息，比如对于花粉显微图像，由于样本采集过程的特殊性，图像中包含了大量动物遗骸、植物碎片、灰尘等无关目标；(2)数据规模较小。真实世界中数据样本的采集较为困难，以花粉图像采集为例，花粉样本采集会受地理位置和时间分布的限制，且将采集的样本进行数字化的过程较为费时费力，故而难以获得大规模数据。考虑上述真实世界中图像数据的特点，现有的数据驱动方法面临着以下两个挑战：
5、挑战1：无关信息造成干扰。图像中包含大量无关信息，专家在鉴别图像时仅关注目标对象，而不关注无关区域。现有的基于cnn的识别方法仅在实验室精心处理过的数据上获得较好的性能。这些图像中只包含目标对象(如花粉颗粒)，没有其他无关目标。在真实场景中，现有的方法会受到无关信息的干扰，导致识别性能较差。
6、挑战2：关键特征关注不足。真实世界中的目标对象具有形状、纹理等多种关键特征，专家在识别图像时通常会结合多种特征来确定其类别。由于数据样本有限，现有的数据驱动的深度模型难以充分、准确地关注到全面的重要特征，仅关注单一或部分特征会导致图像的误分类。
7、专家在识别花粉、肺部ct等复杂图像时主要关注的鉴别特征包括形状和纹理等。他们首先基于这些特征聚焦目标对象，然后全面关注于多种关键特征以判定目标的类别。本发明基于真实世界中图像数据的特点，模仿专家的识别依据和识别过程，对现有的分类方法进行改进，提出了一种数据与知识联合驱动的图像分类方法，以解决上述的两个挑战。本发明设计预定义的特征提取器提取目标对象的形状和纹理，这些特征将被作为先验知识指导深度网络聚焦于图像的关键区域、提高深度模型对关键特征的关注程度，从而提升在真实场景中的图像识别性能。
8、参考文献：
9、[1]del pozo-m,ticay-rivas j r,cabrera-falcón j,et al.imageprocessing for pollen classification[j].biodiversity enrichment in a diverseworld,2012.
10、[2]marcos j v,nava r,cristóbal g,et al.automated pollenidentificationusing microscopic imaging and texture analysis[j].micron,2015,68:36-46.
11、[3]khanzhina n,putin e,filchenkov a,et al.pollen grainrecognitionusing convolutional neural network[c]//esann.201.
12、[4]de geus a r,barcelos c a z,batista m a,et al.large-scalepollenrecognition with deep learning[c]//2019 27th european signalprocessingconference(eusipco).ieee,2019:1-5.
13、[5]gui p,wang r,zhu z,et al.improved data augmentation ofdeepconvolutional neural network for pollen grains classification[c]//patternrecognition.icpr international workshops and challenges:virtual event,january 10-15,2021,proceedings,part viii.springer international publishing,2021:490-500.
14、[6]costa a f,humpire-mamani g,traina a j m.an efficient algorithmforfractal analysis of textures[c]//2012 25th sibgrapi conference ongraphics,patterns and images.ieee,2012:39-46.
技术实现思路
1、现有的基于数据驱动的图像分类方法依赖于具有简单背景的大规模数据。而在实际场景中，图像背景比较复杂，且数据规模较小。因此，这些方法面临无关信息干扰和关键特征关注不足这两个挑战。为了解决这些挑战，本发明设计了一种数据与知识联合驱动的图像分类方法。具体而言，本方法模仿专家的鉴别依据和鉴别过程，设计预定义的特征提取器提取图像中目标对象的形状和纹理特征，这些特征将被作为不同类型的先验知识来指导深度网络聚焦图像的关键区域、关注全面的关键特征，从而提升真实场景下复杂图像分类的性能。
2、本发明采用如下技术方案：本发明所述的数据与知识联合驱动的图像分类方法包括三大步骤(1)目标对象定位：基于颜色、目标对象通常在图像中所处于的位置等基础特征定位目标对象，以提高后续步骤中形状和纹理先验特征提取的准确性。(2)形状-纹理感知：设计预定义的特征提取器来提取目标对象的形状和纹理特征，从而分别得到形状和纹理的特征图和特征向量。这些特征被用于构建两种类型的先验知识：将形状特征图和纹理特征图进行融合以得到形状-纹理注意力图；基于形状特征向量和纹理特征向量，通过模板匹配来获得目标对象的类间相似度，这一信息将被进一步转换为软目标。(3)图像分类：在上述先验知识的指导下，使用卷积神经网络来模仿专家的目标对象识别过程以完成图像分类任务。本发明使用形状-纹理注意力图加权输入图像和卷积特征图以指导深度网络聚焦于图像的关键区域(解决挑战1)；在硬目标监督的基础上使用形状-纹理软目标来监督深度网络关注于全面的目标对象关键特征(解决挑战2)。
3、本发明的具体方案如附图1所示。
4、步骤1：目标对象定位
5、目标对象定位步骤的输入为原始图像，输出去除部分无关目标的较为纯净的图像，以帮助在后续的形状纹理感知步骤中提取到准确的形状和纹理特征。以花粉图像为例，由于花粉颗粒和无关信息通常呈现出不同的颜色特征(如花粉颗粒为粉色或紫色，动植物残骸多为棕色或黑色，气泡为白色)，所以基于颜色特征来定位花粉颗粒。
6、步骤1.1图像初始去噪：首先采用均值漂移算法对图像进行平滑处理以减少图像中的噪声点并去除少数的尖锐点，然后对图片进行高斯模糊来模糊背景中的伪影、去除噪声，最后使用图像的乘法运算，乘以一个大于1的常数以增加图像的亮度，去除部分无关信息。
7、步骤1.2颜色空间转换：因为hsv模型可以在一定程度上避免rgb模型的高分散性和高相关性所带来的阈值划分问题，所以本发明将rgb图像转为hsv图像。
8、步骤1.3图像二值化：为了方便定位图像中的目标对象，本发明使用二值化操作使目标对象和背景分离。
9、步骤1.4图像二次去噪：为了减少由前面的图像处理步骤产生的噪声，对二值化的图像依次进行闭操作和开操作。
10、步骤1.5掩模生成：首先提取二值化图像中所有的轮廓信息并计算这些轮廓的外接圆。然后基于轮廓外接圆的半径设定阈值来筛选轮廓，以进一步去除部分无关目标。此后基于轮廓外接圆制作图像掩模。
11、步骤1.6纯净图像生成：使用掩模对原始图像进行覆盖，并采用泛洪填充算法使得图像在背景颜色上与原始图像相似。最终得到纯净图像，以帮助形状-纹理感知步骤中提取到更准确的先验知识。
12、步骤2：形状-纹理感知
13、基于步骤1获得的纯净图像，本发明在形状-纹理感知步骤中提取目标对象的形状和纹理，并将其进一步转化为形状-纹理注意力图和形状-纹理软目标这两种类型的先验知识以指导图像分类步骤。
14、步骤2.1形状感知：形状特征是各类目标对象的基本特征，以花粉图像为例，不同种类花粉的形状是有差异的，比如柏科是圆形，菊科蒿属是三裂，而松科是椭圆形。此外，不同种类花粉的尺寸具有差异。如柏科花粉的直径在26微米和37微米之间变化，桑科的直径在13到28之间变化。本发明基于这一领域知识设计一组形状描述子，用于从二值化的目标轮廓图像中提取形状特征。
15、步骤2.1.1边缘检测：首先将纯净图像转换为灰度图像，然后采用高斯滤波去除图像中的噪声，此后采用canny边缘检测算子检测目标对象的边缘信息。
16、步骤2.1.2轮廓提取：采用opencv库中的findcontours函数提取目标对象的最外层轮廓。由于目标对象旁边可能附着部分杂质边缘，所以筛除较短的轮廓以获得最终的轮廓二值图像。
17、步骤2.1.3形状特征提取：基于上述的轮廓二值图像，本发明设计了一组形状描述子来有效地描述目标对象的形状。形状描述子包括几何特征和hu矩，几何特征可以描述目标对象的大小和基本的形状。hu矩由7个不变矩组成，不仅可以描述形状的不变形态特征，还可以描述高阶统计特征。
18、步骤2.2纹理感知：目标对象的纹理可以有效描述图像中区域的粒度和重复模式，以及斑点状区域的对称放置，是专家识别目标对象类别的重要依据。因此，本发明基于sfta算法(the segmentation-based fractal texture analysis)[6]进行改进来提取目标对象的纹理特征。
19、步骤2.2.1灰度转换：将彩色的纯净图像转换为灰度图像。
20、步骤2.2.2图像二值化：使用ttbd算法(two-threshold binary decomposition)[6]将灰度图像分解为一组二值化图像。
21、步骤2.2.3边缘检测：提取上述步骤2.2.2中得到的每个二值化图像的边缘，得到一组与二值化图像对应的边界图像。
22、步骤2.2.4纹理特征提取：基于灰度图像和边界图像计算尺寸、平均灰度、以及分形维数这三个指标，所以针对每张边界图像生成的特性向量的维度为3。
23、步骤2.3形状-纹理先验知识构建：包括形状-纹理注意力图的构建以及形状-纹理软目标的构建。
24、步骤2.3.1形状-纹理注意力图构建：将归一化的轮廓图像(步骤2.1.2中得到)和边界图像(步骤2.2.3中得到)进行融合以获得形状-纹理注意力图。
25、步骤2.3.2形状-纹理软目标构建：基于步骤2.1.3和2.2.4中得到的形状特征向量和纹理特征向量，使用模板匹配和相似度转换的方法将其转换为软目标，以在图像分类步骤中监督深度网络的训练过程。
26、步骤2.3.2.1模板库构建：模板库中共包含n种目标对象类别，每类目标对象包含m张模板图像。根据形状感知和纹理感知步骤，本发明使用形状和纹理这两类特征向量来表示每类目标对象模板。
27、步骤2.3.2.2模板匹配：基于欧式距离将待测图像分别与模板库中的n类模板图像进行匹配以获得目标对象的类间相似度。对于第i种类别的模板图像，分别计算得到基于形状和纹理的欧式距离。
28、步骤2.3.2.3转换函数构建：基于模板库中的n*m张图像构建形状特征转换函数和纹理特征转换函数，其将用于步骤2.3.1.3中的相似度转换。
29、步骤2.3.2.4相似度转换：基于形状和纹理的两类欧式距离分别通过形状特征转换函数和纹理特征转换函数被归一化和转换为基于形状和基于纹理的相似度测量，这两个信息将被融合以得到总相似度度量(即软目标在目标对象类别i上的值)。
30、步骤3：图像分类
31、在目标对象定位和形状-纹理感知步骤之后，本发明设计图像分类步骤。此步骤中，基于输入的纯净图像以及形状-纹理注意力图和形状-纹理软目标，深度网络在先验知识的指导下预测目标对象的类别，先验知识指导的方式包括注意力指导和软目标监督这两种：注意力指导是指使用形状-纹理注意力图来指导分类网络关注到图像的关键区域，不被无关信息干扰。软目标监督指使用形状-纹理软目标来监督分类网络，从而指导深度网络关注到更全面的目标对象关键特征。
32、步骤3.1深度特征提取：本发明使用经典的卷积神经网络(如vgg19)作为骨干分类网络来提取图像的深层特征。
33、步骤3.2形状-纹理注意力图指导：利用形状-纹理注意力图对输入图像和卷积特征图进行加权，帮助深度网络将注意力集中在图像的关键区域上。
34、步骤3.3软目标监督：基于步骤2.3.1.3中得到的软目标，采用知识蒸馏的方式来监督分类网络的训练过程。
35、步骤3.4硬目标监督：除软目标监督外，本发明基于图像的真值标签(即硬目标)设定损失函数来监督分类网络的训练过程。
36、与已有技术相比，本发明有益效果在于：
37、一、本发明采用的数据与知识联合驱动的图像分类方法，在基于颜色等基础特征定位目标对象后，设计了预定义的特征提取器来提取目标对象的形状和纹理。这些特征被作为先验知识来指导深度网络的图像分类过程。
38、二、本发明采用的数据与知识联合驱动的图像分类方法，基于提取的形状和纹理先验特征来构建形状-纹理注意力图，他们被加权到输入图像和卷积特征图上，帮助分类网络聚焦于图像的关键区域。
39、三、本发明采用数据与知识联合驱动的图像分类方法，基于形状和纹理先验特征，通过模板匹配的方法获得目标对象的类间相似度，并构建转换函数将其转换为软目标。这些软目标通过知识蒸馏的方法来监督分类网络关注到全面的目标对象关键特征。
1.一种数据与知识联合驱动的图像分类方法，其特征在于包括以下步骤：
2.根据权利要求1所述的方法其特征在于：
