本发明属于深度学习和图像分类领域，具体涉及一种融合特征金字塔和自适应原型选择的图像分类方法。
背景技术：
1、随着海量数据和深度学习的快速发展，监督式图像分类已经实现了极高的精确度。然而，构建大规模标注数据集是十分昂贵的，并且在许多应用场景中无法提供大量的训练数据。因此在这种背景下，小样本学习得到了显著发展。小样本图像分类任务的目标是在训练数据量非常有限的情况下，训练出一个分类器，使该分类器可以区分在训练集中从未出现的类别，这个分类问题极具挑战性。因为对于传统图像分类任务中常见的分类器来说，小样本学习中的少数标记示例远远不足以学习丰富的知识，同时也容易导致过拟合，因此，采用传统分类器对小样本图像进行分类的效果较差，提出一种新的图像分类方法以解决小样本图像的分类问题是十分必要的。
技术实现思路
1、本发明的目的是为解决在小样本图像分类任务中，由于难以学习到丰富的知识以及易出现过拟合导致分类效果差的问题，而提出的一种融合特征金字塔和自适应原型选择的图像分类方法。
2、本发明为解决上述技术问题所采取的技术方案是：
3、一种融合特征金字塔和自适应原型选择的图像分类方法，所述方法具体包括以下步骤：
4、步骤一、搭建包括resnet模块和特征金字塔的fresnet网络，将训练集中的图像依次输入到fresnet网络内，利用训练集中的图像对fresnet网络进行训练；
5、fresnet网络的训练过程为：
6、利用fresnet网络分别提取出输入的每张图像的特征向量，根据得到的图像特征向量确定输入图像所属的类别，直至对训练集中图像的分类准确率达到设定的阈值时停止训练，获得训练好的fresnet网络；
7、步骤二、将待分类图像输入训练好的fresnet网络，利用训练好的fresnet网络输出待分类图像的特征向量，再根据待分类图像的特征向量确定待分类图像所属的类别。
8、进一步地，所述resnet模块为resnet-12或resnet-18。
9、进一步地，所述fresnet网络的工作过程为：
10、对于输入到fresnet网络中的任意一张图像，利用resnet模块自底向上的提取输入图像的特征图c′1，c′2，c′3：
11、{c′1，c′2，c′3}＝fresnet(x)
12、其中，c′3是resnet模块中最后一个残差块输出的特征图，c′2是resnet模块中倒数第二个残差块输出的特征图，c′1是resnet模块中倒数第三个残差块输出的特征图，x表示输入图像，fresnet(x)表示输入图像经过resnet模块进行处理；
13、将特征图c′3作为特征金字塔的顶层的输入，将特征图c′2作为特征金字塔的中间层的输入，将特征图c′1作为特征金字塔的底层的输入，自上而下地计算特征金字塔的输出：
14、p1＝fnearest(fsam-3(c′3))
15、p2＝concat(fsam-2(c′2)，p1)
16、p3＝concat(fsam-3(c′1)，fnearest(p2))
17、其中，fsam-3(c′3)表示特征图c′3经过自注意力层的输出，fsam-2(c′2)表示特征图c′2经过自注意力层的输出，fsam-3(c′1)表示特征图c′1经过自注意力层的输出，fnearest(·)表示最近邻上采样，p1和p2为中间特征，concat(·)表示通道上的特征连接，p3为特征金字塔的输出，即提取出的输入图像特征向量。
18、进一步地，所述根据得到的图像特征向量确定图像所属的类别，具体为：
19、1)若支持集中每个图像类别只包括一张样本图像，则对于输入的任意一张图像的特征向量，分别计算该输入图像的特征向量与每个类别对应样本图像特征向量的相似度，将最大相似度所对应的类别作为该输入图像的类别；同理，得到训练集中每张输入图像所属的类别；
20、2)若支持集中的每个图像类别包括k张样本图像，k≥2，则对于输入的任意一张图像的特征向量，根据图像特征向量和自适应原型选择方法确定图像所属的类别；同理，得到训练集中每张输入图像所属的类别。
21、进一步地，所述根据得到的图像特征向量和自适应原型选择方法确定图像所属的类别；具体为：
22、步骤1、对于输入的任意一张图像的特征向量xq，将支持集中第i个图像类别的第j个样本图像的特征向量记为si，j，则计算出xq与si，j的欧式距离di，j；
23、根据欧式距离di，j和softmax函数计算第i个图像类别的第j个样本图像的权值wi，j，根据权值wi，j和特征向量si，j计算第i个图像类别的类原型；
24、步骤2、采用步骤1的方法计算出每个图像类别的类原型，再分别计算特征向量xq与每个图像类别的类原型的相似度，将最大相似度所对应的图像类别作为步骤1输入图像的类别；
25、步骤3、采用步骤1和步骤2的方法，得到训练集中每张输入图像所属的类别。
26、进一步地，所述欧式距离di,j的计算过程为：
27、di,j＝(xq-si,j)2
28、进一步地，所述根据欧式距离di,j和softmax函数计算第i个图像类别的第j个样本图像的权值wi,j；具体为：
29、
30、其中，k是第i个图像类别中样本图像的总数，θ是常数。
31、进一步地，所述根据权值wi,j和特征向量si,j计算第i个图像类别的类原型；具体为：
32、
33、其中，xi,proto是第i个图像类别的类原型。
34、进一步地，所述若支持集中每个图像类别只包括一张样本图像，则对于输入的任意一张图像的特征向量，分别计算该输入图像的特征向量与每个类别对应样本图像特征向量的相似度，相似度通过内积或欧氏距离来计算。
35、更进一步地，所述分别计算特征向量xq与每个图像类别的类原型的相似度，相似度通过欧氏距离来计算。
36、本发明的有益效果是：
37、本发明针于小样本学习图像分类容易过拟合且难以学习到丰富的知识，导致分类效果差的问题，提出了一种融合特征金字塔和自适应原型选择的小样本图像分类方法，提出的方法通过设计一种新的特征提取器fresnet，在特征提取阶段采用特征金字塔结构融合不同层次特征，更好的捕捉图像的局部和全局信息。在度量样本相似度阶段，采用了一种新的自适应原型计算方法，根据查待识别样本动态计算各个支持集样本，可以得到更准确的支持集类原型。采用本发明方法可以显著提升对小样本图像的分类效果。
38、同时通过比较其他基线方法，证明了本发明方法的优越性，可以得到更好的分类效果。而且通过消融实验证明了本发明设计的特征提取器可以更好地捕捉样本特征，提出的自适应原型选择方法也可以得到更准确的类原型。
1.一种融合特征金字塔和自适应原型选择的图像分类方法，其特征在于，所述方法具体包括以下步骤：
2.根据权利要求1所述的一种融合特征金字塔和自适应原型选择的图像分类方法，其特征在于，所述resnet模块为resnet-12或resnet-18。
3.根据权利要求2所述的一种融合特征金字塔和自适应原型选择的图像分类方法，其特征在于，所述fresnet网络的工作过程为：
4.根据权利要求3所述的一种融合特征金字塔和自适应原型选择的图像分类方法，其特征在于，所述根据得到的图像特征向量确定图像所属的类别，具体为：
5.根据权利要求4所述的一种融合特征金字塔和自适应原型选择的图像分类方法，其特征在于，所述根据得到的图像特征向量和自适应原型选择方法确定图像所属的类别；具体为：
6.根据权利要求5所述的一种融合特征金字塔和自适应原型选择的图像分类方法，其特征在于，所述欧式距离di，j的计算过程为：
7.根据权利要求6所述的一种融合特征金字塔和自适应原型选择的图像分类方法，其特征在于，所述根据欧式距离di，j和soffmax函数计算第i个图像类别的第j个样本图像的权值wi，j；具体为：
8.根据权利要求7所述的一种融合特征金字塔和自适应原型选择的图像分类方法，其特征在于，所述根据权值wi，j和特征向量si，j计算第i个图像类别的类原型；具体为：
9.根据权利要求8所述的一种融合特征金字塔和自适应原型选择的图像分类方法，其特征在于，所述若支持集中每个图像类别只包括一张样本图像，则对于输入的任意一张图像的特征向量，分别计算该输入图像的特征向量与每个类别对应样本图像特征向量的相似度，相似度通过内积或欧氏距离来计算。
10.根据权利要求9所述的一种融合特征金字塔和自适应原型选择的图像分类方法，其特征在于，所述分别计算特征向量xq与每个图像类别的类原型的相似度，相似度通过欧氏距离来计算。
