本发明涉及图像处理，更具体的说是涉及一种考虑全局和局部特征的舌像分类方法。
背景技术：
1、在中医中，舌头的属性可以反映人体内脏的健康状态。
2、然而，传统的舌像分析主要依赖于医生的经验进行主观判断，不仅费时费力，而且容易受到个人经验和主观认识的影响和限制。
3、随着深度学习技术的发展，利用计算机视觉进行舌头图像的识别分类成为可能，为客观、高效、准确的舌象诊断提供了新的途径。
4、但尽管深度学习在图像分类领域已经显示出了强大的性能，但将其应用于舌像分类仍面临诸多挑战；例如舌头图像的分类是一个典型的细粒度图像分类问题，需要模型能够捕捉到微小的、细节的特征差异，同时，舌头具有多种属性，要求模型不仅能够识别出舌头的总体特征，还要能够同时处理多个属性，进行多标签分类。
5、目前，针对细粒度图像分类问题，弱监督学习的策略如使用金字塔网络建模局部特征，被广泛采用以捕捉局部特征变化，但该种方法引入了额外的成本，且这类方法未必适用于舌头图像数据集；同时，现有的局部特征学习方法往往忽视了全局特征和局部特征之间内在的结构关联性，导致难以抽取更具判别性的舌头特征，使得目前的方法识别准确率精度很低。
技术实现思路
1、有鉴于此，为了在深度学习框架下，有效捕捉并整合生物相关特征的多样化细节，本发明提供了一种考虑全局和局部特征的舌像分类方法；目的在于提高舌像特征提取能力，进而提高舌像分类的准确率。
2、为了实现上述目的，本发明采用如下技术方案：
3、一种考虑全局和局部特征的舌像分类方法，包括：
4、提取舌像的全局空间特征，基于语义关系注意力为全局空间特征嵌入类别标签，得到全局标签嵌入；
5、根据全局标签嵌入中的类注意力权重计算领域全局类注意力以定位关键区域，根据关键区域生成局部视图；
6、提取局部视图中的局部空间特征，基于语义关系注意力为局部空间特征嵌入类别标签，得到局部标签嵌入；
7、根据全局标签嵌入和局部标签嵌入对舌像进行分类。
8、优选地，使用参数共享的卷积神经网络提取舌像的全局空间特征以及局部视图中的局部空间特征。
9、优选地，基于语义关系注意力为全局空间特征/局部空间特征嵌入类别标签的过程包括：
10、通过嵌入层生成初始类别标签嵌入；同时，通过全局最大池化将全局空间特征/局部空间特征编码为向量，并与初始类别标签拼接；
11、利用多头自注意力对拼接后的向量进行聚合学习，将学习结果作为查询特征；
12、以及将全局空间特征/局部空间特征展平并加入位置编码，作为键特征和值特征，利用多头交叉注意力进行加权学习，得到全局标签嵌入/局部标签嵌入。
13、优选地，根据全局标签嵌入中的类注意力权重计算领域全局类注意力以定位关键区域，并根据关键区域生成局部视图的过程包括：
14、将类注意力权重在通道维度进行平均化，得到注意力权重矩阵；
15、基于注意力权重矩阵采用滑动窗口计算邻域全局类注意力分数；
16、根据全局类注意力分数确定局部关键区域，并得到关键区域坐标；
17、将关键区域坐标映射至舌像得到变换坐标，根据变换坐标进行裁剪得到局部图像；
18、对局部图像进行双线性上采样，得到与所述舌像尺寸一致的局部视图。
19、优选地，引入如下一致性损失函数，以保证全局和局部每对类间标签嵌入的一致性；
20、
21、其中，[l]表示整数集合{1,2,...,l}，l表示类别总数；为全局标签嵌入中任意两个类间标签嵌入的欧氏距离，和分别表示第和第个类别的全局标签嵌入，为局部标签嵌入中任意两个类间标签嵌入的欧氏距离，和分别表示第和第个类别的局部标签嵌入；且
22、。
23、优选地，全局标签嵌入中任意两个类间标签嵌入的欧氏距离为：
24、
25、局部标签嵌入中任意两个类间标签嵌入的欧氏距离为：
26、
27、式中，和分别表示第和第个类别的真实标签。
28、优选地，根据全局标签嵌入和局部标签嵌入对舌像进行分类，包括：
29、将全局标签嵌入和局部标签嵌入分别输入至标签分类器，并通过线性层投影为向量，得到全局预测分布和局部预测分布；
30、以全局预测分布和局部预测分布中最大值，作为舌像分类结果。
31、优选地，利用如下二元交叉熵损失函数对分类损失进行优化，
32、
33、
34、其中，、分别代表第个类别的全局预测概率和局部预测概率，表示第个类别的真实标签。
35、优选地，总体训练损失函数为：
36、
37、式中，lossgb为全局预测损失函数，为局部预测损失函数，lossac为全局和局部的标签嵌入一致性损失函数，α、β为损失的权重。
38、经由上述的技术方案可知，本发明公开提供了一种考虑全局和局部特征的舌像分类方法，首先提取舌像的全局空间特征，基于语义关系注意力为全局空间特征嵌入类别标签，得到全局标签嵌入；随后基于全局标签嵌入中的类注意力权重计算领域全局类注意力以定位关键区域，从而裁剪舌头图像生成尺度精细的局部视图；进一步通过提取局部视图中的局部空间特征，为局部空间特征嵌入类别标签，得到局部标签嵌入；最终根据全局标签嵌入和局部标签嵌入对舌像进行分类。
39、与现有技术相比，本发明技术方案能更好的提取舌头图像细粒度特征，从而更好的凸显局部判别特征；将全局特征与局部特征的结构关系加以规范和对齐，可增强学习到的特征表示的独特性和区分性，提升模型的细粒度分类能力，提高舌头图像分类的准确性。
40、本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
41、下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
1.一种考虑全局和局部特征的舌像分类方法，其特征在于，包括：
2.根据权利要求1所述的一种考虑全局和局部特征的舌像分类方法，其特征在于，使用参数共享的卷积神经网络提取舌像的全局空间特征以及局部视图中的局部空间特征。
3.根据权利要求1所述的一种考虑全局和局部特征的舌像分类方法，其特征在于，为全局空间特征/局部空间特征嵌入类别标签的过程包括：
4.根据权利要求1所述的一种考虑全局和局部特征的舌像分类方法，其特征在于，根据全局标签嵌入中的类注意力权重生成局部视图的过程包括：
5.根据权利要求1所述的一种考虑全局和局部特征的舌像分类方法，其特征在于，引入如下一致性损失函数，以保证全局和局部每对类间标签嵌入的一致性；
6.根据权利要求5所述的一种考虑全局和局部特征的舌像分类方法，其特征在于，全局标签嵌入中任意两个类间标签嵌入的欧氏距离为：
7.根据权利要求1所述的一种考虑全局和局部特征的舌像分类方法，其特征在于，根据全局标签嵌入和局部标签嵌入对舌像进行分类，包括：
8.根据权利要求7所述的一种考虑全局和局部特征的舌像分类方法，其特征在于，利用如下二元交叉熵损失函数对分类损失进行优化，
9.根据权利要求8所述的一种考虑全局和局部特征的舌像分类方法，其特征在于，总体训练损失函数为：
