本发明涉及一种基于最大化上下文互信息和对比拼图的皮肤病变图像分类方法，属于计算机视觉中的图像分类。
背景技术：
1、皮肤癌是世界上最危险的疾病之一，其中黑色素瘤是一种较为常见的皮肤癌。对皮肤病患者而言，及早发现与治疗，是有效治愈皮肤病的唯一途径。随着科学技术的进步，现如今人们可以通过计算机对皮肤病变图像进行分类，从而提前治疗预防皮肤癌。
2、皮肤病变图像数据集的特点主要有：(1)皮肤病变图像数据不足且标注成本较高。不同于自然图像易于收集，由于法律限制和隐私问题，收集医疗数据比较困难。此外，用于监督训练的皮肤病变图像需要具备专业知识的人员进行手动标注，这使得标注成本昂贵且耗时。(2)皮肤病图像数据集分布不平衡。在大多数皮肤病数据集中，通常良性病变图像占有大部分比例；此外，在不同皮肤病类别的样本数量上存在显著的数量不平等。(3)皮肤病变图像存在类间差异小和类内差异大现象。
3、深度学习需要大量的图像数据进行训练，为了缓解皮肤病变图像数据集制作成本的压力，研究人员尝试不完全依赖于标签图像数据，利用大量未标签图像数据以自监督学习的方式训练模型。自监督学习可以更好地利用未标记数据中蕴含的丰富信息，突破了有监督学习方式需要大量标记样本参与的限制，为在数据样本匮乏的情况下学习更丰富的语义表征提供了新的思路。由于自监督学习并不依赖图像标签进行训练，在一定程度上缓解数据不平衡所带来的负面影响，有助于形成更加平衡的特征空间。
4、现有自监督学习方法通常采用单一辅助任务，图像内辅助任务关注单幅图像的特征信息，图像间辅助任务关注多对图像的相同点与不同点。基于现有自监督学习方法不足和皮肤病变图像数据集特点，亟需提出一种皮肤病变图像识别分类方法，提高皮肤病的识别分类精度和准确率，帮助医护人员更好地开展医护治疗。
技术实现思路
1、发明目的：针对现有自监督学习方法在皮肤病变图像识别分类上的不足，提出一种适用于皮肤病变图像的基于最大化上下文互信息和对比拼图的皮肤病变图像分类方法，该方法在图像实例级层面将图像间辅助任务和图像内辅助任务相结合以缓解数据集类不平衡问题，并在图像特征级层面利用多个视图特征之间的互信息学习局部特征与全局特征之间的关联，充分捕捉数据潜在特征以解决数据集类间差异小类内差异大问题。此方法针对无监督场景下的皮肤病变图像分类任务，能够有效提升皮肤病变图像识别效率准确率。
2、技术方案：一种基于最大化上下文互信息和对比拼图的皮肤病变图像分类方法，其特征在于，包括模型训练阶段和模型微调阶段，所述模型训练阶段具体包括如下步骤：
3、(1)获取待识别分类的皮肤病变图像数据集，利用数据增强对皮肤病变图像数据集进行预处理；
4、(2)设计并构建基于卷积神经网络的主干网络模型，该网络模型由普通卷积层、残差网络块和残差网络层组成；
5、(3)引入最大化上下文互信息辅助任务帮助模型学习局部结构和全局特征之间的上下文联系；
6、(4)引入对比拼图辅助任务用于帮助模型兼顾高级语义特征与低级纹理信息的学习；
7、(5)利用步骤2处理后的训练集训练网络模型；
8、所述模型微调阶段具体包括如下步骤：
9、(1)利用上述训练得到的网络模型，在网络模型后引入分类器，分类器为全连接层，冻结主干网络后利用少量有标签数据集对分类器进行微调。
10、(2)根据皮肤病变类别预测概率对待分类皮肤病变图像进行分类。
11、进一步的，在所述模型训练阶段步骤(1)所述图像数据增强及图像预处理步骤为：
12、设置图像尺寸大小为128×128，将无标签皮肤病变图像进行尺寸统一化；
13、将尺寸统一化后的皮肤病变图像数据集按照一定比例划分为训练集和测试集；
14、对皮肤病变图像训练集实施切分分块、重新组合操作，在图像分块时将生成图像分块所属原图编号和分块位置编号的伪标签。
15、对混合重组图像实施数据增强操作，数据增强操作为随机裁剪后还原至初始尺寸、随机色彩失真和随机高斯模糊，得到输入样本；
16、进一步的，在所述模型训练阶段步骤(3)所述最大化上下文互信息辅助任务具体方法为：
17、1)最大化上下文互信息辅助任务是指最大化从共享上下文的多个视图中提取到的特征之间的互信息，通过该辅助任务能够迫使模型捕获特征的上下文信息。图像经过主干网络学习后，可以得到全局特征f1(x)，中间卷积层生成的局部特征和其中下标表示编码器输出特征尺寸为m×m的特征图，i，j表示局部特征图中某一图像块的位置索引，将其投影至同一空间后可计算互信息。引入对比学习思想，该任务需要最大化来自同一图像的两个视图对(xa，xb)各个特征之间的互信息，将某两个视图的特征间损失函数定义为：
18、
19、其中，φ(f1，f7)为正样本对匹配函数，n7为负样本集合，φ(f1，f7)为正样本对匹配函数，为投影变换函数。
20、2)在本方法中将通过最大化两个不同视图1×1与5×5、1×1与7×7、5×5与5×5特征图之间的互信息以帮助模型网络学习特征，则本方法损失函数计算公式定义为：
21、linf＝linf(<f1(xa)，f7(xb)>)+linf(<f1(xa)，f5(xb)>)
22、+linf(<f5(xa)，f5(xb)>)+linf(<f1(xb)，f7(xa)>)
23、+linf(<f1(xb)，f5(xa)>)+linf(<f5(xb)，f5(xa)>) (2)
24、进一步的，在所属模型训练阶段步骤(4)所述对比拼图辅助任务具体方法为：
25、1)对比拼图辅助任务是指将拼图任务与对比学习结合，实现图像内辅助任务与图像间辅助任务的互补，该任务分为对比学习分支和拼图分支。
26、2)对比学习子任务中，混合图像通过主干网络后解耦获得其尺寸为n×km×km×c(k＝1，2，...)的特征图。根据图像分块伪标签，将来自同一幅图像的m2个特征向量视为同一类别。在对比学习分支中设置一个投影头和一个预测头进行映射至投影空间。投影头是一个小型多层感知机，包括一个输出尺寸为4096的线性层，然后进行批量归一化后进入修正线性单元(relu)最后通过一个输出尺寸为256的线性层并再次进行批量归一化。预测头结构同投影头大致相同，最后将输出4096维特征向量。对于同一批次中的每一对图像分块，损失函数定义为：
27、
28、其中，i为指示函数，当k≠i时成立；τ为温度超参数用于平滑概率分布，sim(u，v)为向量u和v的余弦相似度，在对比学习中(i，j)为正样本对，(i，k)为负样本对。由于单个图像中将采样m×m个图像分块，对比学习损失函数需要计算来自不同图像的所有对，则对比学习分支损失函数定义为：
29、
30、其中，为第i张图像分块簇的集合。
31、3)拼图子任务中，单个图像被切分为m×m个图像分块，在切分过程中每个图像分块根据它们在原图中的位置将被分配一个定位伪标签。混合图像通过主干网络后解耦获得其尺寸为n×km×km×c(k＝1，2，...)的特征图，本任务将其特征向量表示为拼图辅助任务被视为预测每个图像分块的标签，将在输入向量后附加全连接层作为分类器，即因此本文采用交叉熵损失函数，如下所示：
32、
33、其中，c是拼图任务可能预测的位置总数。
34、进一步的，在所属模型训练阶段步骤(5)所述训练损失函数为上述所有辅助任务损失函数的加权求和，总体损失函数定义为：
35、l＝＝α(lcon+ljig)+linf (6)
36、其中，α是平衡任务的超参数。
37、进一步的，在所述模型微调阶段步骤(1)所述分类器为在主干网络后添加n维全连接层，n为分类数目。经过全连接层后利用softmax激活函数得到各个类别概率。冻结主干网络参数后采用带有标签的皮肤病变图像数据集训练分类器，得到最终可实际应用的分类模型。
38、本发明采用以上技术方案与现有技术相比，具有以下突出的技术效果和优点：
39、本发明采用自监督学习方法缓解皮肤病变数据集数据量不足的现状，针对皮肤病变图像数据集类不平衡和类间差异小类内差异大的问题，本发明在特征级层面通过设置最大化上下文互信息辅助任务提升模型学习特征间关联信息的能力。此外，在实例级层面通过将对比学习与拼图相结合组成对比拼图任务帮助模型学习高级语义特征和低级纹理信息。实验表明，与当前基于自监督学习的皮肤病变图像分类方法相比，本发明能够有效提升分类精度和准确率，并达到与监督学习下的分类方法相似水平。
1.一种基于最大化上下文互信息和对比拼图的皮肤病变图像分类方法，其特征在于，包括模型训练阶段和模型微调阶段，所述模型训练阶段具体包括如下步骤：
2.根据权利要求1所述的基于最大化上下文互信息和对比拼图的皮肤病变图像分类方法，其特征在于，所述模型训练阶段步骤(3)中，所述最大化上下文互信息辅助任务具体方法如下：
3.根据权利要求1所述的基于最大化上下文互信息和对比拼图的皮肤病变图像分类方法，其特征在于，所述模型训练阶段步骤(4)中，所述对比拼图辅助任务具体方法如下：
4.根据权利要求1所述的基于最大化上下文互信息和对比拼图的皮肤病变图像分类方法，其特征在于，所述模型训练阶段步骤(5)中，所述训练损失函数为上述所有辅助任务损失函数的加权求和，总体损失函数定义为：
