本发明涉及医学图像处理，尤其是涉及一种基于视觉变换器的皮肤癌辅助诊断方法与系统。
背景技术：
1、皮肤病是人类健康所面临的严重威胁之一。皮肤长期暴露在外部环境，受遗传和外界因素的影响，容易发生各种病变。全球每年有超过上百万人受困于皮肤病，且这些病变多种多样，临床上可分为上千种。本发明可识别的是色素性皮肤病，大致可以分为八类：皮肤纤维瘤、黑色素细胞痣、良性角化病、光化性角化病、血管病变、鳞状细胞癌、基底细胞癌、黑色素瘤，前五种属于良性肿瘤，后三种属于恶性肿瘤，其中黑色素瘤是最为致命的一种。恶性肿瘤可以不断增殖，引起转移，威胁生命，称为皮肤癌。
2、恶性黑色素瘤是一种源于黑色素细胞的恶性肿瘤，84％的恶性黑色素瘤发展自黑色素痣，若及时发现病灶并进行治疗，患者五年以内生存率可以达到95％，而晚期发现则只有15％。据世界卫生组织统计，每年全球有超过150,000例确诊黑色素瘤的新病例，且因皮肤癌死亡人数超120,000例，这足以显示出黑色素瘤对人类健康的严重威胁。恶性黑色素瘤除早期手术切除外，缺乏特效治疗，因此，恶性黑色素瘤的早期诊断和治疗极其重要，对黑色素瘤的诊治越早越好，能够延长患者存活时间，有效降低死亡率。想要做到黑色素瘤的早期精确诊断，对于患者和医生来说都存在严重阻碍。
3、对于患者，早期难以察觉、缺乏医疗资源。黑色素瘤和黑色素痣极为相似，所以早期患者几乎无法察觉异常，导致无法及时就诊。
4、对于医生，当前临床对皮肤癌的诊断主要是基于皮肤镜目视诊断，诊断效率低，且易受医师医技水平和经验的影响，导致主观性强、误诊率高。当然，也可以通过活体检测诊断，但是活检结果是一种创伤性的诊断方法，虽然诊断结果可靠度高，但皮肤活组织检查属于入侵性检查，在未确诊肿瘤为良性或恶性之前，盲目实施活检往往会给病人造成不必要的创伤和痛苦，且活检手术的手术范围也较难确定，从而导致检查周期变长，且费用高昂，这给患者带来身体上痛苦的同时还带来经济压力。因此，目前对于皮肤癌的诊断方法，已经不能够适应现代医疗需求的发展，医学界迫切需要研究非创伤性的低成本的黑色素瘤诊断技术，。
5、例如中国专利申请cn202310389765.8以及cn201711030895.3，公开了一些基于深度学习等人工智能算法辅助皮肤癌诊断的方法模型。但是，皮肤癌图像数据存在着数量有限和难以获取的问题，并且不同类别皮肤病变之间图像数据数量集不平衡，导致训练得到的现有辅助诊断模型识别效果不甚理想。
技术实现思路
1、本发明的目的是为解决皮肤癌图像数据存在着数量有限和难以获取并且不同类别皮肤病变之间图像数据数量集不平衡等问题，而提供一种基于视觉变换器的皮肤癌辅助诊断方法。
2、本发明的目的可以通过以下技术方案来实现：
3、一种基于视觉变换器的皮肤癌辅助诊断方法，所述方法步骤包括：
4、获取皮肤癌图像数据，并对图像数据进行预处理；
5、对于图像数据较少的数据类别，使用条件自适应增强的风格样式对抗生成网络对应类别的图像以扩充数据集；
6、将于扩充后的数据集输入基于高效图像变换器的分类模型，得到辅助诊断的分类结果；
7、所述的分类模型以高效图像变换器为骨干网络，于高效图像变换器的特征提取器插入批处理模块，并使用双分支训练策略进行训练。
8、作为优选技术方案，所述对图像数据进行预处理包括：对数据集进行图像分割、提取皮肤病变区域、去除包括背景、毛发和气泡的干扰因素以及进行数据增强。
9、作为优选技术方案，所述的条件自适应增强的风格样式对抗生成网络的生成器通过卷积、池化操作将图像缩放到不同尺寸，在生成器的各个层级提取不同尺度的特征图像；在生成器的末尾设置特征融合模块，用于融合来自不同尺度的特征图像以生成最终图像。
10、作为优选技术方案，所述的生成器包括级联生成器和细节生成器；
11、所述的级联生成器负责生成图像的全局结构和粗略细节，包括一系列堆叠的块，每个块包含潜在编码和非线性映射网络，初始潜在代码被规范化并输入非线性映射网络，随机采样的皮肤癌图像数据被投影到空间中，并通过仿射学习过程产生全连接层输出以及相应的样式；
12、通过上采样技术，级联生成器首先以较低的分辨率生成图像，然后逐渐增加图像的分辨率和复杂性，每个块的输出被传递到下一个块，直到达到所需的分辨率；
13、所述的细节生成器用于生成高频细节，通过将级联生成器的输出与噪声结合来调整权重；通过调制和解调，对权重进行归一化，并通过将定制的卷积层与解调的样式向量融合，将生成的特征图融合并与偏置和噪声相加，得到输出结果。
14、作为优选技术方案，对于所述条件自适应增强的风格样式对抗生成网络生成的指定类别的高质量皮肤癌图像，使用inception score评估生成图像的质量和多样性以及fid度量生成图像的分布与真实图像分布之间的差异；最终采用与真实数据集差异符合标准的生成皮肤癌图像扩充数据集。
15、作为优选技术方案，所述的批处理模块的编码器包含多头注意力机制msa和多层感知机块mlp，并且在每个模块后进行层标准化。
16、作为优选技术方案，所述基于高效图像变换器的分类模型的双分支训练步骤具体如下：
17、批处理开始前，将每批数据特征复制成两份，一份数据传入原有的网络模块中，另外一份数据经过批处理模块的分支，除了批处理模块外，在两个分支中共享其他所有模块的全部参数；样本之间的表示学习可以用梯度分析表示如下：
18、
19、其中，x(x＝x0,x1,xi,…xn-1)代表皮肤癌图像，l(l＝l0,l1,li,…ln-1)代表相应的小批量损失。
20、作为优选技术方案，所述的基于高效图像变换器的分类模型采用知识蒸馏轻量化视觉变换器模型，具体步骤如下：
21、在嵌入图像块时添加蒸馏标志，进行知识蒸馏轻量化模型；所述的蒸馏标志包含了教师模型的特征表示，用于指导学生模型的训练，即用于在知识蒸馏过程中传递教师模型的知识给学生模型；
22、在原始视觉变换器模型的块中，通过修改较大模型的状态字典来执行决定编码块的删减，并保留所有非transformer块的参数；
23、复制教师模型中所选的transformer块的权重，和所有其他可训练的权重；
24、至于损失函数，使用损失函数微调蒸馏模型，得到知识蒸馏轻量化的分类模型。
25、作为优选技术方案，所述的损失函数包括：教师和学生输出之间的交叉熵损失、教师和学生隐藏状态之间的余弦损失以及两个网络之间logits的均方误差损失，将上述损失的加权线性组合，最终的损失函数的公式表示为：
26、
27、
28、
29、
30、其中，表示最终的蒸馏损失函数；α,β,γ表示权重参数；slogits，tlogits分别表示学生和教师模型的输出logits；t是蒸馏温度参数；logsoft,ax,softmax分别表示对logits进行对数softmax和softmax操作；mseloss是均方误差损失函数；分别表示学生和教师模型的隐藏状态，target表示目标相似性。
31、作为优选技术方案，所述的方法利用计算机模型迁移技术将基于高效图像变换器的分类模型的权重部署到终端程序；
32、使用springboot作为后端框架，用于构建服务器端的api接口，处理客户端的请求；
33、使用pytorch构建和训练基于高效图像变换器的分类模型，在springboot应用程序中加载和使用；
34、检测流程如下：客户端上传图像，发出检测请求，后端获取redis请求队列并调用已训练好的分类模型进行识别，并将请求放入缓存，然后获取识别结果并提供给前端页面。
35、与现有技术相比，本发明具有以下有益效果：
36、1)本发明使用优化后的高效数据变换器分类网络，使用批处理操作促进样本特征之间的相互学习，能够解决数据不平衡问题，并且使用多头自注意力对批处理器的输入进行重塑，使得不同皮肤癌图像样本间的交叉注意，即以端到端的学习方式汇聚来自每个小批次中不同样本的标记特征，使得网络可以正确捕捉到病灶的位置以及边缘。
37、2)本系统使用条件自适应增强风格样式的对抗网络，对于指定类别的皮肤癌图像进行多尺度融合，生成高质量的皮肤癌图像以扩充数据集。在生成器的各个层级引入了不同尺度的特征信息，以捕捉图像的不同细节和结构。同时设计一个特征融合模块将来自不同尺度的特征图像融合在一起，以产生更加丰富和逼真的特征表示。解决了皮肤癌图像数据的数量有限和难以获取的问题，该生成网络方式同样适用于其他医疗图像的数据稀缺问题；
38、3)本发明提出了一种优化后的高效数据变换器分类网络，利用在分类模型中添加蒸馏标志，直接知识蒸馏减少模型参数量，减少实际开发程序的资源与时间成本，便于算法应用到实际开发程序中；除了原始的训练目标外，还使用两个网络之间logits的均方误差(mse)损失，通过损失函数微调后得到的参数小、鲁棒性高的轻量化模型；
39、4)提出了一种基于视觉变换器的皮肤癌辅助诊断方法与系统，该方法能够检测八类皮肤病变类型，结果表明该方法检测的准确率可达91.78％，高于医生人工目视诊断的75％，便于患者早期自我筛查和有效辅助医生诊断。
1.一种基于视觉变换器的皮肤癌辅助诊断方法，其特征在于，所述方法步骤包括：
2.根据权利要求1所述的一种基于视觉变换器的皮肤癌辅助诊断方法，其特征在于，所述对图像数据进行预处理包括：对数据集进行图像分割、提取皮肤病变区域、去除包括背景、毛发和气泡的干扰因素以及进行数据增强。
3.根据权利要求1所述的一种基于视觉变换器的皮肤癌辅助诊断方法，其特征在于，所述的条件自适应增强的风格样式对抗生成网络的生成器通过卷积、池化操作将图像缩放到不同尺寸，在生成器的各个层级提取不同尺度的特征图像；在生成器的末尾设置特征融合模块，用于融合来自不同尺度的特征图像以生成最终图像。
4.根据权利要求3所述的一种基于视觉变换器的皮肤癌辅助诊断方法，其特征在于，所述的生成器包括级联生成器和细节生成器；
5.根据权利要求1所述的一种基于视觉变换器的皮肤癌辅助诊断方法，其特征在于，对于所述条件自适应增强的风格样式对抗生成网络生成的指定类别的高质量皮肤癌图像，使用inception score评估生成图像的质量和多样性以及fid度量生成图像的分布与真实图像分布之间的差异；最终采用与真实数据集差异符合标准的生成皮肤癌图像扩充数据集。
6.根据权利要求1所述的一种基于视觉变换器的皮肤癌辅助诊断方法，其特征在于，所述的批处理模块的编码器包含多头注意力机制msa和多层感知机块mlp，并且在每个模块后进行层标准化。
7.根据权利要求1所述的一种基于视觉变换器的皮肤癌辅助诊断方法，其特征在于，所述基于高效图像变换器的分类模型的双分支训练步骤具体如下：
8.根据权利要求1所述的一种基于视觉变换器的皮肤癌辅助诊断方法，其特征在于，所述的基于高效图像变换器的分类模型采用知识蒸馏轻量化视觉变换器模型，具体步骤如下：
9.根据权利要求8所述的一种基于视觉变换器的皮肤癌辅助诊断方法，其特征在于，所述的损失函数包括：教师和学生输出之间的交叉熵损失、教师和学生隐藏状态之间的余弦损失以及两个网络之间logits的均方误差损失，将上述损失的加权线性组合，最终的损失函数的公式表示为：
10.根据权利要求1所述的一种基于视觉变换器的皮肤癌辅助诊断方法，其特征在于，所述的方法利用计算机模型迁移技术将基于高效图像变换器的分类模型的权重部署到终端程序；
