本发明属于集成电路制造领域，尤其涉及一种双分支的晶圆sem缺陷图分类和分割方法、系统。
背景技术：
1、集成电路(ic)的制造包含复杂的程序，包括薄膜沉积、离子注入、蚀刻和细致的抛光。随着行业向小型化迈进，电路元件缩小，设计越来越分层，使每个芯片都要经过一系列广泛的处理步骤。在这种精细的编排中，即使是最轻微的偏差也会使晶圆表面产生缺陷。准确识别这些缺陷不仅仅是一项任务，还可以帮助我们准确识别和及时了解设备或程序中的违规行为，从而提高生产良率和可靠性。目前，晶圆片缺陷检测主要包括三个方面：缺陷分布、缺陷形态和缺陷成分。人工智能(al)已经在前两个方面展示了提高效率的潜力。许多研究已经集中在分析缺陷分布上，晶圆上不同形状的存在通常表明特定机械的问题。然而，对于缺陷微观形貌的研究还存在很大的空白，而这恰恰是工程师们优先考虑的方面。
2、半导体制造行业的晶圆缺陷分析领域面临着重大挑战，特别是：(1)缺陷图像的独特性为自动化分析提供了复杂的场景。缺陷与背景之间的大小差异，加上复杂的背景纹理和广泛的缺陷类型，使得sem图像中缺陷的准确分类和分割成为一项艰巨的任务。(2)数据集的稀缺性和机密性增加了这项任务的难度。各种缺陷类型的不均匀发生率导致数据的高度倾斜分布。面对这些障碍，迫切需要一种方法，不仅需要以更高的精度提取和识别缺陷特征，而且需要在数据可用性受限的情况下提供稳健的分类和分割结果。此外，为了防止过拟合，特别是在数据有限的情况下，网络架构必须精简高效，具有最小的参数占用和简化的操作，以促进模型泛化和最小化计算开销。
3、随着深度学习的兴起，晶圆缺陷检测技术已经向更智能的方向发展。包括卷积神经网络(cnn)、长短期记忆(lstms)和自动编码器在内的各种深度学习模型可以有效地处理复杂问题，并用于大规模数据集。然而，现有的晶圆缺陷研究大多集中在分析缺陷图像模式的位置分布和是否存在缺陷的二分类上，这些研究将每个缺陷视为一个点，研究缺陷的聚集程度。然而，在实际工程应用中，工程师工作中最耗时和最需要经验的部分是缺陷形貌的观察和分析，因此现有的研究在充分解决晶圆缺陷分析的需求方面存在局限性。针对晶圆sem图中被认定为存在缺陷的单个部分，如何进一步分析单个缺陷的形态特征，对于确定缺陷形成的根本原因是至关重要的。
4、随着gpu的发展和处理速度的提高，在图像领域的分类任务和分割任务取得了不错的效果。然而，这些研究主要集中在钢、木材等表面的织构缺陷上，这与半导体集成电路中的微观缺陷有很大的不同。此外，缺陷检测的基石一直是以卷积神经网络(cnn)为中心的模型构建；然而，cnn的一个显着局限性在于其相对有限的接受域，这在有效吸收全局上下文信息方面存在实质性障碍。对于集成电路制造领域，如何实现晶圆sem缺陷图的精细化分类与分割是本领域亟待解决的问题。
技术实现思路
1、针对上述问题，本发明提出一种双分支的晶圆sem缺陷图分类和分割方法、系统，采用双分支网络结构，用于晶圆sem缺陷图的缺陷分类和细粒度分割，以实现晶圆缺陷的全方面分析，有助于晶圆sem缺陷图的缺陷根本原因分析进而提高成品率。
2、为了实现上述目的，本发明采用的技术方案如下：
3、本发明提出了一种双分支的晶圆sem缺陷图分类和分割方法，包括以下步骤：
4、步骤1，获取晶圆sem缺陷图作为训练集，标记晶圆sem缺陷类型和缺陷像素点位置；
5、步骤2，将晶圆sem缺陷图进行数据增强处理；
6、步骤3，利用数据增强处理后的训练集对双分支的晶圆sem缺陷图分类与分割模型进行训练；
7、所述的双分支的晶圆sem缺陷图分类与分割模型包括分类分支和分割分支，所述的分类分支包括若干卷积块和swin-transformer块，输入的晶圆sem缺陷图经过若干卷积块提取局部特征，再由swin-transformer块将图像局部特征融合，生成最终特征，将所述的最终特征用于缺陷类型分类；所述的分割分支包括由n层编码块构成的编码器、特征融合模块和由n层解码块构成的解码器，所述特征融合模块位于各层编码块和解码块之间，所述的分类分支中的最终特征融合到编码器中参与计算；
8、步骤4，利用训练后的晶圆sem缺陷图分类与分割模型完成待处理晶圆sem缺陷图的缺陷类型分类和缺陷像素点位置分割。
9、进一步地，所述的swin-transformer块包括图块划分、层归一化、窗口的多头自注意力机制、引入位移的窗口的多头自注意力机制和mlp层；
10、首先通过图块划分将晶圆sem缺陷图的局部特征划分为非重叠的小图块，将小图块执行层归一化处理后输入窗口的多头自注意力机制，将层归一化处理后的小图块划分为窗口，在小图块内执行自注意力操作，再将自注意力结果与小图块进行残差连接，完成第一级计算；对第一级计算结果依次进行层归一化和mlp层处理，将处理结果与第一级计算结果进行残差连接，完成第二级计算；将第二级计算结果依次进行层归一化和引入位移的窗口的多头自注意力机制处理，将处理结果与第二级计算结果进行残差连接，完成第三级计算；对第三级计算结果依次进行层归一化和mlp层处理，将处理结果与第三级计算结果进行残差连接，完成第四级计算；对第四级计算结果转换数据形态，生成晶圆sem缺陷图的最终特征。
11、进一步地，所述的编码器对输入的晶圆sem缺陷图依次下采样实现逐层编码，其中第一层编码块的输入为晶圆sem缺陷图，第i层编码块的输入为第i-1层编码块的输出，2≤i≤n-1；第n层编码块的输入为第n-1层编码块的输出和分类分支中的swin-transformer块的输出拼接后的结果。
12、进一步地，所述的编码块采用残差连接块。
13、进一步地，所述的解码器中的第i层解码块与编码器中的第i层编码块相对应，解码器对晶圆sem缺陷图的编码结果依次上采样实现逐层解码，逐渐恢复图像的分辨率，并在各层解码过程中通过特征融合模块引入相应层的编码特征；其中第n层解码块的输入为第n层编码块的编码特征经过特征融合模块处理后的特征，第n-1层解码块的输入为第n-1层编码块的编码特征经过特征融合模块处理后的特征与第n层解码块的输出拼接后的结果，第一层解码块的输出经过激活函数处理得到晶圆sem缺陷图中每个像素存在缺陷的概率。
14、进一步地，所述的特征融合模块包含多个注意块，所述的注意块首先使用1×1卷积将原始输入特征图的通道数减少到1，获得特征图中位置信息的注意力图；将注意力图内的注意系数与原始输入特征图进行逐元素相乘，生成调制后的特征图；将原始输入特征图与调制后的特征图相加，得到输出特征图。
15、进一步地，所述的特征融合模块中的注意块数量随着编码特征的深度而增加。
16、进一步地，第i层编码块通过i个串联的注意块组合与第i层解码块连接，所述的注意块用于对编码特征校准后输入相应层的解码块。
17、进一步地，所述的步骤4之后还包括：
18、将待处理晶圆sem缺陷图的分类和分割结果作为标签，将新的晶圆sem缺陷图及其标签存储在数据库，由人工定期检查数据库中保存的新图像，剔除预测错误的图像，将数据库中的新图像与原始训练集结合作为新训练集，定期对晶圆sem缺陷图分类与分割模型进行训练更新。
19、本发明还提出了一种双分支的晶圆sem缺陷图分类和分割系统，用于实现上述的双分支的晶圆sem缺陷图分类和分割方法。
20、本发明具备的有益效果是：
21、（1）本发明提出了双分支的晶圆sem缺陷图分类与分割模型，包含分类分支与分割分支，能够同时获得对晶圆微尺度缺陷形态的分类与分割结果。
22、（2）本发明在双分支中设计的swin-transformer块和特征融合模块提高了模型对缺陷的特征提取能力，其中特征融合模块使得模型解码器在各阶段不断整合浅层特征与深层特征，聚焦缺陷区域，实现了微尺度缺陷形态的有效分类和精确分割。
1.一种双分支的晶圆sem缺陷图分类和分割方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的双分支的晶圆sem缺陷图分类和分割方法，其特征在于，所述的swin-transformer块包括图块划分、层归一化、窗口的多头自注意力机制、引入位移的窗口的多头自注意力机制和mlp层；
3.根据权利要求1所述的双分支的晶圆sem缺陷图分类和分割方法，其特征在于，所述的编码器对输入的晶圆sem缺陷图依次下采样实现逐层编码，其中第一层编码块的输入为晶圆sem缺陷图，第i层编码块的输入为第i-1层编码块的输出，2≤i≤n-1；第n层编码块的输入为第n-1层编码块的输出和分类分支中的swin-transformer块的输出拼接后的结果。
4.根据权利要求1或3所述的双分支的晶圆sem缺陷图分类和分割方法，其特征在于，所述的编码块采用残差连接块。
5.根据权利要求1所述的双分支的晶圆sem缺陷图分类和分割方法，其特征在于，所述的解码器中的第i层解码块与编码器中的第i层编码块相对应，解码器对晶圆sem缺陷图的编码结果依次上采样实现逐层解码，逐渐恢复图像的分辨率，并在各层解码过程中通过特征融合模块引入相应层的编码特征；其中第n层解码块的输入为第n层编码块的编码特征经过特征融合模块处理后的特征，第n-1层解码块的输入为第n-1层编码块的编码特征经过特征融合模块处理后的特征与第n层解码块的输出拼接后的结果，第一层解码块的输出经过激活函数处理得到晶圆sem缺陷图中每个像素存在缺陷的概率。
6.根据权利要求1所述的双分支的晶圆sem缺陷图分类和分割方法，其特征在于，所述的特征融合模块包含多个注意块，所述的注意块首先使用1×1卷积将原始输入特征图的通道数减少到1，获得特征图中位置信息的注意力图；将注意力图内的注意系数与原始输入特征图进行逐元素相乘，生成调制后的特征图；将原始输入特征图与调制后的特征图相加，得到输出特征图。
7.根据权利要求6所述的双分支的晶圆sem缺陷图分类和分割方法，其特征在于，所述的特征融合模块中的注意块数量随着编码特征的深度而增加。
8.根据权利要求7所述的双分支的晶圆sem缺陷图分类和分割方法，其特征在于，第i层编码块通过i个串联的注意块组合与第i层解码块连接，所述的注意块用于对编码特征校准后输入相应层的解码块。
9.根据权利要求1所述的双分支的晶圆sem缺陷图分类和分割方法，其特征在于，所述的步骤4之后还包括：
10.一种双分支的晶圆sem缺陷图分类和分割系统，其特征在于，包括：
