本发明涉及缺陷检测领域，尤其涉及一种结合深度特征的传感器封装过程缺陷检测装置及方法。
背景技术：
1、随着工业自动化和智能制造的快速发展，传感器在各种设备和系统中的应用变得日益广泛。传感器的质量和性能直接影响到整个系统的稳定性和可靠性。因此，在传感器生产过程中，封装环节的质量控制显得尤为重要。封装过程中的任何缺陷都可能导致传感器性能下降或失效，进而影响整个系统的运行。
2、传统的传感器封装过程质量检测主要依赖于人工目检或简单的自动化检测装置，但这些方法往往存在效率低下、误检率高等问题。随着机器视觉和深度学习技术的发展，基于图像处理的自动缺陷检测方法逐渐成为主流。这些方法通过提取图像中的特征，利用机器学习算法对特征进行分类和识别，从而实现对传感器封装过程的质量控制。
3、尽管现有的自动缺陷检测方法已经取得了一定的成果，但仍存在一些不足之处：
4、特征提取的局限性：传统的图像处理方法主要依赖于手动设计的特征提取器，这些特征提取器往往只能针对特定的缺陷类型进行设计，难以适应多样化的缺陷类型和复杂的背景噪声。
5、泛化能力不足：现有的自动缺陷检测方法在面对新型缺陷或生产工艺变化时，往往需要重新训练模型或调整参数，这限制了方法的泛化能力和实用性。
6、计算效率和准确性的权衡：一些现有的自动缺陷检测方法为了提高准确性而牺牲了计算效率，导致在实际生产环境中难以应用。反之，一些追求计算效率的方法则可能牺牲了准确性。
7、本研究提出的结合深度特征的传感器封装过程缺陷检测方法旨在解决上述问题，通过深度学习自动提取特征、聚类分析和相似度计算等步骤，实现高效、准确的传感器封装过程质量自动检测。
技术实现思路
1、本发明提供了一种结合深度特征的传感器封装过程缺陷检测装置及方法，通过深度学习自动提取特征、聚类分析和相似度计算等步骤，实现高效、准确的传感器封装过程质量自动检测。
2、本发明第一方面提供了一种结合深度特征的传感器封装过程缺陷检测方法，所述结合深度特征的传感器封装过程缺陷检测方法包括：获取传感器封装图像数据，所述传感器封装图像数据包括待检测传感器样本及训练传感器样本，所述训练传感器样本包括正常封装过程图像和已知缺陷封装过程图像；依据所述正常封装过程图像和所述已知缺陷封装过程图像结合预设的vae模型结构，提取得到正常封装过程图像的潜在特征向量和已知缺陷封装过程图像的潜在特征向量；依据所述正常封装过程图像的潜在特征向量和所述已知缺陷封装过程图像的潜在特征向量，采用余弦相似度方法得到特征向量之间的相似度，依据所述特征向量之间的相似度构建一个相似度矩阵；依据所述相似度矩阵构建规范化图拉普拉斯矩阵，依据所述规范化拉普拉斯矩阵进行特征分解，得到多个特征值和特征向量，筛选得到最小的几个特征值对应的特征向量；依据所述最小的几个特征值对应的特征向量及所述待检测传感器样本组合成一个矩阵，每一行对应一个待检测传感器样本，每一列对应一个特征向量，然后进行聚类，对于每个聚类，计算其中心点，得到待检测传感器样本对应的聚类中心；依据所述正常封装过程图像得到正常样本的聚类中心，然后，计算所述待检测传感器样本对应的聚类中心与所述正常样本的聚类中心的距离，如果距离大于k，则待检测传感器样本被视为缺陷样本。
3、可选的，在本发明第一方面的第一种实现方式中，所述获取传感器封装图像数据，所述传感器封装图像数据包括待检测传感器样本及训练传感器样本，所述训练传感器样本包括正常封装过程图像和已知缺陷封装过程图像，包括：对所述待检测传感器样本及训练传感器样本进行预处理；依据所述待检测传感器样本及训练传感器样本使用图像质量评估算法，基于清晰度、对比度和噪声水平的评估，剔除低质量图像；应用深度学习模型来识别并去除图像中的不相关物体或背景，确保传感器封装图像的主题突出；对于所述训练传感器样本，对图像进行分类，包括正常封装、各种缺陷类型，为每一类数据创建索引和标签，便于后续快速检索和使用，采用半自动标注工具，利用预训练的模型辅助人工进行快速而准确的标注，对于已知缺陷类型，预先定义标注模板，加速标注过程；依据所述待检测传感器样本及所述训练传感器样本引入基于生成对抗网络的数据增强技术，生成更多样化的缺陷样本，利用风格迁移技术，将不同风格的背景或噪声添加到图像中，增强模型的泛化能力；在样本数据的预处理结束后，进行一轮数据验证，确保所有图像的标注准确无误，利用交叉验证方法评估预处理后数据的质量，将预处理后的完整数据集划分为k个子集，进行k次迭代，每次迭代选择一个子集作为测试集，其余k-1个子集合并作为训练集，在每次迭代中，使用训练集训练一个缺陷检测模型，并在测试集上评估模型的性能，记录每次迭代的评估结果，并计算k次迭代的平均性能指标，分析交叉验证的结果，如果平均性能指标中的准确率大于g和/或平均f1分数超过p，且各次迭代之间的迭代性能指标的标准差小于性能指标的5%，则完成预处理后的数据质量交叉验证工作；将预处理后的数据按照深度学习模型的输入格式进行组织和存储，输出数据包括清洗后、标注好且经过数据增强的待检测传感器样本和训练传感器样本。
4、可选的，在本发明第一方面的第二种实现方式中，所述依据所述正常封装过程图像和所述已知缺陷封装过程图像结合预设的vae模型结构，提取得到正常封装过程图像的潜在特征向量和已知缺陷封装过程图像的潜在特征向量，包括：对预设的vae模型结构进行训练，调用预设的处理传感器封装图像的vae模型结构，所述vae模型结构包括编码器、解码器和潜在空间，依据所述正常封装过程图像结合vae模型结构进行学习，vae模型结构学习到正常封装过程图像过程的潜在特征，而后依据vae模型结构进行优化变分下界，得到训练好的vae模型结构；定义vae模型结构，包括编码器、解码器和潜在空间；编码器将输入图像编码为一个潜在表示，编码器包括输入层：接受预处理后的图像数据，图像大小为hxwxc；卷积层：使用多个卷积层提取图像特征，每层使用relu激活函数增加非线性；池化层：在卷积层之后加入最大池化或平均池化层，以减少特征图的维度；全连接层：将最后一个池化层的输出展平，并通过一个或多个全连接层映射到潜在空间的维度；输出层：编码器输出两个参数，即潜在空间表示的均值μ和标准差的对数logσ，这两个参数用于采样潜在表示；潜在空间为编码器输出的潜在表示所在的空间，使用编码器输出的均值和标准差对数，通过重参数化技巧采样潜在表示z；
5、z = μ + exp(0.5 * logσ) * ε；
6、其中ε是从标准正态分布中采样的随机噪声；解码器将潜在空间的表示解码回图像空间，通过反卷积层或上采样层实现；依据所述正常封装过程图像作为训练数据加载为tensor，并划分为训练集和验证集，定义损失函数，包括重构损失和kl散度，使用优化算法来最小化损失函数，从而训练vae模型；在每个epoch中，遍历训练集，计算损失函数，并反向传播更新模型参数，监控验证集上的性能，如果连续几个epoch没有提升，则停止训练，得到训练好的vae模型结构；将预处理后的所述正常封装过程图像和所述已知缺陷封装过程图像作为输入，传递给vae模型结构的编码器部分，通过编码器网络进行前向传播，得到每个图像的潜在特征向量，将提取到的潜在特征向量保存到数据结构中，得到正常封装过程图像的潜在特征向量和已知缺陷封装过程图像的潜在特征向量。
7、可选的，在本发明第一方面的第三种实现方式中，所述依据所述正常封装过程图像的潜在特征向量和所述已知缺陷封装过程图像的潜在特征向量，采用余弦相似度方法得到特征向量之间的相似度，依据所述特征向量之间的相似度构建一个相似度矩阵，包括：依据所述正常封装过程图像的潜在特征向量和所述已知缺陷封装过程图像的潜在特征向量计算余弦相似度，提取正常封装过程图像的潜在特征向量集合，记作n，其中每个元素\vec{n}_i代表一个正常封装的特征向量；提取已知缺陷封装过程图像的潜在特征向量集合，记作d，其中每个元素\vec{d}_j代表一个缺陷封装的特征向量；通过两层循环来计算余弦相似度，外层循环遍历正常封装过程图像的潜在特征向量集合n，内层循环遍历已知缺陷封装过程图像的潜在特征向量集合d，则：
8、\text{cosine_similarity}(\vec{n}_i,\vec{d}_j)=\frac{\vec{n}_i\cdot\vec{d}_j}{|\vec{n}_i|\times|\vec{d}_j|}；
9、其中，(\vec{n}_i)是正常封装过程的第(i)个潜在特征向量；(\vec{d}_j)是缺陷封装过程的第(j)个潜在特征向量；(\vec{n}_i\cdot\vec{d}_j)表示两个向量的点积；(|\vec{n}_i|)和(|\vec{d}_j|)分别是两个向量的模；将所有计算得到的余弦相似度值存储在一个矩阵中，矩阵的行代表正常封装过程图像的潜在特征向量，列代表已知缺陷封装过程图像的潜在特征向量，每个元素表示对应的两个特征向量之间的余弦相似度，构建得到相似度矩阵。
10、可选的，在本发明第一方面的第四种实现方式中，所述依据所述相似度矩阵构建规范化图拉普拉斯矩阵，依据所述规范化拉普拉斯矩阵进行特征分解，得到多个特征值和特征向量，筛选得到最小的几个特征值对应的特征向量，包括：
11、设定规范化拉普拉斯矩阵为l_{norm}，则：
12、l_{norm} = d^{-1/2}ld^{-1/2}；
13、其中，(l = d - s)，l为未规范化的拉普拉斯矩阵，s是相似度矩阵，d是度矩阵，对角线上是s的行和或列和，其他元素为0；对规范化图拉普拉斯矩阵l进行特征分解，得到特征值和特征向量，选择最小的k个特征值对应的特征向量，这些特征向量表示数据的主要变化方向；当新的数据到来时，采用增量式特征分解算法来更新特征值和特征向量，无需重新对整个数据集进行特征分解。
14、可选的，在本发明第一方面的第五种实现方式中，所述依据所述最小的几个特征值对应的特征向量及所述待检测传感器样本组合成一个矩阵，每一行对应一个待检测传感器样本，每一列对应一个特征向量，然后进行聚类，对于每个聚类，计算其中心点，得到待检测传感器样本对应的聚类中心，包括：依据所述待检测传感器样本得到待检测的传感器样本的深度特征向量；将待检测的传感器样本的深度特征向量与通过图拉普拉斯矩阵分解得到的所述最小的几个特征值对应的特征向量进行组合，构建一个矩阵，其中每一行代表一个待检测的传感器样本，每一列代表一个特征向量，对于第i个传感器样本，将其深度特征向量与k个最小的特征值对应的特征向量拼接起来，形成矩阵的第i行；使用聚类算法k-means对上述构建的矩阵进行聚类，聚类的目标是将相似的传感器样本分组在一起，设定聚类的数量s，运行聚类算法，得到每个传感器样本所属的聚类标签；对于每个聚类，计算其内部所有样本的平均值，得到该聚类的中心点，这个中心点代表了该聚类中传感器样本的典型特征，聚类中心通过对属于同一聚类的所有样本的特征向量进行平均计算得到；输出每个待检测传感器样本所属的聚类标签，输出每个聚类的中心点。
15、可选的，在本发明第一方面的第六种实现方式中，所述依据所述正常封装过程图像得到正常样本的聚类中心，然后，计算所述待检测传感器样本对应的聚类中心与所述正常样本的聚类中心的距离，如果距离大于k，则待检测传感器样本被视为缺陷样本，包括：使用聚类算法k-means对正常封装过程图像的特征向量进行聚类，并计算每个聚类的中心，这些聚类中心代表了正常封装过程的典型特征；设定一个阈值k，如果所述待检测传感器样本对应的聚类中心与所述正常样本的聚类中心的距离大于k，则该样本被视为缺陷样本。
16、本发明第二方面提供了一种结合深度特征的传感器封装过程缺陷检测装置，所述结合深度特征的传感器封装过程缺陷检测装置包括：获取模块，用于获取传感器封装图像数据，所述传感器封装图像数据包括待检测传感器样本及训练传感器样本，所述训练传感器样本包括正常封装过程图像和已知缺陷封装过程图像；提取模块，用于依据所述正常封装过程图像和所述已知缺陷封装过程图像结合预设的vae模型结构，提取得到正常封装过程图像的潜在特征向量和已知缺陷封装过程图像的潜在特征向量；矩阵模块，用于依据所述正常封装过程图像的潜在特征向量和所述已知缺陷封装过程图像的潜在特征向量，采用余弦相似度方法得到特征向量之间的相似度，依据所述特征向量之间的相似度构建一个相似度矩阵；分解模块，用于依据所述相似度矩阵构建规范化图拉普拉斯矩阵，依据所述规范化拉普拉斯矩阵进行特征分解，得到多个特征值和特征向量，筛选得到最小的几个特征值对应的特征向量；设置模块，用于依据所述最小的几个特征值对应的特征向量及所述待检测传感器样本组合成一个矩阵，每一行对应一个待检测传感器样本，每一列对应一个特征向量，然后进行聚类，对于每个聚类，计算其中心点，得到待检测传感器样本对应的聚类中心；处理模块，用于依据所述正常封装过程图像得到正常样本的聚类中心，然后，计算所述待检测传感器样本对应的聚类中心与所述正常样本的聚类中心的距离，如果距离大于k，则待检测传感器样本被视为缺陷样本。
17、本发明第三方面提供了一种结合深度特征的传感器封装过程缺陷检测设备，包括：存储器和至少一个处理器，所述存储器中存储有指令；所述至少一个处理器调用所述存储器中的所述指令，以使得所述结合深度特征的传感器封装过程缺陷检测设备执行上述的结合深度特征的传感器封装过程缺陷检测方法。
18、本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的结合深度特征的传感器封装过程缺陷检测方法。
19、本发明提供的技术方案中，提出了一种结合深度特征的传感器封装过程缺陷检测方法。首先，该方法通过获取传感器封装图像数据，包括待检测传感器样本和训练传感器样本（包含正常封装及已知缺陷封装过程图像）。接着，利用预设的变分自编码器（vae）模型结构提取这些图像的潜在特征向量。通过计算正常封装与已知缺陷封装图像特征向量之间的余弦相似度，构建了一个相似度矩阵。然后，基于该相似度矩阵，构建了规范化图拉普拉斯矩阵，并对其进行特征分解，选取最小的几个特征值对应的特征向量。这些特征向量与待检测传感器样本的特征组合后，进行聚类分析，找到每个待检测样本的聚类中心。最后，通过比较待检测样本的聚类中心与正常样本聚类中心的距离，判断待检测样本是否存在缺陷。
20、有益效果好处：
21、高效性：该方法通过深度学习技术自动提取图像特征，避免了传统方法中需要大量手工设计和调整特征的繁琐过程，提高了检测效率；
22、准确性：利用vae模型提取潜在特征，能够捕捉到图像中的深层次信息，结合图拉普拉斯矩阵的特征分解和聚类分析，可以更准确地区分正常封装和缺陷封装；
23、鲁棒性：通过计算特征向量之间的相似度和聚类分析，该方法对图像中的噪声和轻微变形具有一定的鲁棒性，能够在复杂环境中稳定工作；
24、可扩展性：该技术可以方便地扩展到其他类型的传感器封装缺陷检测中，只需对模型进行适当的训练和调整即可；
25、自适应性：通过设定阈值k，该方法可以灵活地调整对缺陷的敏感度，满足不同应用场景的需求；
26、综上所述，该技术提供了一种高效、准确、鲁棒且可扩展的传感器封装过程缺陷检测方法，对于提升传感器生产质量和效率具有重要意义。
1.一种结合深度特征的传感器封装过程缺陷检测方法，其特征在于，所述结合深度特征的传感器封装过程缺陷检测方法包括：
2.根据权利要求1所述的结合深度特征的传感器封装过程缺陷检测方法，其特征在于，所述获取传感器封装图像数据，所述传感器封装图像数据包括待检测传感器样本及训练传感器样本，所述训练传感器样本包括正常封装过程图像和已知缺陷封装过程图像，包括：
3.根据权利要求1所述的结合深度特征的传感器封装过程缺陷检测方法，其特征在于，所述依据所述正常封装过程图像和所述已知缺陷封装过程图像结合预设的vae模型结构，提取得到正常封装过程图像的潜在特征向量和已知缺陷封装过程图像的潜在特征向量，包括：
4.根据权利要求1所述的结合深度特征的传感器封装过程缺陷检测方法，其特征在于，所述依据所述正常封装过程图像的潜在特征向量和所述已知缺陷封装过程图像的潜在特征向量，采用余弦相似度方法得到特征向量之间的相似度，依据所述特征向量之间的相似度构建一个相似度矩阵，包括：
5.根据权利要求1所述的结合深度特征的传感器封装过程缺陷检测方法，其特征在于，所述依据所述相似度矩阵构建规范化图拉普拉斯矩阵，依据所述规范化拉普拉斯矩阵进行特征分解，得到多个特征值和特征向量，筛选得到最小的几个特征值对应的特征向量，包括：
6.根据权利要求1所述的结合深度特征的传感器封装过程缺陷检测方法，其特征在于，所述依据所述最小的几个特征值对应的特征向量及所述待检测传感器样本组合成一个矩阵，每一行对应一个待检测传感器样本，每一列对应一个特征向量，然后进行聚类，对于每个聚类，计算其中心点，得到待检测传感器样本对应的聚类中心，包括：
7.根据权利要求1所述的结合深度特征的传感器封装过程缺陷检测方法，其特征在于，所述依据所述正常封装过程图像得到正常样本的聚类中心，然后，计算所述待检测传感器样本对应的聚类中心与所述正常样本的聚类中心的距离，如果距离大于k，则待检测传感器样本被视为缺陷样本，包括：
8.一种结合深度特征的传感器封装过程缺陷检测装置，其特征在于，所述结合深度特征的传感器封装过程缺陷检测装置包括：
9.一种结合深度特征的传感器封装过程缺陷检测设备，其特征在于，所述结合深度特征的传感器封装过程缺陷检测设备包括：存储器和至少一个处理器，所述存储器中存储有指令；
10.一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，其特征在于，所述指令被处理器执行时实现如权利要求1-7中任一项所述的结合深度特征的传感器封装过程缺陷检测方法。
