本发明涉及目标检测领域，尤其涉及一种基于传统相机与事件相机双目结合的缺陷检测方法及系统。
背景技术：
1、制造业智能升级，但在其生产、运输、使用等过程中不可豁免的会产生表面缺陷，严重影响产品的质量。因此缺陷检测任务不仅具有研究价值，还具有广阔的应用价值。
2、基于计算机视觉的缺陷检测任务大多是以传统rgb相机进行处理的，传统相机是基于图片帧的概念进行成像，在某一时刻内相机会进行曝光，将获得的像素填充在一个图像矩阵中，也就形成了图像帧，这不仅会导致数据的冗余，在高速条件下也会使成像变得模糊。传统相机关注的是目标本身的亮度值，其动态范围非常有限，通常在60db左右，这会使得在亮度极暗以及极亮的条件下，获取到的信息非常有限，从而无法对目标有效成像。
3、事件相机具有大动态、低时延的特点，它只记录目标亮度值的变化，而不关注目标亮度值的大小，所以在强光干扰下，事件相机也能够有效成像。由于晶圆的缺陷目标信号弱以及强光干扰下，在缺陷区域内会有一定的能量差异，事件相机能够很好的捕捉到差异，进而能够捕捉到缺陷区域，而传统相机在一定光照强度下会忽略掉差异，并不能对目标缺陷有效成像。因此，在目标信号弱以及强光照射等复杂环境条件下，事件相机有着其天然的竞争优势。
4、然而传统相机在合理光照下有着天然的优势，由于待检测样品本身反光以及其上的目标缺陷非常弱小，需要加入光源照射让缺陷更加突出，同时样品某些区域会出现反射灯光，导致相机过曝，所以为了让该检测系统更有更高的检测性能，传统相机与事件相机的优势互补，让二者进行结合，保证在复杂光照下也能有很好的检测性能。
技术实现思路
1、本发明公开了一种基于传统相机与事件相机双目结合的缺陷检测方法及系统，能够保证在复杂光照背景下仍然有良好的检测性能。
2、为了解决上述技术问题，本发明实施例提供了一种基于传统相机与事件相机双目结合的缺陷检测方法，
3、当双目相机接收到检测指令时，根据检测指令进行特定运动，并分别采集传统图像数据和事件图像数据；
4、对所述事件图像数据进行转化处理，得到事件帧图像数据；
5、通过计算机时钟对所述传统图像数据和所述事件帧图像进行软同步；
6、将完成软同步的所述传统图像数据和所述事件帧图像数据，通过霍夫圆检测算法进行裁剪和对齐；
7、将完成对齐的所述传统图像数据和所述事件帧图像数据作为缺陷数据集，输入至以cspdarknet模型为主干的卷积神经网络进行特征值提取，并获得传统图像特征值和事件帧图像特征值；
8、通过交叉注意力机制对所述传统图像特征值和所述事件帧图像特征值进行特征融合，得到融合特征图；
9、根据所述融合特征图对图像缺陷进行预测，得到缺陷检测结果。
10、优选地，所述对所述事件图像数据进行转化处理，得到事件帧图像数据，包括：
11、通过计算机解析所述事件图像数据，并将其转化为输出信号获得事件cr；其中，事件cr表示为cr＝{cr,l＝(xr,l,yr,l,gr,l,tr,l)|0＜l≤nr}，式中，cr,l表示第l个事件，xr,l表示cr,l的事件触发位置像素的横坐标，yr,l表示cr,l的事件触发位置像素的纵坐标，gr,l表示第l个事件的灰度值，tr,l表示cr,l的事件触发的时间，nr表示事件总数；
12、根据所述横坐标和所述纵坐标，将第一预设时间内的所述事件cr填充至预设的第一矩阵中，得到所述事件帧图像。
13、优选地，所述将完成软同步的所述传统图像数据和所述事件帧图像数据，通过霍夫圆检测算法进行裁剪和对齐，包括：
14、通过霍夫圆检测算法对所述传统图像数据和所述事件帧图像数据，进行圆形目标的检测，得到圆形目标检测结果；
15、根据所述圆形目标检测结果的位置和半径信息，对所述传统图像数据和所述事件帧图像数据进行裁剪；
16、将完成裁剪的所述传统图像数据和所述事件帧图像数据对齐。
17、优选地，所述传统图像特征值包括第一尺寸传统特征值fa1、第二尺寸传统特征值fa2和第三尺寸传统特征值fa3；
18、所述事件帧图像特征值包括第一尺寸事件特征值fb1、第二尺寸事件特征值和fb2第三尺寸事件特征值fb3；
19、所述融合特征图包括第一尺寸融合图fc1、第二尺寸融合图fc2和第三尺寸融合图fc3。
20、优选地，所述根据所述融合特征图对图像缺陷进行预测，得到缺陷检测结果，包括：
21、通过所述融合特征图与预设的标准数据进行对比分析，当融合特征图与所述标准数据偏差时，根据对应偏差数据确定缺陷类型；
22、将所述缺陷类型作为所述缺陷检测结果。
23、优选地，所述方法还包括：
24、根据所述缺陷检测结果，调整所述卷积神经网络的优化器；
25、根据所述优化器的类型，设置对应优化器的最优参数，并重新获得缺陷检测结果。
26、为了解决上述技术问题，本发明实施例还提供了一种基于传统相机与事件相机双目结合的缺陷检测系统，所述系统包括：
27、数据采集模块，用于当双目相机接收到检测指令时，根据检测指令进行特定运动，并分别采集传统图像数据和事件图像数据；
28、数据转化模块，用于对所述事件图像数据进行转化处理，得到事件帧图像数据；
29、第一数据处理模块，用于通过计算机时钟对所述传统图像数据和所述事件帧图像进行软同步；
30、第二数据处理模块，用将完成软同步的所述传统图像数据和所述事件帧图像数据，通过霍夫圆检测算法进行裁剪和对齐；
31、特征提取模块，用于将完成对齐的所述传统图像数据和所述事件帧图像数据作为缺陷数据集，输入至以cspdarknet模型为主干的卷积神经网络进行特征值提取，并获得传统图像特征值和事件帧图像特征值；
32、特征融合模块，用于通过交叉注意力机制对所述传统图像特征值和所述事件帧图像特征值进行特征融合，得到融合特征图；
33、缺陷检测模块，用于根据所述融合特征图对图像缺陷进行预测，得到缺陷检测结果。
34、为了解决上述技术问题，本发明实施例还提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序；其中，所述计算机程序在运行时控制所述计算机可读存储介质所在的设备执行上述任一项所述的一种基于传统相机与事件相机双目结合的缺陷检测方法。
35、为了解决上述技术问题，本发明实施例还提供了一种计算机程序产品，包括计算机程序或指令，其特征在于，该计算机程序或指令被处理器执行时实现上述任一项所述一种基于传统相机和事件相机双目结合缺陷检测方法的步骤。
36、本发明公开了一种基于传统相机与事件相机双目结合的缺陷检测方法及系统，当双目相机接收到检测指令时，根据检测指令进行特定运动，并分别采集传统图像数据和事件图像数据；对事件图像数据进行转化处理，得到事件帧图像数据；通过计算机时钟对传统图像数据和事件帧图像进行软同步；将完成软同步的图像数据，通过霍夫圆检测算法进行裁剪和对齐；将完成对齐的图像数据作为缺陷数据集，输入至以cspdarknet模型为主干的卷积神经网络进行特征值提取，并获得图像特征值；通过交叉注意力机制对特征值进行特征融合，得到融合特征图；根据融合特征图对图像缺陷进行预测，得到缺陷检测结果。通过传统相机和事件相机的结合，获取到不同的图像特征，并通过该特征实现了对图像缺陷的预测和判定；因此，通过本发明能够保证在复杂光照背景下仍然有良好的检测性能。
1.一种基于传统相机与事件相机双目结合的缺陷检测方法，其特征在于，所述方法包括：
2.如权利要求1所述的一种基于传统相机和事件相机双目结合的缺陷检测方法，其特征在于，所述对所述事件图像数据进行转化处理，得到事件帧图像数据，包括：
3.如权利要求1所述的一种基于传统相机和事件相机双目结合缺陷检测方法，其特征在于，所述将完成软同步的所述传统图像数据和所述事件帧图像数据，通过霍夫圆检测算法进行裁剪和对齐，包括：
4.如权利要求1所述的一种基于传统相机和事件相机双目结合的缺陷检测方法，其特征在于，所述传统图像特征值包括第一尺寸传统特征值fa1、第二尺寸传统特征值fa2和第三尺寸传统特征值fa3；
5.如权利要求1所述的一种基于传统相机和事件相机双目结合缺陷检测方法，其特征在于，所述根据所述融合特征图对图像缺陷进行预测，得到缺陷检测结果，包括：
6.如权利要求1所述的一种基于传统相机和事件相机双目结合缺陷检测方法，其特征在于，所述方法还包括：
7.一种基于传统相机与事件相机双目结合的缺陷检测系统，其特征在于，所述系统包括：
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序；其中，所述计算机程序在运行时控制所述计算机可读存储介质所在的设备执行如权利要求1～6任一项所述的一种基于传统相机与事件相机双目结合的缺陷检测方法。
9.一种计算机程序产品，包括计算机程序或指令，其特征在于，该计算机程序或指令被处理器执行时实现权利要求1～6任一项所述一种基于传统相机和事件相机双目结合缺陷检测方法的步骤。
