一种基于视觉识别技术的缺陷检测系统发明专利

专利名称：一种基于视觉识别技术的缺陷检测系统

专利类型：发明专利

专利申请号：CN202410917764.0

专利申请（专利权）人：贯文信息技术(苏州)有限公司
权利人地址：江苏省苏州市工业园区金鸡湖大道1355号国际科技园三期6C

专利发明（设计）人：石立鹏,刘兴梦,刘永生

专利摘要：本发明公开了一种基于视觉识别技术的缺陷检测系统，涉及缺陷检测技术领域，包括，抓取待检测面板的图像；对抓取的图像进行缺陷特征识别和融合，得到融合缺陷图；依据融合缺陷图，计算切向灰阶度，结合异常阈值，进行初步缺陷判断；利用边缘检测与轮廓分析，进一步定位缺陷位置；在平台上标注缺陷与非缺陷点，生成标注数据；基于标注数据，自动触发在线学习机制，更新在线模型；实时检测后，分析缺陷数据，生成缺陷检测报告；利用高精度图像采集与处理技术，结合多尺度特征提取和智能融合，实现缺陷的高灵敏度识别与定位；通过交互式平台加速迭代，采用在线学习与k‑fold验证保障模型优化，最终提供数据分析和自动报告生成，促进高效决策与适应性调整。

主权利要求：
1.一种基于视觉识别技术的缺陷检测系统，其特征在于：包括，图像采集模块，通过在线相机抓取待检测面板的图像；
缺陷特征提取模块，对抓取的图像进行不同尺度的缺陷特征识别和融合，得到融合缺陷图；
灰阶度分析模块，依据融合缺陷图，计算切向灰阶度，结合异常阈值，进行初步缺陷判断；
缺陷定位模块，利用边缘检测与轮廓分析，进一步定位缺陷位置；
交互式平台模块，搭建交互式平台，实时查看初步缺陷判断，在平台上标注缺陷与非缺陷点，生成标注数据；
在线学习与模型更新模块，基于标注数据，自动触发在线学习机制，更新在线模型；
缺陷数据分析与报告生成模块，实时检测后，分析缺陷数据，生成缺陷检测报告；
所述计算切向灰阶度包括，
首先，对于融合缺陷图Fu，在每个像素位置(x,y)应用Sobel算子计算局部梯度方向，Sobel算子利用两个3乘3的离散卷积核分别计算水平方向Gx和垂直方向Gy的梯度分量，表示为，；
基于得到的梯度分量Gx(x,y)和Gy(x,y)，计算局部梯度方向θ(x,y)，表示为，；
然后，基于计算的局部梯度方向θ(x,y)，对融合缺陷图Fu沿着每个像素位置(x,y)的切向计算灰阶度G(x,y)，表示为，；
其中， 表示角度步长，θ'表示角度变量，Fu(x,y,θ')表示在点(x,y)周围，按θ'方向的邻域内的特征值；
结合异常阈值，进行初步缺陷判断包括，设定异常阈值为Tg；
当G(x,y)大于等于Tg时，将像素点归类为正常区域；
当G(x,y)小于Tg时，将像素点标记为潜在缺陷点，将所有标记了潜在缺陷点的图像整合，生成初步的缺陷检测地图；
进一步定位缺陷位置包括，
应用边缘检测算法，对缺陷检测地图进行边缘增强，得到边缘图E(x,y)；
对边缘图E(x,y)进行简化轮廓，提取轮廓坐标 ；
对于每个轮廓坐标 ，计算质心坐标 ；
基于质心坐标 ，定位缺陷位置。
2.如权利要求1所述的基于视觉识别技术的缺陷检测系统，其特征在于：所述通过在线相机抓取待检测面板的图像包括，部署高分辨率在线相机，设定相机参数和触发模式，以固定帧率 抓取待检测面板的图像。
3.如权利要求2所述的基于视觉识别技术的缺陷检测系统，其特征在于：所述对抓取的图像进行不同尺度的缺陷特征识别和融合，得到融合缺陷图包括，采用双三次下采样与上采样结合的金字塔方法，形成多尺度图像序列{Ik}，其中k表示尺度索引；
基于多尺度图像序列{Ik}，运用快速傅里叶变换和小波变换，提取多尺度频域特征w和时频特征wk；
将多尺度频域特征和时频特征合并为缺陷特征向量Fk，表示为，；
根据尺度敏感性，计算每个尺度的融合权重wk，然后缺陷特征向量加权融合，得到融合缺陷图Fu，表示为，；
；
其中， 表示控制权重的超参数， 表示标量因子，j表示一个索引变量。
4.如权利要求3所述的基于视觉识别技术的缺陷检测系统，其特征在于：所述计算质心坐标 表示为，
。
5.如权利要求4所述的基于视觉识别技术的缺陷检测系统，其特征在于：所述搭建交互式平台包括，创建一个实时交互式平台，设计系统架构；
前端开发实时交互功能，设计用户认证和图像展示区，使用Vuetify的Image组件，开发标注工具栏；
后端构建API与数据库处理业务逻辑，创建接口，接收图像上传、获取初步检测结果、保存标注数据，建立WebSocket服务器，集成数据库和AI服务。
6.如权利要求5所述的基于视觉识别技术的缺陷检测系统，其特征在于：所述实时查看初步缺陷判断，在平台上标注缺陷与非缺陷点，生成标注数据包括，登录交互式平台，使用标注工具，对实时传输的潜在缺陷点进行标注；
若潜在缺陷点为缺陷点，则在缺陷位置标注A；
若潜在缺陷点为非缺陷点，则在缺陷位置标注B；
将标注A和标注B整合生成标注数据D，并实时传输到交互式平台后端。
7.如权利要求6所述的基于视觉识别技术的缺陷检测系统，其特征在于：所述基于标注数据，自动触发在线学习机制，更新在线模型包括，为标注数据设定数据量阈值S，作为触发条件，系统自动检测，一旦超过数据量阈值S，立即启动增量学习策略；
采用k‑fold交叉验证方法，将标注反馈数据集分为k个子集，每次用k‑1个子集训练模型，剩余子集用来验证，重复k次并平均验证指标；
监控在线模型的性能指标，包括曲线下面积、召回率和精确度；
在训练过程中持续监控验证集上的性能指标，一旦发现连续迭代周期异常，对在线模型参数进行修改后，重新开始在线监测和学习。
8.如权利要求7所述的基于视觉识别技术的缺陷检测系统，其特征在于：所述实时检测后，分析缺陷数据，生成缺陷检测报告包括，利用不断更新的在线模型实时检测缺陷数据；
使用Pandas库将检测后的缺陷数据基于缺陷类型进行分类，统计各类缺陷出现频次，生成缺陷类型分布图表；
采用DBSCAN算法对缺陷位置进行聚类分析，输出聚类结果，标示出高密度缺陷区域，生成位置聚类热力图；
基于缺陷类型分布图表和位置聚类热力图，自动生成缺陷检测报告。 说明书 : 一种基于视觉识别技术的缺陷检测系统技术领域[0001] 本发明涉及缺陷检测技术领域，特别是一种基于视觉识别技术的缺陷检测系统。背景技术[0002] 在现代工业自动化领域，视觉识别技术已逐渐成为产品质量控制的关键组成部分，特别是在高精度、大批量的生产线上，其对于缺陷检测的应用日益广泛。尽管如此，当前的缺陷检测系统仍面临若干挑战，主要集中在缺陷特征的有效提取、多尺度特征融合的精准度、以及在线学习能力的不足等方面。传统方法在缺陷判定阶段往往依赖固定阈值，缺乏对变化工况的自适应性，易造成误判或漏检。发明内容[0003] 鉴于上述现有存在的问题，提出了本发明。[0004] 因此，本发明提供了一种基于视觉识别技术的缺陷检测系统解决面向工业制造领域中面板缺陷识别精度不足及自动化检测流程不完善的问题。[0005] 为解决上述技术问题，本发明提供如下技术方案：[0006] 第一方面，本发明实施例提供了一种基于视觉识别技术的缺陷检测系统，其包括，图像采集模块，通过在线相机抓取待检测面板的图像；[0007] 缺陷特征提取模块，对抓取的图像进行不同尺度的缺陷特征识别和融合，得到融合缺陷图；[0008] 灰阶度分析模块，依据融合缺陷图，计算切向灰阶度，结合异常阈值，进行初步缺陷判断；[0009] 缺陷定位模块，利用边缘检测与轮廓分析，进一步定位缺陷位置；[0010] 交互式平台模块，搭建交互式平台，实时查看初步缺陷判断，在平台上标注缺陷与非缺陷点，生成标注数据；[0011] 在线学习与模型更新模块，基于标注数据，自动触发在线学习机制，更新在线模型；[0012] 缺陷数据分析与报告生成模块，实时检测后，分析缺陷数据，生成缺陷检测报告。[0013] 作为本发明所述基于视觉识别技术的缺陷检测系统的一种优选方案，其中：所述通过在线相机抓取待检测面板的图像包括，[0014] 部署高分辨率在线相机，设定相机参数和触发模式，以固定帧率 抓取待检测面板的图像。[0015] 作为本发明所述基于视觉识别技术的缺陷检测系统的一种优选方案，其中：所述对抓取的图像进行不同尺度的缺陷特征识别和融合，得到融合缺陷图包括，[0016] 采用双三次下采样与上采样结合的金字塔方法，形成多尺度图像序列{Ik}，其中k表示尺度索引；[0017] 基于多尺度图像序列{Ik}，运用快速傅里叶变换和小波变换，提取多尺度频域特w征 和时频特征wk；[0018] 将多尺度频域特征和时频特征合并为缺陷特征向量Fk，表示为，[0019] ；[0020] 根据尺度敏感性，计算每个尺度的融合权重wk，然后缺陷特征向量加权融合，得到融合缺陷图Fu，表示为，[0021] ；[0022] ；[0023] 其中， 表示控制权重的超参数， 表示标量因子，j表示一个索引变量。[0024] 作为本发明所述基于视觉识别技术的缺陷检测系统的一种优选方案，其中：所述计算切向灰阶度包括，[0025] 首先，对于融合缺陷图Fu，在每个像素位置(x,y)应用Sobel算子计算局部梯度方向，Sobel算子利用两个3乘3的离散卷积核分别计算水平方向Gx和垂直方向Gy的梯度分量，表示为，[0026] ；[0027] 基于得到的梯度分量Gx(x,y)和Gy(x,y)，计算局部梯度方向θ(x,y)，表示为，[0028] ；[0029] 然后，基于计算的局部梯度方向θ(x,y)，对融合缺陷图Fu沿着每个像素位置(x,y)的切向计算灰阶度G(x,y)，表示为，[0030] ；[0031] 其中， 表示角度步长，θ'表示角度变量，Fu(x,y,θ')表示在点(x,y)周围，按θ'方向的邻域内的特征值。[0032] 作为本发明所述基于视觉识别技术的缺陷检测系统的一种优选方案，其中：结合异常阈值，进行初步缺陷判断包括，[0033] 设定异常阈值为Tg；[0034] 当G(x,y)大于等于Tg时，将像素点归类为正常区域；[0035] 当G(x,y)小于Tg时，将像素点标记为潜在缺陷点，将所有标记了潜在缺陷点的图像整合，生成初步的缺陷检测地图。[0036] 作为本发明所述基于视觉识别技术的缺陷检测系统的一种优选方案，其中：进一步定位缺陷位置包括，[0037] 应用Canny边缘检测算法，对缺陷检测地图进行边缘增强，得到边缘图E((x,y)；[0038] 通过Douglas‑Peucker算法对边缘图E(x,y)进行简化轮廓，提取轮廓坐标；[0039] 对于每个轮廓坐标 ，计算质心坐标 ，表示为，[0040] ；[0041] 基于质心坐标 ，定位缺陷位置。[0042] 作为本发明所述基于视觉识别技术的缺陷检测系统的一种优选方案，其中：所述搭建交互式平台包括，[0043] 创建一个实时交互式平台，设计系统架构；[0044] 前端开发实时交互功能，设计用户认证和图像展示区，使用Vuetify的Image组件，开发标注工具栏；[0045] 后端构建API与数据库处理业务逻辑，创建接口，接收图像上传、获取初步检测结果、保存标注数据，建立WebSocket服务器，集成数据库和AI服务。[0046] 作为本发明所述基于视觉识别技术的缺陷检测系统的一种优选方案，其中：所述实时查看初步缺陷判断，在平台上标注缺陷与非缺陷点，生成标注数据包括，[0047] 登录交互式平台，使用标注工具，对实时传输的潜在缺陷点进行标注；[0048] 若潜在缺陷点为缺陷点，则在缺陷位置标注A；[0049] 若潜在缺陷点为非缺陷点，则在缺陷位置标注B；[0050] 将标注A和标注B整合生成标注数据D，并实时传输到交互式平台后端。[0051] 作为本发明所述基于视觉识别技术的缺陷检测系统的一种优选方案，其中：所述基于标注数据，自动触发在线学习机制，更新在线模型包括，[0052] 为标注数据设定数据量阈值S，作为触发条件，系统自动检测，一旦超过数据量阈值S，立即启动增量学习策略；[0053] 采用k‑fold交叉验证方法，将标注反馈数据集分为k个子集，每次用k‑1个子集训练模型，剩余子集用来验证，重复k次并平均验证指标；[0054] 监控在线模型的性能指标，包括曲线下面积、召回率和精确度；[0055] 在训练过程中持续监控验证集上的性能指标，一旦发现连续迭代周期异常，对在线模型参数进行修改后，重新开始在线监测和学习。[0056] 作为本发明所述基于视觉识别技术的缺陷检测系统的一种优选方案，其中：所述实时检测后，分析缺陷数据，生成缺陷检测报告，具体如下：[0057] 利用不断更新的在线模型实时检测缺陷数据；[0058] 使用Pandas库将检测后的缺陷数据基于缺陷类型进行分类，统计各类缺陷出现频次，生成缺陷类型分布图表；[0059] 采用DBSCAN算法对缺陷位置进行聚类分析，输出聚类结果，标示出高密度缺陷区域，生成位置聚类热力图；[0060] 基于缺陷类型分布图表和位置聚类热力图，自动生成缺陷检测报告。[0061] 本发明有益效果为：通过高分辨率图像采集，结合精密参数设定，确保图像质量，为精确检测打下基础。缺陷特征的多尺度提取与智能融合技术极大提升了识别的准确性与范围，有效捕获不同类型的缺陷。灰阶度分析与切向处理策略提高了检测灵敏度，实现初步高效筛选。边缘检测与轮廓分析技术精确定位缺陷，加速后续处理流程。交互式平台的引入加速数据标注与反馈收集，促进模型的即时迭代升级。在线学习机制与k‑fold验证法保证模型性能持续优化，响应实际变化。数据分析与自动生成报告功能提供深度洞察，指导快速决策。附图说明[0062] 为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。[0063] 图1为实施例1中基于视觉识别技术的缺陷检测系统的流程图。[0064] 图2为实施例1中缺陷点的判定图。具体实施方式[0065] 为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明。[0066] 在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。[0067] 其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。[0068] 实施例1，参照图1和图2，为本发明第一个实施例，该实施例提供了一种基于视觉识别技术的缺陷检测系统，包括以下步骤：[0069] S1、图像采集模块，通过在线相机抓取待检测面板的图像。[0070] 部署高分辨率在线相机，设定相机参数（如分辨率、曝光时间、增益、白平衡、伽马校正和色彩空间）和触发模式（如连续触发），以固定帧率 （如30fps）抓取待检测面板的图像；[0071] 应说明的是，图像采集模块通过部署高分辨率在线相机并精细设置参数，以固定的帧率? 捕捉待检测面板图像，确保了图像质量的稳定性和一致性，为后续的精确分析提供了坚实的基础。[0072] S2、缺陷特征提取模块，对抓取的图像进行不同尺度的缺陷特征识别和融合，得到融合缺陷图。[0073] 通过结合双三次下采样与上采样技术，按不同比例因子递进地缩减与放大图像尺寸，构建一套多尺度图像序列{Ik}，每个尺度索引k对应图像的一种分辨率级别；[0074] 基于多尺度图像序列{Ik}，运用快速傅里叶变换和小波变换，提取多尺度频域特w征 和时频特征wk；[0075] 将多尺度频域特征和时频特征合并为缺陷特征向量Fk，表示为，[0076] ；[0077] 根据尺度敏感性，计算每个尺度的融合权重wk，然后缺陷特征向量加权融合，得到融合缺陷图Fu，表示为，[0078] ；[0079] ；[0080] 其中， 表示控制权重的超参数， 表示标量因子，j表示一个索引变量。[0081] 应说明的是，缺陷特征提取模块通过创新的双三次下采样与上采样的金字塔方法，结合快速傅里叶变换和小波变换，实现了多尺度缺陷特征的精确识别与融合。[0082] 应说明的是，双三次下采样与上采样技术有效提升了图像分析的多维度特征提取能力，增强了对不同尺度缺陷的识别精度与适应性，为后续的高质量视觉检测与识别任务奠定了坚实基础。[0083] S3、灰阶度分析模块，依据融合缺陷图，计算切向灰阶度，结合异常阈值，进行初步缺陷判断。[0084] S3.1、首先，对于融合缺陷图Fu，在每个像素位置(? ,? )应用Sobel算子计算局部梯度方向，Sobel算子利用两个3乘3的离散卷积核分别计算水平方向Gx和垂直方向Gy的梯度分量，表示为，[0085] ；[0086] 基于得到的梯度分量Gx(x,y)和Gy(x,y)，计算局部梯度方向θ(x,y)，表示为，[0087] ；[0088] 然后，基于计算的局部梯度方向θ(x,y)，对融合缺陷图Fu沿着每个像素位置(x,y)的切向计算灰阶度G(x,y)，表示为，[0089] ；[0090] 其中， 表示角度步长，θ'表示角度变量，Fu(x,y,θ')表示在点(x,y)周围，按θ'方向的邻域内的特征值。[0091] S3.2、设定异常阈值为Tg；[0092] 当G(x,y)大于等于Tg时，将像素点归类为正常区域；[0093] 当G(x,y)小于Tg时，将像素点标记为潜在缺陷点，将所有标记了潜在缺陷点的图像整合，生成初步的缺陷检测地图。[0094] 应说明的是，灰阶度分析模块通过Sobel算子精确计算局部梯度方向，并据此沿切向计算灰阶度，结合预设的异常阈值进行初步缺陷筛选。[0095] S4、缺陷定位模块，利用边缘检测与轮廓分析，进一步定位缺陷位置。[0096] 应用Canny边缘检测算法于缺陷检测地图，通过多级滤波、梯度计算、非极大值抑制和双阈值筛选等方法，有效增强并精确提取图像中的缺陷边缘信息，从而得到清晰的边缘图E(x,y)；[0097] 采用Douglas‑Peucker算法对边缘图E(x,y)进行轮廓优化，通过递归地比较和保留关键点，去除冗余细节，高效提取出简化后的轮廓坐标 ；[0098] 对于每个轮廓坐标 ，计算质心坐标 ，表示为，[0099] ；[0100] 基于质心坐标 ，定位缺陷位置。[0101] 应说明的是，缺陷定位模块借助Canny边缘检测和Douglas‑Peucker算法的高效组合，实现了对初步检测地图的边缘精确定位与轮廓简化，从而精确标定了缺陷位置。[0102] S5、交互式平台模块，搭建交互式平台，实时查看初步缺陷判断，在平台上标注缺陷与非缺陷点，生成标注数据。[0103] S5.1、创建一个实时交互式平台，设计系统架构；[0104] 前端开发实时交互功能，设计用户认证和图像展示区，使用Vuetify的Image组件，开发标注工具栏；[0105] 后端构建API与数据库处理业务逻辑，创建接口，接收图像上传、获取初步检测结果、保存标注数据，建立WebSocket服务器，集成数据库和AI服务。[0106] S5.2、登录交互式平台，使用标注工具，对实时传输的潜在缺陷点进行标注；[0107] 若潜在缺陷点为缺陷点，则在缺陷位置标注A；[0108] 若潜在缺陷点为非缺陷点，则在缺陷位置标注B；[0109] 将标注A和标注B整合生成标注数据D，并实时传输到交互式平台后端。[0110] 应说明的是，交互式平台模块的构建，为用户提供了一个直观高效的实时交互环境，不仅加速了标注过程，还促进了用户反馈的即时整合，为模型的持续优化提供了高质量的数据基础。[0111] S6、在线学习与模型更新模块，基于标注数据，自动触发在线学习机制，更新在线模型。[0112] 为标注数据设定数据量阈值S=1000，作为触发条件，当S小于等于1000时，继续标注任务，当S大于1000时，立即启动增量学习策略（如回放策略或基于正则化的策略）；[0113] 采用k‑fold交叉验证方法，将标注反馈数据集分为k个子集，每次用k‑1个子集训练模型，剩余子集用来验证，重复k次并平均验证指标；[0114] 监控在线模型的性能指标，包括曲线下面积、召回率和精确度；[0115] 在训练过程中持续监控验证集上的性能指标，一旦发现连续几个迭代周期没有显著提升，对在线模型参数进行修改后，重新开始在线监测和学习。[0116] 应说明的是，在线学习与模型更新模块通过自动触发的增量学习机制，基于用户标注反馈的实时更新，运用k‑fold交叉验证法优化模型，确保了在线模型的持续进化和最佳性能，提高了系统的自适应能力和长期有效性，减少了人工干预的需求。[0117] 应说明的是，增量学习策略旨在解决模型训练过程中如何有效利用新数据进行持续学习的问题，尤其是在数据流式到达或数据集持续扩大的情况下，增量学习避免了在每次有新数据到来时重新训练整个模型的需要，这大大节省了计算资源和时间成本，使得模型能够更快地适应变化，尤其是在数据量庞大的情况下，在数据流中，新数据可能带来新的类别或类别间的不平衡问题，增量学习策略能够通过动态调整，使模型更好地处理这种不平衡，提高对各类别样本的识别能力，在需要持续在线服务的场景中，增量学习使得模型能够在不中断服务的情况下进行更新，保证了服务的连贯性和质量。[0118] S7、缺陷数据分析与报告生成模块，实时检测后，分析缺陷数据，生成缺陷检测报告。[0119] 利用不断更新的在线模型实时检测缺陷数据；[0120] 使用Pandas库将检测后的缺陷数据基于缺陷类型进行分类，进一步可以根据宏观/微观的划分进行二次分组，对分组后的数据统计各类缺陷的出现次数，得到频次统计结果，生成缺陷类型分布图表；[0121] 采用DBSCAN算法对缺陷位置进行聚类分析，输出聚类结果，标示出高密度缺陷区域，生成位置聚类热力图；[0122] 基于缺陷类型分布图表和位置聚类热力图，自动生成缺陷检测报告。[0123] 应说明的是，缺陷数据分析与报告生成模块综合运用数据分析工具和聚类算法，不仅提供了实时的缺陷数据概览，还深入分析了缺陷类型分布和位置聚集特征，自动生成详尽的检测报告，提升了整体生产效率和质量管理水平。[0124] 综上，本发明有益效果是通过高分辨率图像采集，结合精密参数设定，确保图像质量，为精确检测打下基础；缺陷特征的多尺度提取与智能融合技术极大提升了识别的准确性与范围，有效捕获不同类型的缺陷；灰阶度分析与切向处理策略提高了检测灵敏度，实现初步高效筛选；边缘检测与轮廓分析技术精确定位缺陷，加速后续处理流程；交互式平台的引入加速数据标注与反馈收集，促进模型的即时迭代升级；在线学习机制与k‑fold验证法保证模型性能持续优化，响应实际变化；数据分析与自动生成报告功能提供深度洞察，指导快速决策。实施例2[0125] 参照表1，为本发明第二个实施例，为进一步验证本发明的先进性，给出了基于视觉识别技术的缺陷检测系统的实验仿真数据。[0126] 为了验证本发明的创新性和优势，我们设计了一项模拟实验，针对半导体晶圆片的表面缺陷检测。实验环境配置了高分辨率在线相机（分辨率为4096x4096像素，帧率为30fps），并针对特定的生产线条件进行了相机参数（如曝光时间、增益等）的优化。实验选取了包含各种典型缺陷（如划痕、污点、颗粒等）的晶圆片作为待检测对象，共100片，确保样本的多样性和代表性[0127] 实施过程分为以下几个关键步骤：[0128] 1、图像采集：在线相机按照设定参数，连续抓取晶圆片图像，每片晶圆拍摄10张图像，以提高检测的可靠性。[0129] 2、缺陷特征提取：采用双三次下采样与上采样的金字塔方法，构建了从尺度k=0到k=4的多尺度图像序列。通过快速傅里叶变换和小波变换，分别提取了频域特征 和时频特征 。融合权重 基于尺度敏感性计算，最终得到融合缺陷图 。[0130] 3、灰阶度分析：应用Sobel算子计算局部梯度方向，进而沿每个像素的切向计算灰阶度 ，设定异常阈值 =0.3，初步筛选出潜在缺陷点。[0131] 4、缺陷定位：使用Canny边缘检测和Douglas‑Peucker算法简化轮廓，准确地定位到缺陷的中心坐标 。[0132] 5、交互式平台：构建了Web‑based交互式平台，通过Vuetify框架实现了实时图像显示和标注功能。用户可以即时查看检测结果，并对疑似缺陷进行A/B标注。[0133] 6、在线学习与模型更新：设定数据量阈值S=1000，一旦收集到足够的标注数据，即触发在线学习，采用k‑fold交叉验证（k=5）策略优化模型，并持续监控性能指标。[0134] 7、缺陷数据分析与报告：利用Pandas对缺陷数据进行分类统计，结合DBSCAN算法进行聚类分析，生成详细的缺陷检测报告。[0135] 具体如下表所示：[0136] 表1实验记录表[0137] 晶圆编号 缺陷类型 初始缺陷图灰阶均值 融合缺陷图灰阶均值 异常阈值判定 定位精度(μm) 标注类型 模型更新次数W001 划痕 0.24 0.89 缺陷 2.1 A 2W002 污点 0.31 0.92 缺陷 1.8 A 1W003 颗粒 0.28 0.91 缺陷 2.3 A 3... ... ... ... ... ... ... ...W100 划痕 0.29 0.93 缺陷 1.9 A 2[0138] 数据分析与讨论：[0139] 通过对比初始缺陷图与融合缺陷图的灰阶均值，观察到在所有案例中融合图的灰阶均值显著增加（提升幅度约200%至300%），表明缺陷特征提取模块有效增强了缺陷信号。此外，通过设定合理的异常阈值 ，成功区分了正常区域与潜在缺陷区域，所有被标记为缺陷的点在后续定位中均得到了验证，体现了灰阶度分析的有效性。[0140] 在缺陷定位方面，平均定位精度达到1.95μm，相比现有技术普遍的5μm定位精度有了显著提升，证明了本发明在精确定位方面的创新性。[0141] 交互式平台的使用，使用户能即时参与到缺陷检测过程中，提高了标注效率与准确性。通过100片晶圆的检测与标注，共收集到标注数据1250条（平均每片晶圆12.5条），触发了两次在线学习更新，模型的召回率从初次使用的78%提升至92%，精确度由85%提升至96%，曲线下面积(AUC)也从0.88升至0.94，彰显了在线学习与模型更新模块的优势。[0142] 综合以上数据分析，本发明的基于视觉识别技术的缺陷检测系统不仅在缺陷识别与精确定位上展现出卓越性能，而且通过实时学习机制，实现了模型的持续优化，显著提升了缺陷检测的准确性和效率，克服了传统方法存在的缺陷识别不敏感、定位不准以及模型更新滞后的不足，充分展示了其创新性和实用性。[0143] 应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

专利地区：江苏

专利申请日期：2024-07-10

专利公开日期：2024-10-01

专利公告号：2024-10-01