半导体图像缺陷识别方法、装置、计算机设备和存储介质

专利名称：半导体图像缺陷识别方法、装置、计算机设备和存储介质

专利类型：实用新型专利

专利申请号：CN202111102026.3

专利申请（专利权）人：上海联麓半导体技术有限公司
权利人地址：上海市嘉定工业区叶城路912号J7134室

专利发明（设计）人：曾锃,李扬帆,陈岑,邹骁锋

专利摘要：本申请涉及图像处理技术领域，特别是涉及一种半导体图像缺陷识别方法、装置、计算机设备和存储介质。一种半导体图像缺陷识别方法包括：获取待处理半导体图像；通过预先训练的对抗生成网络模型中的生成器生成与所述待处理半导体图像相应的虚拟图像；通过预先训练的对抗生成网络模型中的判别器对所述待处理半导体图像和所述虚拟图像，进行差值分割得到所述待处理半导体图像的缺陷位置。本申请通过对待处理半导体图像和虚拟图像行差值分割，得到待处理半导体图像的缺陷位置，代替人工对缺陷进行标注，提高了缺陷标注的准确性，同时大大降低了大规模半导体制造过程中所需的人工识别标注成本。

主权利要求：
1.一种半导体图像缺陷识别方法，其特征在于，所述半导体图像缺陷识别方法包括：获取待处理半导体图像；
通过预先训练的对抗生成网络模型中的生成器生成与所述待处理半导体图像相应的虚拟图像；
通过预先训练的对抗生成网络模型中的判别器对所述待处理半导体图像和所述虚拟图像，进行差值分割得到所述待处理半导体图像的缺陷位置；
所述通过预先训练的对抗生成网络模型中的生成器生成与所述待处理半导体图像相应的虚拟图像，包括：获取隐空间中采样向量，通过所述生成器生成初始虚拟图像；
根据所述初始虚拟图像和所述待处理半导体图像得到误差信息；
根据所述误差信息对所述采样向量进行调整得到隐向量；
当所述隐向量生成的初始虚拟图像与所述待处理半导体图像得到误差信息小于预设阈值时，则将所述隐向量生成的初始虚拟图像作为虚拟图像；
所述误差信息，包括：特征判别误差信息和生成误差信息；
所述特征判别误差信息包括，通过预先训练的对抗生成网络模型中的判别器对所述虚拟图像以及所述待处理半导体图像进行特征提取，将卷积神经网络的中间层所述虚拟图像特征和所述待处理半导体图像特征的近似度作为特征判别误差信息；
所述生成误差信息包括，通过预先训练的对抗生成网络模型中的判别器将所述虚拟图像以及所述待处理半导体图像的像素级的差异度作为生成误差信息。
2.根据权利要求1所述的半导体图像缺陷识别方法，其特征在于，所述待处理半导体图像为半导体切面图像。
3.根据权利要求1所述的半导体图像缺陷识别方法，其特征在于，所述通过预先训练的对抗生成网络模型中的判别器对所述待处理半导体图像和所述虚拟图像，进行差值分割得到所述待处理半导体图像的缺陷位置，包括：通过预先训练的对抗生成网络模型中的判别器判别所述虚拟图像和所述待处理半导体图像得到缺陷指数；
将所述缺陷指数大于预设缺陷阈值的所述待处理半导体图像确定为缺陷半导体图像；
将所述缺陷半导体图像与所述虚拟图像进行差值对比，差值较大的区域确定为缺陷分割的区域。
4.根据权利要求3所述的半导体图像缺陷识别方法，其特征在于，所述对抗生成网络模型的训练方法，包括：获取训练半导体图像；
根据所述训练半导体图像分别训练生成器和判别器分别得到生成器参数和判别器参数。
5.根据权利要求4所述的半导体图像缺陷识别方法，其特征在于，所述获取训练半导体图像，包括：获取正常的半导体图像作为训练半导体图像集；
对训练半导体图像集进行采样，得到正常图片块，作为训练半导体图像的训练集。
6.根据权利要求4所述的半导体图像缺陷识别方法，其特征在于，所述根据所述训练半导体图像分别训练生成器和判别器分别得到生成器参数和判别器参数之前，包括：在所述训练半导体图像的任意位置进行采样得到采样位置；
以所述采样位置为中心，获取预设尺寸的采样图片；
对所述采样图片进行标记得到生成器训练集。
7.根据权利要求4所述的半导体图像缺陷识别方法，其特征在于，所述生成器训练，包括：获取隐空间中训练采样向量，通过所述生成器生成训练初始虚拟图像；
根据所述训练初始虚拟图像和所述训练半导体图像得到训练误差信息；
根据所述训练误差信息对所述采样向量进行调整得到训练隐向量；
当训练隐向量生成的训练初始虚拟图像与训练半导体图像得到误差信息小于预设阈值时，则将训练隐向量生成的训练初始虚拟图像作为训练虚拟图像。
8.根据权利要求7所述的半导体图像缺陷识别方法，其特征在于，所述判别器训练，包括：将所述训练虚拟图像和所述训练半导体图像输入所述判别器得到训练缺陷指数；
将所述训练缺陷指数大于所述预设缺陷阈值的所述训练半导体图像确定为训练缺陷半导体图像；
将所述训练缺陷半导体图像与所述训练虚拟图像进行差值对比，差值较大的区域确定为训练缺陷分割的区域。
9.一种半导体图像缺陷分割装置，其特征在于，所述半导体图像缺陷分割装置包括：获取单元，用于获取待处理半导体图像；
虚拟图像生成单元，用于通过预先训练的对抗生成网络模型中的生成器生成与所述待处理半导体图像相应的虚拟图像；
差值分割单元，用于通过预先训练的对抗生成网络模型中的判别器对所述待处理半导体图像和所述虚拟图像，进行差值分割得到所述待处理半导体图像的缺陷位置；
所述虚拟图像生成单元还用于获取隐空间中采样向量，通过所述生成器生成初始虚拟图像；
根据所述初始虚拟图像和所述待处理半导体图像得到误差信息；
根据所述误差信息对所述采样向量进行调整得到隐向量；
当所述隐向量生成的初始虚拟图像与所述待处理半导体图像得到误差信息小于预设阈值时，则将所述隐向量生成的初始虚拟图像作为虚拟图像；
所述误差信息，包括：特征判别误差信息和生成误差信息；
所述特征判别误差信息包括，通过预先训练的对抗生成网络模型中的判别器对所述虚拟图像以及所述待处理半导体图像进行特征提取，将卷积神经网络的中间层所述虚拟图像特征和所述待处理半导体图像特征的近似度作为特征判别误差信息；
所述生成误差信息包括，通过预先训练的对抗生成网络模型中的判别器将所述虚拟图像以及所述待处理半导体图像的像素级的差异度作为生成误差信息。
10.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述的方法的步骤。
11.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。 说明书 : 半导体图像缺陷识别方法、装置、计算机设备和存储介质技术领域[0001] 本申请涉及图像处理技术领域，特别是涉及一种半导体图像缺陷识别方法、装置、计算机设备和存储介质。背景技术[0002] 在半导体制造中，每个模块都有许多类型的产品缺陷，而且是在多种工艺的相互作用叠加下产生的。不同的产品缺陷是由不同的设备所产生的，有些是由模块内的因素造成的，如温度变化、工艺时间的变化；有些是由工艺步骤的累积造成的。有效的产品缺陷的检测分割和潜在的产生原因分析可以极大地帮助跟踪和改善生产线的产量、良率和收益。[0003] 针对半导体缺陷的识别以及分割，现有的方案主要分为两种，第一类是利用人工进行手工识别，另一类是利用传统图像处理算法以及基于人工智能算法通过对灰度纹理等特征分析而进行缺陷的自动识别。然而，以上两类方法都存在如下缺陷：1)基于人工的方法在大规模半导体生产时需要大量的人工投入，且工人间个体识别能力差异较大。2)基于传统图像识别算法的自动化方案准确率较低，无法达到工业级大规模应用的标准。[0004] 近年来，基于深度学习的图像处理方法在常规的图像分类、目标检测以及图像分割等领域取得了良好的效果，然而在半导体缺陷自动分割的问题上依然存在如下挑战从而无法取得良好的效果：1)半导体缺陷形态呈现出不规则且多样性，较少存在统一性的图像特征，不利于深度神经网络的学习和训练。2)半导体缺陷分割的标注数据往往较少，在待检测样本中往往存在大量未知的缺陷，从而导致检测过程的准确度偏低。发明内容[0005] 基于此，有必要针对上述技术问题，提供一种半导体图像缺陷识别方法、装置、计算机设备和存储介质。[0006] 本申请实施例提供了一种半导体图像缺陷识别方法，包括：[0007] 获取待处理半导体图像；[0008] 通过预先训练的对抗生成网络模型中的生成器生成与所述待处理半导体图像相应的虚拟图像；[0009] 通过预先训练的对抗生成网络模型中的判别器对所述待处理半导体图像和所述虚拟图像，进行差值分割得到所述待处理半导体图像的缺陷位置。[0010] 在其中一个实施例中，所述通过预先训练的对抗生成网络模型中的生成器生成与所述待处理半导体图像相应的虚拟图像，包括：[0011] 获取隐空间中采样向量，通过所述生成器生成初始虚拟图像；[0012] 根据所述初始虚拟图像和所述待处理半导体图像得到误差信息；[0013] 根据所述误差信息对所述采样向量进行调整得到隐向量；[0014] 当所述隐向量生成的初始虚拟图像与所述待处理半导体图像得到误差信息小于预设阈值时，则将所述隐向量生成的初始虚拟图像作为虚拟图像。[0015] 在其中一个实施例中，所述误差信息，包括：特征判别误差信息和生成误差信息；[0016] 所述特征判别误差信息包括，通过预先训练的对抗生成网络模型中的判别器对所述虚拟图像以及所述待处理半导体图像进行特征提取，将卷积神经网络的中间层所述虚拟图像特征和所述待处理半导体图像特征的近似度作为特征判别误差信息；[0017] 所述生成误差信息包括，通过预先训练的对抗生成网络模型中的判别器将所述虚拟图像以及所述待处理半导体图像的像素级的差异度作为生成误差信息。[0018] 在其中一个实施例中，所述通过预先训练的对抗生成网络模型中的判别器对所述待处理半导体图像和所述虚拟图像，进行差值分割得到所述待处理半导体图像的缺陷位置，包括：[0019] 通过预先训练的对抗生成网络模型中的判别器判别所述虚拟图像和所述待处理半导体图像得到缺陷指数；[0020] 将所述缺陷指数大于所述预设缺陷阈值的所述待处理半导体图像确定为缺陷半导体图像；[0021] 将所述缺陷半导体图像与所述虚拟图像进行差值对比，差值较大的区域确定为缺陷分割的区域。[0022] 在其中一个实施例中，所述对抗生成网络模型的训练方法，包括：[0023] 获取训练半导体图像；[0024] 根据所述训练半导体图像分别训练生成器和判别器分别得到生成器参数和判别器参数。[0025] 在其中一个实施例中，所述根据所述训练半导体图像分别训练生成器和判别器分别得到生成器参数和判别器参数之前，包括：[0026] 在所述训练半导体图像的任意位置进行采样得到采样位置；[0027] 以所述采样位置为中心，获取预设尺寸的采样图片；[0028] 对所述采样图片进行标记得到生成器训练集。[0029] 在其中一个实施例中，所述生成器训练，包括：[0030] 获取隐空间中训练采样向量，通过所述生成器生成训练初始虚拟图像；[0031] 根据所述训练初始虚拟图像和所述训练半导体图像得到训练误差信息；[0032] 根据所述训练误差信息对所述采样向量进行调整得到训练隐向量；[0033] 当训练隐向量生成的训练初始虚拟图像与训练半导体图像得到误差信息小于预设阈值时，则将训练隐向量生成的训练初始虚拟图像作为训练虚拟图像。[0034] 在其中一个实施例中，所述判别器训练，包括：[0035] 将所述训练虚拟图像和所述训练半导体图像输入所述判别器得到训练缺陷指数；[0036] 将所述训练缺陷指数大于所述预设缺陷阈值的所述训练半导体图像确定为训练缺陷半导体图像；[0037] 将所述训练缺陷半导体图像与所述训练虚拟图像进行差值对比，差值较大的区域确定为训练缺陷分割的区域。[0038] 在其中一个实施例中，所述半导体图像缺陷分割装置包括：[0039] 获取单元，用于获取待处理半导体图像；[0040] 虚拟图像生成单元，用于通过预先训练的对抗生成网络模型中的生成器生成与所述待处理半导体图像相应的虚拟图像；[0041] 差值分割单元，用于通过预先训练的对抗生成网络模型中的判别器对所述待处理半导体图像和所述虚拟图像，进行差值分割得到所述待处理半导体图像的缺陷位置。[0042] 在其中一个实施例中，一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述实施例中任一项所述的方法的步骤。[0043] 在其中一个实施例中，一种计算机存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述实施例中任一项所述的方法的步骤。[0044] 上述半导体图像缺陷识别方法、装置、计算机设备和存储介质，通过获取待处理半导体图像；通过预先训练的对抗生成网络模型中的生成器生成与所述待处理半导体图像相应的虚拟图像；通过预先训练的对抗生成网络模型中的判别器对所述待处理半导体图像和所述虚拟图像，进行差值分割得到所述待处理半导体图像的缺陷位置。本申请通过对待处理半导体图像和虚拟图像行差值分割，得到待处理半导体图像的缺陷位置，代替人工对缺陷进行标注，提高了缺陷标注的准确性，同时大大降低了大规模半导体制造过程中所需的人工识别标注成本。附图说明[0045] 为了更清楚地说明本申请实施例或传统技术中的技术方案，下面将对实施例或传统技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。[0046] 图1为一个实施例中半导体图像缺陷识别方法的应用环境图；[0047] 图2为一个实施例中半导体图像缺陷识别方法的流程示意图；[0048] 图3为一个实施例中半导体图像缺陷识别方法的虚拟图像生成流程示意图；[0049] 图4为一个实施例中半导体图像缺陷识别方法的另一个应用环境图；[0050] 图5为一个实施例中半导体图像缺陷识别方法的缺陷位置确定流程示意图；[0051] 图6为一个实施例中半导体图像缺陷识别方法的模型训练流程示意图；[0052] 图7为一个实施例中半导体图像缺陷识别方法的流程示意图；[0053] 图8为一个实施例中半导体图像缺陷识别方法的生成器训练流程示意图；[0054] 图9为一个实施例中半导体图像缺陷识别方法的判别器训练流程示意图；[0055] 图10为一个实施例中计算机设备的内部结构图。具体实施方式[0056] 为了便于理解本申请，下面将参照相关附图对本申请进行更全面的描述。附图中给出了本申请的实施例。但是，本申请可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使本申请的公开内容更加透彻全面。[0057] 除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的耦合。[0058] 可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。[0059] 如图1所示，本申请所提供的一种半导体图像缺陷识别方法，可以应用于如图1所示的应用环境中。其中，半导体图像缺陷分割装置获取待处理半导体图像；并通过预先训练的对抗生成网络模型100中的生成器生成102与待处理半导体图像相应的虚拟图像；通过预先训练的对抗生成网络模型100中的判别器104对待处理半导体图像和虚拟图像，进行差值分割得到待处理半导体图像的缺陷位置。本申请通过对待处理半导体图像和虚拟图像行差值分割，得到待处理半导体图像的缺陷位置，代替人工对缺陷进行标注，提高了缺陷标注的准确性，同时大大降低了大规模半导体制造过程中所需的人工识别标注成本。[0060] 在一个实施例中，如图2所示，提供了一种半导体图像缺陷识别方法，以该方法应用于如图1所示的半导体图像缺陷分割装置为例进行说明，包括以下步骤：[0061] S202：获取待处理半导体图像。[0062] 具体地，半导体图像缺陷分割装置的预先训练的对抗生成网络模型，获取待处理半导体图像，待处理的半导体图像为半导体切面图像。[0063] S204：通过预先训练的对抗生成网络模型中的生成器生成与待处理半导体图像相应的虚拟图像。[0064] 具体地，半导体图像缺陷分割装置的预先训练的对抗生成网络模型，获取待处理半导体图像，待处理的半导体图像为半导体切面图像。将获取的待处理半导体图像输入至预先训练的对抗生成网络模型中的生成器中，生成器生成与待处理半导体图像相应的虚拟图像。[0065] S206：通过预先训练的对抗生成网络模型中的判别器对待处理半导体图像和虚拟图像，进行差值分割得到待处理半导体图像的缺陷位置。[0066] 具体地，将获取的待处理半导体图像与生成器生成的与待处理半导体图像相应的虚拟图像，均输入至预先训练的对抗生成网络模型中的判别器中，判别器对待处理半导体图像和虚拟图像，进行差值分割得到待处理半导体图像的缺陷位置。[0067] 在该实施例中，一种半导体图像缺陷识别方法，通过获取待处理半导体图像；通过预先训练的对抗生成网络模型中的生成器生成与所述待处理半导体图像相应的虚拟图像；通过预先训练的对抗生成网络模型中的判别器对所述待处理半导体图像和所述虚拟图像，进行差值分割得到所述待处理半导体图像的缺陷位置。本申请通过对待处理半导体图像和虚拟图像行差值分割，得到待处理半导体图像的缺陷位置，代替人工对缺陷进行标注，提高了缺陷标注的准确性，同时大大降低了大规模半导体制造过程中所需的人工识别标注成本。[0068] 如图3和图4所示，通过预先训练的对抗生成网络模型中的生成器生成与待处理半导体图像相应的虚拟图像，包括：[0069] S302：获取隐空间中采样向量，通过生成器生成初始虚拟图像。[0070] 具体地，从隐空间中随机获取一个采样向量，将采样项量输入至预先训练的对抗生成网络模型中的生成器中，通过生成器生成一张初始虚拟图像。[0071] S304：根据初始虚拟图像和待处理半导体图像得到误差信息。[0072] 具体地，从隐空间中随机获取一个采样向量，将采样项量输入至预先训练的对抗生成网络模型中的生成器中，通过生成器生成一张初始虚拟图像。基于特征匹配技术，计算初始虚拟图像与待处理半导体图像的误差信息。其中，误差信息包括，特征判别误差信息和生成误差信息。根据测量得到的特征判别误差信息和生成误差信息，通过带权相加得到综合误差。[0073] S306：根据误差信息对采样向量进行调整得到隐向量。[0074] 具体地，根据测量得到的误差信息的特征判别误差信息和生成误差信息，通过将特征判别误差信息和生成误差信息带权相加得到综合误差。基于综合误差通过梯度下降方法对采样向量进行调整，得到隐向量。[0075] S308：当隐向量生成的初始虚拟图像与待处理半导体图像得到误差信息小于预设阈值时，则将所述隐向量生成的初始虚拟图像作为虚拟图像。[0076] 具体地，不断迭代以上步骤S306和S308，当隐向量生成的初始虚拟图像与待处理半导体图像得到误差信息大于预设阈值时，再次根据初始虚拟图像和待处理半导体图像得到误差信息，根据误差信息对采样向量进行调整得到新的隐向量，当新的隐向量生成的初始虚拟图像与待处理半导体图像得到误差信息小于预设阈值时，则将新的隐向量生成的初始虚拟图像作为虚拟图像。[0077] 在本实施例中，根据初始虚拟图像和待处理半导体图像得到误差信息，根据误差信息对采样向量进行调整得到隐向量；通过不断将初始虚拟图像和待处理半导体图像重复对比，并不断对采样向量进行调整，当隐向量生成的初始虚拟图像与待处理半导体图像得到误差信息小于预设阈值时，则将隐向量生成的初始虚拟图像作为虚拟图像。如此得到与待处理半导体图像最接近的虚拟图像，使生成器生成与待处理半导体图像相应的虚拟图像，提高缺陷识别的精度。[0078] 在其中一个实施例中，误差信息，包括：特征判别误差信息和生成误差信息；[0079] 特征判别误差信息包括，通过预先训练的对抗生成网络模型中的判别器对虚拟图像以及待处理半导体图像进行特征提取，将卷积神经网络的中间层虚拟图像特征和待处理半导体图像特征的近似度作为特征判别误差信息。[0080] 具体地，计算特征判别误差信息，即利用判别器对生成器生成的虚拟图像以及待处理半导体图像进行特征提取，将卷积神经网络的中间层特征的近似度作为目标函数，采用中间层特征作为目标的目的在于，不同于传统的GAN，判别器无需判断生成图像的类别，其主要目的是要能稳定的生成虚拟图像与待处理半导体图像属于近似的分布，为达到此目标，让虚拟图像以及待处理半导体图像的卷积层中间特征也尽可能属于相似分布，如下式所示：[0081][0082] 生成误差信息包括，通过预先训练的对抗生成网络模型中的判别器将虚拟图像以及待处理半导体图像的像素级的差异度作为生成误差信息。[0083] 具体地，计算生成误差信息，即虚拟图像与待处理半导体图像的像素级的差异度作为目标函数，如下式：[0084][0085] 然后，将生成误差信息以及特征判别误差信息进行加权相加，如下式：[0086][0087] 在该实施例中，通过将卷积神经网络的中间层虚拟图像特征和待处理半导体图像特征的近似度作为特征判别误差信息；通过将虚拟图像以及待处理半导体图像的像素级的差异度作为生成误差信息，将生成误差信息以及特征判别误差信息进行加权相加，使误差信息更加准确，从而提高半导体图像缺陷识别装置的运行可靠性和输出晶圆的质量。[0088] 如图5所示，在其中一个实施例中，通过预先训练的对抗生成网络模型中的判别器对待处理半导体图像和虚拟图像，进行差值分割得到待处理半导体图像的缺陷位置，包括：[0089] S502：通过预先训练的对抗生成网络模型中的判别器判别虚拟图像和待处理半导体图像得到缺陷指数。[0090] 其中，缺陷指数代表待处理半导体图像的缺陷程度。[0091] 具体地，将上述步骤中得到的虚拟图像和待处理半导体图像，输入至预先训练的对抗生成网络模型中的判别器中，判别器对虚拟图像和待处理半导体图像进行判别得到缺陷指数，代表了待处理半导体图像的缺陷程度。[0092] S504：将缺陷指数大于预设缺陷阈值的待处理半导体图像确定为缺陷半导体图像。[0093] 具体地，判别器对虚拟图像和待处理半导体图像进行判别得到的缺陷指数，缺陷指数代表了待处理半导体图像的缺陷程度。将缺陷指数与预设缺陷阈值进行比较，缺陷指数大于预设缺陷阈值的待处理半导体图像存在缺陷，并确定为缺陷半导体图像，缺陷指数小于预设缺陷阈值的待处理半导体图像不存在缺陷，并确定为完好半导体图像。[0094] S506：将缺陷半导体图像与虚拟图像进行差值对比，差值较大的区域确定为缺陷分割的区域。[0095] 具体地，通过将缺陷指数与预设缺陷阈值进行比较，缺陷指数大于预设缺陷阈值的待处理半导体图像存在缺陷，缺陷指数小于预设缺陷阈值的待处理半导体图像不存在缺陷。将通过比较确定为缺陷半导体图像的，再将缺陷半导体图像与虚拟图像进行差值对比，将差值较大的区域确定为缺陷分割的区域。[0096] 在该实施例中，通过将缺陷指数大于预设缺陷阈值的待处理半导体图像确定为缺陷半导体图像，再将缺陷半导体图像与虚拟图像进行差值对比，差值较大的区域确定为缺陷分割的区域。如此逐步确定出缺陷分割的区域，定位准确率较好，可用于实际应用。[0097] 如图6所示，在其中一个实施例中，对抗生成网络模型的训练方法，包括：[0098] S602：获取训练半导体图像。[0099] 具体地，获取正常的半导体图像作为训练半导体图像集，对训练半导体图像集进行采样，得到大量正常图片块，作为训练半导体图像的训练集。[0100] S604：根据训练半导体图像分别训练生成器和判别器分别得到生成器参数和判别器参数。[0101] 具体地，将采样得到的训练半导体图像的训练集，输入至对抗生成网络模型GAN中，用于训练对抗生成网络模型GAN的生成器和判别器，得到生成器和判别器的参数。[0102] 在本实施例中，通过获取训练半导体图像，根据训练半导体图像分别训练生成器和判别器，分别得到生成器参数和判别器参数。通过获取正常的半导体图像利用对抗生成网络进行无监督学习，提高了准确性。[0103] 如图7所示，在其中一个实施例中，根据训练半导体图像分别训练生成器和判别器分别得到生成器参数和判别器参数之前，包括：[0104] S702：在训练半导体图像的任意位置进行采样得到采样位置。[0105] 具体地，获取正常的半导体图像作为训练半导体图像集，对训练半导体图像集进行采样，对于每一张正常的半导体图像，在半导体图像上进行随机位置采样。[0106] S704：以采样位置为中心，获取预设尺寸的采样图片。[0107] 具体地，对于每一张正常的半导体图像，在半导体图像上进行随机位置采样，以随机的采样位置为中心，获取预设尺寸的采样图片。[0108] S706：对采样图片进行标记得到生成器训练集。[0109] 具体地，将已获取的预设尺寸的采样图片进行标记，标记的方式可以是将采样图片给定标签“1”，标签“1”代表真实半导体图片块，也可以采用其他形式进行标记，在此不做限定。[0110] 在本实施例中，在训练半导体图像的任意位置进行采样得到采样位置，以采样位置为中心，获取预设尺寸的采样图片，对采样图片进行标记得到生成器训练集。在训练过程不需要对采样图片进行人工标注，大大降低了大规模半导体制造过程中所需的人工识别标注成本，同时提高了工作效率。[0111] 如图8所示，在其中一个实施例中，生成器训练，包括：[0112] S802：获取隐空间中训练采样向量，通过生成器生成训练初始虚拟图像。[0113] 具体地，半导体图像缺陷识别装置的对抗生成网络模型GAN包括一个生成器，生成器的主要构成部件为卷积神经网络。该生成器能够从隐空间中随机采样得到的噪声或一维向量中，生成与生成器训练集中采样图片同样大小，属于近似分布的虚假二维训练初始虚拟图像，训练初始虚拟图像被给定标签“0”，标签“0”代表训练初始虚拟图像，也可以采用其他形式进行标记，在此不做限定。[0114] S804：根据训练初始虚拟图像和训练半导体图像得到训练误差信息。[0115] 具体地，基于特征匹配技术，计算训练初始虚拟图像与训练半导体图像的训练误差信息。其中，训练误差信息包括，训练特征判别误差信息和训练生成误差信息。根据测量得到的训练特征判别误差信息和训练生成误差信息，通过带权相加得到训练综合误差。[0116] S806：根据训练误差信息对采样向量进行调整得到训练隐向量。[0117] 具体地，根据测量得到的训练误差信息的特征判别误差信息和训练生成误差信息，通过将训练特征判别误差信息和训练生成误差信息带权相加得到训练综合误差。基于训练综合误差通过梯度下降方法对采样向量进行调整，得到训练隐向量。[0118] S808：当训练隐向量生成的训练初始虚拟图像与训练半导体图像得到误差信息小于预设阈值时，则将训练隐向量生成的训练初始虚拟图像作为训练虚拟图像。[0119] 具体地，不断迭代以上步骤S806和808，当训练隐向量生成的训练初始虚拟图像与训练半导体图像得到误差信息大于预设阈值时，再次根据训练初始虚拟图像和训练半导体图像得到误差信息，根据误差信息对采样向量进行调整得到新的训练隐向量，当新的训练隐向量生成的训练初始虚拟图像与训练半导体图像得到误差信息小于预设阈值时，则将新的隐向量生成的训练初始虚拟图像作为训练虚拟图像。[0120] 在本实施例中，根据训练虚拟图像和训练半导体图像得到误差信息，根据训练误差信息对采样向量进行调整得到训练隐向量；通过不断将训练初始虚拟图像和训练半导体图像重复对比，并不断对采样向量进行调整，当训练隐向量生成的训练初始虚拟图像与训练半导体图像得到误差信息小于预设阈值时，则将训练隐向量生成的训练初始虚拟图像作为训练虚拟图像。如此得到与训练半导体图像最接近的虚拟图像，使生成器生成与训练半导体图像相应的虚拟图像，提高缺陷识别的精度。[0121] 如图9所示，在其中一个实施例中，判别器训练，包括：[0122] S902：将训练虚拟图像和训练半导体图像输入判别器得到训练缺陷指数。[0123] 具体地，半导体图像缺陷识别装置的对抗生成网络模型GAN包括一个判别器，判别器的主要构成部件为卷积神经网络。判别器的输入为二维半导体图片块，将训练虚拟图像和训练半导体图像输入判别器，判别器能够判别输入的图像是真实的训练虚拟图像或者是上一步生成器输出的训练半导体图像，并能够得到训练缺陷指数。[0124] S904：将训练缺陷指数大于预设缺陷阈值的训练半导体图像确定为训练缺陷半导体图像。[0125] 具体地，判别器对训练虚拟图像和训练半导体图像进行判别得到的训练缺陷指数，训练缺陷指数代表了训练半导体图像的缺陷程度。将训练缺陷指数与预设缺陷阈值进行比较，训练缺陷指数大于预设缺陷阈值的训练半导体图像存在缺陷，并确定为训练缺陷半导体图像，训练缺陷指数小于预设缺陷阈值的训练半导体图像不存在缺陷，并确定为完好训练半导体图像。[0126] S906：将训练缺陷半导体图像与训练虚拟图像进行差值对比，差值较大的区域确定为训练缺陷分割的区域。[0127] 具体地，通过将训练缺陷指数与预设缺陷阈值进行比较，训练缺陷指数大于预设缺陷阈值的训练半导体图像存在缺陷，训练缺陷指数小于预设缺陷阈值的训练半导体图像不存在缺陷。将通过比较确定为训练缺陷半导体图像的，再将训练缺陷半导体图像与训练虚拟图像进行差值对比，将差值较大的区域确定为训练缺陷分割的区域。[0128] 使用GAN优化器对生成器和判别器进行基于特征匹配技术同时迭代对抗式优化，使得生成器能生成更逼真的虚假半导体图片，而判别器能更好的识别虚假图片。训练对抗生成网络模型的目标函数如下所示：[0129][0130] 在本实施例中，通过将训练缺陷指数大于预设缺陷阈值的训练半导体图像确定为训练缺陷半导体图像，再将训练缺陷半导体图像与训练虚拟图像进行差值对比，差值较大的区域确定为训练缺陷分割的区域。如此逐步确定出训练缺陷分割的区域，定位准确率较好，可用于实际应用。[0131] 应该理解的是，虽然图2至图9的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2至图9的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。[0132] 在一个实施例中，一种半导体图像缺陷识别装置，包括：获取单元、虚拟图像生成单元、差值分割单元，其中：[0133] 获取单元，用于获取待处理半导体图像；[0134] 虚拟图像生成单元，用于通过预先训练的对抗生成网络模型中的生成器生成与待处理半导体图像相应的虚拟图像；[0135] 差值分割单元，用于通过预先训练的对抗生成网络模型中的判别器对待处理半导体图像和虚拟图像，进行差值分割得到待处理半导体图像的缺陷位置。[0136] 在其中一个实施例中，通过预先训练的对抗生成网络模型中的生成器生成与待处理半导体图像相应的虚拟图像，包括：[0137] 获取单元，用于获取隐空间中采样向量，通过生成器生成初始虚拟图像；[0138] 误差信息单元，用于根据初始虚拟图像和待处理半导体图像得到误差信息；[0139] 调整单元，用于根据误差信息对采样向量进行调整得到隐向量；[0140] 虚拟图像生成单元，用于当隐向量生成的初始虚拟图像与待处理半导体图像得到误差信息小于预设阈值时，则将隐向量生成的初始虚拟图像作为虚拟图像。[0141] 在其中一个实施例中，误差信息，包括：特征判别误差信息单元和生成误差信息单元；[0142] 特征判别误差信息单元用于通过预先训练的对抗生成网络模型中的判别器对虚拟图像以及待处理半导体图像进行特征提取，将卷积神经网络的中间层虚拟图像特征和待处理半导体图像特征的近似度作为特征判别误差信息。[0143] 生成误差信息单元，用于通过预先训练的对抗生成网络模型中的判别器将虚拟图像以及待处理半导体图像的像素级的差异度作为生成误差信息。[0144] 在其中一个实施例中，通过预先训练的对抗生成网络模型中的判别器对待处理半导体图像和虚拟图像，进行差值分割得到待处理半导体图像的缺陷位置，包括：[0145] 缺陷指数单元，用于通过预先训练的对抗生成网络模型中的判别器判别虚拟图像和待处理半导体图像得到缺陷指数；[0146] 缺陷半导体图像确定单元，用于将缺陷指数大于预设缺陷阈值的待处理半导体图像确定为缺陷半导体图像；[0147] 差值对比单元，用于将缺陷半导体图像与虚拟图像进行差值对比，差值较大的区域确定为缺陷分割的区域。[0148] 在其中一个实施例中，对抗生成网络模型的训练方法，包括：[0149] 获取单元，用于获取训练半导体图像；[0150] 参数生成单元，用于根据训练半导体图像分别训练生成器和判别器分别得到生成器参数和判别器参数。[0151] 在其中一个实施例中，根据训练半导体图像分别训练生成器和判别器分别得到生成器参数和判别器参数之前，包括：[0152] 采样单元，用于在训练半导体图像的任意位置进行采样得到采样位置；[0153] 获取采样图片单元，用于以采样位置为中心，获取预设尺寸的采样图片；[0154] 标记单元，用于对采样图片进行标记得到生成器训练集。[0155] 在其中一个实施例中，生成器训练，包括：[0156] 获取单元，用于获取隐空间中训练采样向量，通过生成器生成训练初始虚拟图像；[0157] 训练误差信息单元，用于根据训练初始虚拟图像和训练半导体图像得到训练误差信息；[0158] 调整单元，用于根据训练误差信息对采样向量进行调整得到训练隐向量；[0159] 训练虚拟图像生成单元，用于当训练隐向量生成的训练初始虚拟图像与训练半导体图像得到误差信息小于预设阈值时，则将训练隐向量生成的训练初始虚拟图像作为训练虚拟图像。[0160] 在其中一个实施例中，判别器训练，包括：[0161] 训练缺陷指数单元，用于将训练虚拟图像和训练半导体图像输入判别器得到训练缺陷指数；[0162] 训练缺陷半导体图像确定单元，用于将训练缺陷指数大于预设缺陷阈值的训练半导体图像确定为训练缺陷半导体图像；[0163] 训练缺陷分割的区域确定单元，用于将训练缺陷半导体图像与训练虚拟图像进行差值对比，差值较大的区域确定为训练缺陷分割的区域。[0164] 关于半导体图像缺陷识别装置的具体限定可以参见上文中对于半导体图像缺陷识别方法的限定，在此不再赘述。上述半导体图像缺陷识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。需要说明的是，本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。[0165] 在其中一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图10所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储周期任务分配数据，例如配置文件、理论运行参数和理论偏差值范围、任务属性信息等。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种半导体图像缺陷识别方法。[0166] 领域技术人员可以理解，图10中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。[0167] 在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现以下步骤：[0168] 获取待处理半导体图像；[0169] 通过预先训练的对抗生成网络模型中的生成器生成与待处理半导体图像相应的虚拟图像；[0170] 通过预先训练的对抗生成网络模型中的判别器对待处理半导体图像和虚拟图像，进行差值分割得到待处理半导体图像的缺陷位置。[0171] 在一个实施例中，处理器执行计算机程序时实现通过预先训练的对抗生成网络模型中的生成器生成与待处理半导体图像相应的虚拟图像，包括：[0172] 获取隐空间中采样向量，通过生成器生成初始虚拟图像；[0173] 根据初始虚拟图像和待处理半导体图像得到误差信息；[0174] 根据误差信息对采样向量进行调整得到隐向量；[0175] 当隐向量生成的初始虚拟图像与待处理半导体图像得到误差信息小于预设阈值时，则将隐向量生成的初始虚拟图像作为虚拟图像。[0176] 在一个实施例中，处理器执行计算机程序时实现误差信息，包括：特征判别误差信息和生成误差信息；[0177] 特征判别误差信息包括，通过预先训练的对抗生成网络模型中的判别器对虚拟图像以及待处理半导体图像进行特征提取，将卷积神经网络的中间层虚拟图像特征和待处理半导体图像特征的近似度作为特征判别误差信息；[0178] 生成误差信息包括，通过预先训练的对抗生成网络模型中的判别器将虚拟图像以及待处理半导体图像的像素级的差异度作为生成误差信息。[0179] 在一个实施例中，处理器执行计算机程序时实现通过预先训练的对抗生成网络模型中的判别器对待处理半导体图像和虚拟图像，进行差值分割得到待处理半导体图像的缺陷位置，包括：[0180] 通过预先训练的对抗生成网络模型中的判别器判别虚拟图像和待处理半导体图像得到缺陷指数；[0181] 将缺陷指数大于预设缺陷阈值的待处理半导体图像确定为缺陷半导体图像；[0182] 将缺陷半导体图像与虚拟图像进行差值对比，差值较大的区域确定为缺陷分割的区域。[0183] 在一个实施例中，处理器执行计算机程序时实现对抗生成网络模型的训练方法，包括：[0184] 获取训练半导体图像；[0185] 根据训练半导体图像分别训练生成器和判别器分别得到生成器参数和判别器参数。[0186] 在一个实施例中，处理器执行计算机程序时实现根据训练半导体图像分别训练生成器和判别器分别得到生成器参数和判别器参数之前，包括：[0187] 在训练半导体图像的任意位置进行采样得到采样位置；[0188] 以采样位置为中心，获取预设尺寸的采样图片；[0189] 对采样图片进行标记得到生成器训练集。[0190] 在一个实施例中，处理器执行计算机程序时实现生成器训练，包括：[0191] 获取隐空间中训练采样向量，通过生成器生成训练初始虚拟图像；[0192] 根据训练初始虚拟图像和训练半导体图像得到训练误差信息；[0193] 根据训练误差信息对采样向量进行调整得到训练隐向量；[0194] 当训练隐向量生成的训练初始虚拟图像与训练半导体图像得到误差信息小于预设阈值时，则将训练隐向量生成的训练初始虚拟图像作为训练虚拟图像。[0195] 在一个实施例中，处理器执行计算机程序时实现判别器训练，包括：[0196] 将训练虚拟图像和训练半导体图像输入判别器得到训练缺陷指数；[0197] 将训练缺陷指数大于预设缺陷阈值的训练半导体图像确定为训练缺陷半导体图像；[0198] 将训练缺陷半导体图像与训练虚拟图像进行差值对比，差值较大的区域确定为训练缺陷分割的区域。[0199] 在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：[0200] 获取待处理半导体图像；[0201] 通过预先训练的对抗生成网络模型中的生成器生成与待处理半导体图像相应的虚拟图像；[0202] 通过预先训练的对抗生成网络模型中的判别器对待处理半导体图像和虚拟图像，进行差值分割得到待处理半导体图像的缺陷位置。[0203] 在一个实施例中，计算机程序被处理器执行时实现通过预先训练的对抗生成网络模型中的生成器生成与待处理半导体图像相应的虚拟图像，包括：[0204] 获取隐空间中采样向量，通过生成器生成初始虚拟图像；[0205] 根据初始虚拟图像和待处理半导体图像得到误差信息；[0206] 根据误差信息对采样向量进行调整得到隐向量；[0207] 当隐向量生成的初始虚拟图像与待处理半导体图像得到误差信息小于预设阈值时，则将隐向量生成的初始虚拟图像作为虚拟图像。[0208] 在一个实施例中，计算机程序被处理器执行时实现误差信息，包括：特征判别误差信息和生成误差信息；[0209] 特征判别误差信息包括，通过预先训练的对抗生成网络模型中的判别器对虚拟图像以及待处理半导体图像进行特征提取，将卷积神经网络的中间层虚拟图像特征和待处理半导体图像特征的近似度作为特征判别误差信息；[0210] 生成误差信息包括，通过预先训练的对抗生成网络模型中的判别器将虚拟图像以及待处理半导体图像的像素级的差异度作为生成误差信息。[0211] 在一个实施例中，计算机程序被处理器执行时实现通过预先训练的对抗生成网络模型中的判别器对待处理半导体图像和虚拟图像，进行差值分割得到待处理半导体图像的缺陷位置，包括：[0212] 通过预先训练的对抗生成网络模型中的判别器判别虚拟图像和待处理半导体图像得到缺陷指数；[0213] 将缺陷指数大于预设缺陷阈值的待处理半导体图像确定为缺陷半导体图像；[0214] 将缺陷半导体图像与虚拟图像进行差值对比，差值较大的区域确定为缺陷分割的区域。[0215] 在一个实施例中，计算机程序被处理器执行时实现对抗生成网络模型的训练方法，包括：[0216] 获取训练半导体图像；[0217] 根据训练半导体图像分别训练生成器和判别器分别得到生成器参数和判别器参数。[0218] 在一个实施例中，计算机程序被处理器执行时实现根据训练半导体图像分别训练生成器和判别器分别得到生成器参数和判别器参数之前，包括：[0219] 在训练半导体图像的任意位置进行采样得到采样位置；[0220] 以采样位置为中心，获取预设尺寸的采样图片；[0221] 对采样图片进行标记得到生成器训练集。[0222] 在一个实施例中，计算机程序被处理器执行时实现生成器训练，包括：[0223] 获取隐空间中训练采样向量，通过生成器生成训练初始虚拟图像；[0224] 根据训练初始虚拟图像和训练半导体图像得到训练误差信息；[0225] 根据训练误差信息对采样向量进行调整得到训练隐向量；[0226] 当训练隐向量生成的训练初始虚拟图像与训练半导体图像得到误差信息小于预设阈值时，则将训练隐向量生成的训练初始虚拟图像作为训练虚拟图像。[0227] 在一个实施例中，计算机程序被处理器执行时实现判别器训练，包括：[0228] 将训练虚拟图像和训练半导体图像输入判别器得到训练缺陷指数；[0229] 将训练缺陷指数大于预设缺陷阈值的训练半导体图像确定为训练缺陷半导体图像；[0230] 将训练缺陷半导体图像与训练虚拟图像进行差值对比，差值较大的区域确定为训练缺陷分割的区域。[0231] 本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。[0232] 以上实施例的各技术特征可以进行任意的耦合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的耦合都进行描述，然而，只要这些技术特征的耦合不存在矛盾，都应当认为是本说明书记载的范围。[0233] 以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

专利地区：上海

专利申请日期：2021-09-18

专利公开日期：2024-07-26

专利公告号：CN114119460B