一种图像脱敏方法、装置、电子设备及存储介质

专利名称：一种图像脱敏方法、装置、电子设备及存储介质

专利类型：实用新型专利

专利申请号：CN202210219593.5

专利申请（专利权）人：深圳须弥云图空间科技有限公司
权利人地址：广东省深圳市南山区粤海街道海珠社区滨海大道3369号有线信息传输大厦25F2504

专利发明（设计）人：石雅洁

专利摘要：本公开涉及图像处理技术领域，提供了一种图像脱敏方法、装置、电子设备及存储介质。该方法包括：获取原始图像，对原始图像进行特征提取，得到全局特征图；基于预设的米字型多头自注意力机制，捕获全局特征图的细节特征信息，生成目标物体的注意力特征图，其中，米字型多头自注意力机制包括横向注意力分支、竖向注意力分支、第一对角线注意力分支和第二对角线注意力分支；将原始图像和注意力特征图输入对抗生成网络，获得脱敏图像，不仅能够精准地捕捉到图像中的敏感物，且计算效率较高，同时，对敏感物的识别精确度较高，且图像的脱敏效果好。

主权利要求：
1.一种图像脱敏方法，其特征在于，包括：
获取原始图像，对所述原始图像进行特征提取，得到全局特征图；
基于预设的米字型多头自注意力机制，捕获所述全局特征图的细节特征信息，生成目标物体的注意力特征图，其中，所述米字型多头自注意力机制包括横向注意力分支、竖向注意力分支、第一对角线注意力分支和第二对角线注意力分支；
将所述原始图像和所述注意力特征图输入对抗生成网络，获得脱敏图像；
基于预设的米字型多头自注意力机制，捕获所述全局特征图的细节特征信息，生成目标物体的注意力特征图，包括：对所述全局特征图进行一次细节特征捕获，得到第一注意力特征图；
对所述第一注意力特征图进行二次细节特征捕获，得到第二注意力特征图；
对所述第二注意力特征图进行三次细节特征捕获，得到第三注意力特征图；
对所述第三注意力特征图进行四次细节特征捕获，得到目标物体的注意力特征图；
对所述全局特征图进行一次细节特征捕获，得到第一注意力特征图，包括：将所述全局特征图输入所述横向注意力分支，计算得到横向自注意力；
将所述全局特征图输入所述竖向注意力分支，计算得到竖向自注意力；
将所述全局特征图输入所述第一对角线注意力分支，计算得到第一对角线自注意力；
将所述全局特征图输入所述第二对角线注意力分支，计算得到第二对角线自注意力；
将所述横向自注意力、竖向自注意力、第一对角线自注意力和第二对角线自注意力进行拼接，得到第一注意力特征图；
将所述全局特征图输入所述横向注意力分支，计算得到横向自注意力，包括：将所述全局特征图的线性特征投影到所述米字型多头自注意力机制的K个头，得到投影矩阵，其中，K为不等于0的偶数；
将所述全局特征图划分成不重叠的多个等宽横向区域，其中，每个所述等宽横向区域携带有宽度标签；
根据所述投影矩阵和所述多个等宽横向区域，计算得到横向自注意力。
2.根据权利要求1所述的方法，其特征在于，所述将所述原始图像和所述注意力特征图输入对抗生成网络，获得脱敏图像，包括：将所述原始图像和所述注意力特征图输入生成器，得到复原图像；
将所述原始图像和所述复原图像，或者所述原始图像和所述注意力特征图输入判别器，输出判别结果；
当所述判别结果符合预设的输出条件时，对所述复原图像进行上采样，获得脱敏图像。
3.根据权利要求2所述的方法，其特征在于，所述将所述原始图像和所述注意力特征图输入生成器，得到复原图像，包括：将所述注意力特征图进行不同尺度的卷积下采样处理，得到多个不同尺度的卷积特征图；
将所述多个不同尺度的卷积特征图均处理成与所述注意力特征图的图像大小一致的恢复特征图；
将属于同一尺度的卷积特征图和恢复特征图进行拼接后，再经反卷积处理，得到反卷积特征图；
根据所述反卷积特征图和所述原始图像，生成复原图像。
4.根据权利要求3所述的方法，其特征在于，所述将所述注意力特征图进行不同尺度的卷积下采样处理，得到多个不同尺度的卷积特征图，包括：将所述注意力特征图输入预设的编码模块，输出多个不同尺度的卷积特征图；
其中，所述编码模块包括一个卷积层、四个编码块、四个降采样层和四个扩张卷积结构；
所述编码块、扩张卷积结构均为密集块结构，所述密集块结构包括四组结构层，每组所述结构层包括批量归一化单元、激活函数单元、卷积单元和防过拟合单元。
5.根据权利要求2所述的方法，其特征在于，所述将所述原始图像和所述复原图像输入判别器，输出判别结果，包括：将所述原始图像分割成不重叠的多个第一图像块，将所述复原图像分割成不重叠的多个第二图像块，每一个所述第一图像块对应携带有一个唯一的第一标签，每一个所述第二图像块对应携带有一个唯一的第二标签；
根据所述第一标签和第二标签对所述多个第一图像块和多个第二图像块进行分组，得到多个图像分组；
对每一个图像分组中的第一图像块和第二图像块进行像素比较，得到与每一所述图像分组对应的比较值；
根据所述与每一所述图像分组对应的比较值，确定判别结果。
6.根据权利要求2所述的方法，其特征在于，所述将所述原始图像和所述注意力特征图输入判别器，输出判别结果，包括：确定所述目标物体在所述原始图像中的图像区域位置；
从所述原始图像中截取出与所述图像区域位置对应的截取图像；
对所述注意力特征图与所述截取图像的像素进行比较，得到判别结果。
7.根据权利要求1所述的方法，其特征在于，所述对所述原始图像进行特征提取，得到全局特征图，包括：对所述原始图像进行空洞卷积和下采样处理，得到多个不同尺度的局部特征信息；
对所述多个不同尺度的局部特征信息进行全局池化或者平均池化，生成全局特征图。
8.一种图像脱敏装置，其特征在于，包括：
图像获取模块，被配置为获取原始图像，对所述原始图像进行特征提取，得到全局特征图；
特征捕获模块，被配置为基于预设的米字型多头自注意力机制，捕获所述全局特征图的细节特征信息，生成目标物体的注意力特征图，其中，所述米字型多头自注意力机制包括横向注意力分支、竖向注意力分支、第一对角线注意力分支和第二对角线注意力分支；
图像脱敏模块，被配置为将所述原始图像和所述注意力特征图输入对抗生成网络，获得脱敏图像；
基于预设的米字型多头自注意力机制，捕获所述全局特征图的细节特征信息，生成目标物体的注意力特征图，包括：对所述全局特征图进行一次细节特征捕获，得到第一注意力特征图；
对所述第一注意力特征图进行二次细节特征捕获，得到第二注意力特征图；
对所述第二注意力特征图进行三次细节特征捕获，得到第三注意力特征图；
对所述第三注意力特征图进行四次细节特征捕获，得到目标物体的注意力特征图；
对所述全局特征图进行一次细节特征捕获，得到第一注意力特征图，包括：将所述全局特征图输入所述横向注意力分支，计算得到横向自注意力；
将所述全局特征图输入所述竖向注意力分支，计算得到竖向自注意力；
将所述全局特征图输入所述第一对角线注意力分支，计算得到第一对角线自注意力；
将所述全局特征图输入所述第二对角线注意力分支，计算得到第二对角线自注意力；
将所述横向自注意力、竖向自注意力、第一对角线自注意力和第二对角线自注意力进行拼接，得到第一注意力特征图；
将所述全局特征图输入所述横向注意力分支，计算得到横向自注意力，包括：将所述全局特征图的线性特征投影到所述米字型多头自注意力机制的K个头，得到投影矩阵，其中，K为不等于0的偶数；
将所述全局特征图划分成不重叠的多个等宽横向区域，其中，每个所述等宽横向区域携带有宽度标签；
根据所述投影矩阵和所述多个等宽横向区域，计算得到横向自注意力。
9.一种电子设备，包括存储器、处理器以及存储在所述存储器中并且可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至
7中任一项所述方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述方法的步骤。 说明书 : 一种图像脱敏方法、装置、电子设备及存储介质技术领域[0001] 本公开涉及图像处理技术领域，尤其涉及一种图像脱敏方法、装置、电子设备及存储介质。背景技术[0002] 随着计算机通信以及互联网技术的不断发展，用户在交互信息的过程中可能会涉及到在线展示图片/照片/视频，或者上传图片/照片/视频等操作。其中，这些图片/照片/视频中可能会包含一些用户不希望被对方看到的敏感物(比如，某个人的人脸、有人物的海报、贴身衣物等)。[0003] 相关技术，大多数是通过删除这部分图片/照片/视频的方式来解决上述技术问题。虽然直接删除这部分图片/照片/视频可以保护用户的隐私安全，但是却很可能会因此流失很多有效的交互信息资源。另外，还有一些通过对这部分图片/照片/视频中所涉及的敏感物进行脱敏处理来解决上述技术问题。但是，现有的图像脱敏方法仍存在难以精准捕捉敏感物、计算效率低，且对敏感物的识别精确度较低的问题。发明内容[0004] 有鉴于此，本公开实施例提供了一种图像脱敏方法、装置、电子设备及计算机可读存储介质，以解决现有技术中的图像脱敏方法仍存在难以精准捕捉敏感物、计算效率低，且对敏感物的识别精确度较低的问题。[0005] 本公开实施例的第一方面，提供了一种图像脱敏方法，包括：[0006] 获取原始图像，对原始图像进行特征提取，得到全局特征图；[0007] 基于预设的米字型多头自注意力机制，捕获全局特征图的细节特征信息，生成目标物体的注意力特征图，其中，米字型多头自注意力机制包括横向注意力分支、竖向注意力分支、第一对角线注意力分支和第二对角线注意力分支；[0008] 将原始图像和注意力特征图输入对抗生成网络，获得脱敏图像。[0009] 本公开实施例的第二方面，提供了一种图像脱敏装置，包括：[0010] 图像获取模块，被配置为获取原始图像，对原始图像进行特征提取，得到全局特征图；[0011] 特征捕获模块，被配置为基于预设的米字型多头自注意力机制，捕获全局特征图的细节特征信息，生成目标物体的注意力特征图，其中，米字型多头自注意力机制包括横向注意力分支、竖向注意力分支、第一对角线注意力分支和第二对角线注意力分支；[0012] 图像脱敏模块，被配置为将原始图像和注意力特征图输入对抗生成网络，获得脱敏图像。[0013] 本公开实施例的第三方面，提供了一种电子设备，包括存储器、处理器以及存储在存储器中并且可在处理器上运行的计算机程序，该处理器执行计算机程序时实现上述方法的步骤。[0014] 本公开实施例的第四方面，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述方法的步骤。[0015] 本公开实施例与现有技术相比，其有益效果至少包括：本公开实施例通过获取原始图像，对原始图像进行特征提取，得到全局特征图；基于预设的米字型多头自注意力机制，捕获全局特征图的细节特征信息，生成目标物体的注意力特征图，其中，米字型多头自注意力机制包括横向注意力分支、竖向注意力分支、第一对角线注意力分支和第二对角线注意力分支；将原始图像和注意力特征图输入对抗生成网络，获得脱敏图像，不仅能够精准地捕捉到图像中的敏感物，且计算效率较高，同时，对敏感物的识别精确度较高，且图像的脱敏效果好。附图说明[0016] 为了更清楚地说明本公开实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。[0017] 图1是本公开实施例提供的一种图像脱敏方法的流程示意图；[0018] 图2是本公开实施例提供的对抗生成网络中的一种生成器的结构示意图；[0019] 图3是本公开实施例提供的图像脱敏方法中的一种图像分割示意图示意图；[0020] 图4是本公开实施例提供的图像脱敏方法中的一种目标物体的图像区域截图方式示意图；[0021] 图5是本公开实施例提供的一种图像脱敏装置的结构示意图；[0022] 图6是本公开实施例提供的一种电子设备的结构示意图。具体实施方式[0023] 以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本公开实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本公开。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本公开的描述。[0024] 下面将结合附图详细说明根据本公开实施例的一种图像脱敏方法和装置。[0025] 图1是本公开实施例提供的一种图像脱敏方法的流程示意图。如图1所示，该图像脱敏方法包括：[0026] 步骤S101，获取原始图像，对原始图像进行特征提取，得到全局特征图。[0027] 原始图像，可以是用户准备在线展示的图像，或者准备上传到其他应用程序(比如QQ空间，微信朋友圈等)的图像。通常，这些图像中可能涉及到一些敏感物体或私人物品(如某个人或者某些人的人脸，或者有人物的海报，贴身衣物、杂物等)的图片/照片/视频。[0028] 步骤S102，基于预设的米字型多头自注意力机制，捕获全局特征图的细节特征信息，生成目标物体的注意力特征图，其中，米字型多头自注意力机制包括横向注意力分支、竖向注意力分支、第一对角线注意力分支和第二对角线注意力分支。[0029] 注意力机制，源于对人类视觉的研究。在认知科学中，由于信息处理的瓶颈，人类会选择性地关注所有信息的一部分，同时忽略其他可见的信息。上述机制通常被称为注意力机制。多头注意力，是利用多个查询，来平行地计算从输入信息中选取多个信息。每个注意力关注输入信息的不同部分。[0030] 本公开实施例的预设的米字型多头自注意力机制，具体是将注意力部分的头部模块分成4个分支，分别为横向注意力分支、竖向注意力分支、第一对角线注意力分支和第二对角线注意力分支。其中，横向注意力分支用来获取横向的注意力，竖向注意力分支用来获取纵向的注意力区域，第一对角线注意力分支用来获取对角线从左上到右下区域的注意力，第二对角线注意力分支用来获取对角线从左下到右上区域的注意力。横向注意力分支、竖向注意力分支、第一对角线注意力分支和第二对角线注意力分支整体构成一个类似“米字型”的结构。[0031] 目标物体，是指原始图像中涉及到的敏感物体或者私人物品。[0032] 目标物体往往形状、大小各异，如何有效地捕捉所有种类的目标物体也是个难点问题。采用现有的自注意力机制虽然可以有效地捕获图像特征信息，但是，由于现有的自注意力机制的时间复杂度与输入特征大小成平方关系，因此对于一些高分辨率的图片的目标物体的特征信息捕获计算，此方式的计算效率不高。另外，诸如衣服等杂物在阳台晾挂等场景下，私密物体(目标物体)所占比例较大，采用现有的自注意力机制难以精准捕获此场景下的目标物体的有效特征信息，即捕获识别精确度较低。然而，本公开实施例提供的米字型多头自注意力机制，可并行地计算原始图像的横向、纵向以及两个对角线方向的注意力，能够精准有效地捕获到原始图像的各个部分的细节特征信息，从而提高了对图像中的敏感物体或者私人物品的捕获效率和效果。[0033] 在一优选实施例中，还可以通过多个分割模块将原始图像进行分割，然后，提取分割后的各个图像块的特征信息，对于分割后的各个图像块的特信息的提取，可以采用本公开的米字型多头自注意力机制进行提取，之后将各个图像块的提取结果进行叠加，从而可以更加精细地提取原始图像中的敏感物体或私人物品的特征信息，提高后续的图像脱敏效果。[0034] 在另一优选实施例中，还可以根据敏感物体的形状大小设计多个特征捕获识别分支，用以识别不同的敏感物体，从而提高敏感物的识别精确度和图像脱敏的效果。例如，根据敏感物体的形状大小可大致分为三个范围，那么可分别为这三个范围设计一条特征识别捕获分支。具体的，每条分支可以是一个不同于其他两个分支的米字型多头自注意力机制。在进行特征捕获时，可首先判别敏感物体的形状大小，以确定采用哪一个分支的米字型多头自注意力机制来对其进行特征提取，然后再将图像输入相应的分支来进行后续的特征提取步骤。[0035] 步骤S103，将原始图像和注意力特征图输入对抗生成网络，获得脱敏图像。[0036] 对抗生成网络(GAN)，包括生成器和判别器。生成器用于生成假样本(即复原图像)，判别器用于判别样本的真假，并且为了引入对抗损失，通过对抗训练的方式让生成器能够生成高质量的图片(即复原图像)。[0037] 本公开实施例提供的技术方案，通过获取原始图像，对原始图像进行特征提取，得到全局特征图；基于预设的米字型多头自注意力机制，捕获全局特征图的细节特征信息，生成目标物体的注意力特征图，其中，米字型多头自注意力机制包括横向注意力分支、竖向注意力分支、第一对角线注意力分支和第二对角线注意力分支；将原始图像和注意力特征图输入对抗生成网络，获得脱敏图像，不仅能够精准地捕捉到图像中的敏感物，且计算效率较高，同时，对敏感物的识别精确度较高。[0038] 在一些实施例中，上述步骤S103包括：[0039] 将原始图像和注意力特征图输入生成器，得到复原图像。[0040] 在一实施例中，可将原始图像和上述步骤生成的目标物体的注意力特征图输入对抗生成网络的生成器中，使得生成器能够利用原始图像和注意力特征图的图像特征信息，生成复原图像。这里的复原图像是指去除了原始图像中的敏感物体/私人物品后的图像。[0041] 将原始图像和复原图像，或者原始图像和注意力特征图输入判别器，输出判别结果。[0042] 在一实施例中，将原始图像和上述步骤生成的复原图像，或者原始图像和注意力特征图输入对抗生成网络的判别器中，经过判别器判别，输出原始图像和复原图像的判别结果(即原始图像与复原图像的相似度)，或者，原始图像和注意力特征图的判别结果(即原始图像的敏感物体区域与注意力特征图之间的相似度)。[0043] 当判别结果符合预设的输出条件时，对复原图像进行上采样，获得脱敏图像。[0044] 预设的输出条件，是指原始图像与复原图像的相似度或者原始图像的敏感物体区域与注意力特征图之间的相似度符合预设的相似度范围。其中，预设的相似度范围可以根据实际情况灵活设置，比如，可以设置为大于50％、大于80％等。[0045] 作为一示例，假设预设的输出条件是原始图像与复原图像的相似度大于50％，若根据上述步骤S104处理后输出的判别结果为原始图像与复原图像的相似度为90％(大于50％)，则对复原图像进行上采样，得到脱敏图像，即获得最终去除了敏感物体或者私人物品，且与原始图像的相似度在预设的相似度范围内的图像。这样既可以无损原始图像其他部分的特征信息，也可以有效地去除其中的敏感物体或私人物品，可以很好地保护用户的隐私数据。[0046] 在一些实施例中，上述步骤S101包括：[0047] 对原始图像进行空洞卷积和下采样处理，得到多个不同尺度的局部特征信息；[0048] 对多个不同尺度的局部特征信息进行全局池化或者平均池化，生成全局特征图。[0049] 在一实施例中，可以将原始图像输入到残差网络(如ResNet特征提取网络)中，获得原始图像的整体信息。其中，整体信息是指原始图像的所有特征信息。在一示例中，可以通过先将原始图像转换到多个不同的尺度的特征图(即得到多个不同尺度的局部特征信息，也即多尺度的上下文信息)；然后，对多个不同的尺度的特征图进行全局池化(maxpool)或者平均池化(avgpool)处理，生成全局特征图。该全局特征图中包含了原始图像的整体信息。[0050] 在一实施例中，可将原始图像(H×W×3)输入残差网络中，该残差网络的整个网络由四个阶段组成。可使用卷积核嵌入(7×7卷积层，步幅为4)对原始图像进行处理，得到维数为C的特征图，即得到多个不同尺度的局部特征信息。其中，H表示图像高度，W表示图像宽度，C表示图像通道数。[0051] 在残差网络的相邻结构间可使用卷积层(3×3，步幅2)来减少网络宽度数量而使通道维度加倍。这可使得构建的特征图在第i个阶段具有 个维度，其中，i为残差网络的四个阶段中的第i阶段。为了扩大注意力区域并更有效地实现全局自注意力，本公开通过采用米字形窗口自注意力机制，通过在形成米字形窗口的水平、垂直、两个对角线并行执行自注意力来实现。[0052] 在一些实施例中，上述步骤S102包括：[0053] 对全局特征图进行一次细节特征捕获，得到第一注意力特征图；[0054] 对第一注意力特征图进行二次细节特征捕获，得到第二注意力特征图；[0055] 对第二注意力特征图进行三次细节特征捕获，得到第三注意力特征图；[0056] 对第三注意力特征图进行四次细节特征捕获，得到目标物体的注意力特征图。[0057] 在一实施例中，对全局特征图进行一次细节特征捕获，得到第一注意力特征图，具体包括：[0058] 将全局特征图输入横向注意力分支，计算得到横向自注意力；[0059] 将全局特征图输入竖向注意力分支，计算得到竖向自注意力；[0060] 将全局特征图输入第一对角线注意力分支，计算得到第一对角线自注意力；[0061] 将全局特征图输入第二对角线注意力分支，计算得到第二对角线自注意力；[0062] 将横向自注意力、竖向自注意力、第一对角线自注意力和第二对角线自注意力进行拼接，得到第一注意力特征图。[0063] 在一些实施例中，将全局特征图输入横向注意力分支，计算得到横向自注意力，包括：[0064] 将全局特征图的线性特征投影到米字型多头自注意力机制的K个头，得到投影矩阵，其中，K为不等于0的偶数；[0065] 将全局特征图划分成不重叠的多个等宽横向区域，其中，每个等宽横向区域携带有宽度标签；[0066] 根据投影矩阵和多个等宽横向区域，计算得到横向自注意力。[0067] 作为一示例，设全局特征图为X，X∈R(H×W)×C，将全局特征图X的线性特征投影到米字型多头自注意力机制的K个头，然后，每个头将在水平(横向)、垂直(竖向)以及两个对角线方向进行局部自注意。[0068] 对于横向自注意力，X被均匀地划分为不重叠的等宽sw横条[X1，...，XM]，每个横条包含sw×W个标记(即宽度标签)。sw代表宽度，可以调整以平衡学习能力和计算复杂度。形式上，假设第k个头的维度为dk，则第k个头的水平条纹自注意力定义为：[0069][0070][0071][0072] 上式中， 代表第K个头的投影矩阵，dk设置为 表示中间注意力的计算结果，H‑Attentionk(X)代表横向自注意力。[0073] 类似地，可以参照上述横向自注意力的推导过程，推导计算得到第K个头的竖向自注意力V‑Attentionk(X)，第一对角线自注意力D1‑Attentionk(X)，以及第二对角线自注意力D2‑Attentionk(X)。[0074] 假设原始图像没有方向偏差，那么可将K个头平均分成四个平行的组(每个都有K/4个头，K通常是偶数)。第一组头部进行横向自注意力，第二组进行竖向自注意力，第三组进行第一对角线(从左上到右下)自注意力，最后一组进行第二对角线(从左下到右上)自注意力。最后将这四个并行组的输出重新连接在一起，即将上述计算得到的H‑Attentionk(X)、V‑Attentionk(X)、D1‑Attentionk(X)和D2‑Attentionk(X)进行叠加，得到第一注意力特征图。具体的计算公式如下：[0075] Model‑Attention(X)＝Concat(head1，...，headK)WO；[0076][0077] 其中，WO∈RC×C为投影矩阵，headK表示第K个头部的自注意力叠加结果。将自注意力叠加结果投影到目标输出维度(默认设置为C)，即得到第一注意力特征图。[0078] 接着，对上述获得的第一注意力特征图进行二次细节特征捕获，得到第二注意力特征图，其具体的计算推导过程与第一注意力特征图的计算推导过程相同，在此不再赘述。类似地，第三注意力特征图、目标物体的注意力特征图的计算推导过程也与上述第一注意力特征图的计算推导过程相同，在此不再赘述。也就是说，本公开通过米字型多头自注意力机制对全局特征图进行了四次的细节特征捕获，最后获得目标物体的注意力特征图。在每一次进行细节特征捕获的过程中，捕获区域是逐渐扩张的，整体上是从局部到全局的过程，从而能够精准、全面地获取到原始图像的整体信息，提高了对敏感物的识别精确度。[0079] 在一些实施例中，将原始图像和注意力特征图输入生成器，得到复原图像，包括：[0080] 将注意力特征图进行不同尺度的卷积下采样处理，得到多个不同尺度的卷积特征图；[0081] 将多个不同尺度的卷积特征图均处理成与注意力特征图的图像大小一致的恢复特征图；[0082] 将属于同一尺度的卷积特征图和恢复特征图进行拼接后，再经反卷积处理，得到反卷积特征图；[0083] 根据反卷积特征图和原始图像，生成复原图像。[0084] 图2示出了本公开实施例提供的一种生成器的结构示意图。为了便于描述，图中仅示出了与本实施例相关的部分。[0085] 如图2所示，生成器包括编码模块201和解码模块202。其中，编码模块201包括一个卷积层2011、四个编码块2012、四个降采样层2013和四个扩张卷积结构2014。解码模块202包括四个解码块2021、四个上采样层2022以及一个卷积层2023。其中，编码块2012、扩张卷积结构2013、解码块2021均为密集块结构。该密集块结构包括四组结构层，每组结构层包括批量归一化单元、激活函数单元(如LeakRelu单元)、卷积单元和防过拟合单元(如dropout层)。[0086] 在一些实施例中，可将注意力特征图输入编码模块201，输出多个不同尺度的卷积特征图。具体的，可将注意力特征图输入编码模块201，经不同的尺寸的池化处理后，得到注意力特征图的大小的1/4，1/8，1/16，1/32共四个尺度的卷积特征图，可分别记为卷积特征图01、02、03和04。[0087] 接着，将上述卷积特征图01、02、03和04均恢复为注意力特征图的大小，得到恢复特征图01、02、03和04。然后，再将卷积特征图01与恢复特征图01连接起来，卷积特征图02与恢复特征图02连接起来，卷积特征图03与恢复特征图03连接起来，卷积特征图04与恢复特征图04连接起来。然后，再经反卷积处理，将不同层的连接特征反卷积到注意力特征图的大小，得反卷积特征图。最后，再根据反卷积特征图和原始图像，生成复原图像，即生成去除了图中的敏感物体或者私人物品的图像。[0088] 在本公开实施例中，通过上述生成器的编码模块和解码模块，能够将更关注较远距离的信息的低分辨率模块与更关注其周围的信息的高分辨率模块反复结合，从而高效地捕获局部和全局的视觉依赖关系，进而提高对敏感物体或私人物品的捕获精准度，提高了对图像的脱敏效果。[0089] 在一些实施例中，将原始图像和复原图像输入判别器，输出判别结果，包括：[0090] 将原始图像分割成不重叠的多个第一图像块，将复原图像分割成不重叠的多个第二图像块，每一个第一图像块对应携带有一个唯一的第一标签，每一个第二图像块对应携带有一个唯一的第二标签；[0091] 根据第一标签和第二标签对多个第一图像块和多个第二图像块进行分组，得到多个图像分组，其中，每个图像分组中的第一图像块的第一标签和第二图像块的第二标签相同；[0092] 对每一个图像分组中的第一图像块和第二图像块进行像素比较，得到与每一图像分组对应的比较值；[0093] 根据与每一图像分组对应的比较值，确定判别结果。[0094] 结合图3，在一示例中，可先将原始图像A分割成不重叠的多个第一图像块，如图3所示，原始图像A分割成A1～A4共四个第一图像块，每个第一图像块均携带有一个唯一的第一标签，即第一图像块A1携带的第一标签可为A1，第一图像块A2携带的第一标签可为A2，第一图像块A3携带的第一标签可为A3，第一图像块A4携带的第一标签可为A4。类似的，可将复原图像B分割成不重叠的B1～B4共四个第二图像块，每个第二图像块均携带有一个唯一的第二标签，即第二图像块B1携带的第二标签可为B1，第二图像块B2携带的第二标签可为B2，第二图像块B3携带的第二标签可为B3，第二图像块B4携带的第二标签可为B4。[0095] 接着，可以按照图像块所在的位置，将属于同一位置的第一图像块和第二图像块划分为同一组。例如，第一图像块A1在原始图像的左上角位置，第二图像块B1在复原图像的左上角位置，那么第一图像块A1在原始图像的位置与第二图像块B1在复原图像的位置可视为同一位置，可将第一图像块A1与第二图像块B1划分为一个图像分组。同理，可以将第一图像块A2与第二图像块B2划分为一个图像分组，第一图像块A3与第二图像块B3划分为一个图像分组，第一图像块A4与第二图像块B4划分为一个图像分组，即一共可以得到4个图像分组。[0096] 之后，再分别比较每个分组中的两个图像块之间的像素，得到每一图像分组对应的比较值。例如，比较第一图像块A1与第二图像块B1之间的像素相似度，得到一比较结果。[0097] 最后，再综合每一图像分组的比较值，即计算所有图像分组的比较结果的平均值，得到判别结果，即得到复原图像与原始图像的相似度。若该相似度符合超过预设的相似度阈值，则对复原图像进行上采样，得到目标物体的掩码，并输出脱敏图像。[0098] 在另一些实施例中，将原始图像和注意力特征图输入判别器，输出判别结果，包括：[0099] 确定目标物体在原始图像中的图像区域位置；[0100] 从原始图像中截取出与图像区域位置对应的截取图像；[0101] 对注意力特征图与截取图像的像素进行比较，得到判别结果。[0102] 首先，可通过人工标注获得目标识别的方式确定目标物体(即敏感物体或私人物品)在原始图像中的图像区域位置。示例性的，假设确定目标物体在原始图像中的右下角位置，如图4中标号为S的区域。那么可从原始图像中截取出S区域的图像，得到截图图像，然后，再对上述步骤获得的注意力特征图与该截图图像的像素进行比较，得到判别结果，即得到注意力特征图与截图图像的像素相似度。若该相似度符合超过预设的相似度阈值，则对复原图像进行上采样，得到目标物体的掩码，并输出脱敏图像。[0103] 由于前面生成器最终输出的复原图像有误差，为了鉴别这部分的误差是否能被看出，从而引入了判别器。判别器的工作原理是：将生成器生成的复原图像和原始图像作为输入，让判别器对其进行鉴别，判断其是否是同一个图像，若是同一图像，则该图像的复原是成功的，若不是，则不成功，需要继续复原。具体而言，先将输入的原始图像与复原图像进行区域划分，即将它们分别分割成多个图像块；然后，再将这些图像块进行分组，得到多个图像分组；再比较每个图像分组的像素，得到每一个图像分组的比较结果。例如，可将输入映射为30×30的概率矩阵X，其中Xij(0≤i，j＜30)，它代表输入图像中的一部分像素块是真实样本的概率值，最终概率矩阵X的所有概率求平均值，即为生成的去除敏感物体的图片是真实无敏感物体的图片的概率值，该概率值作为判别器的最终输出结果(即判别结果)。[0104] 在本公开实施例中，判别器设置有两个分支，一个分支是直接输入原始图像和复原图像；另一个分支则输入的是原始图像和注意力特征图，该分支通入了注意力图所标注的区域作为指导，在判别过程中仅针对所标注的区域的误差进行判别，既减少了计算量，也在一定程度上提高了识别精度。[0105] 上述所有可选技术方案，可以采用任意结合形成本申请的可选实施例，在此不再一一赘述。[0106] 下述为本公开装置实施例，可以用于执行本公开方法实施例。对于本公开装置实施例中未披露的细节，请参照本公开方法实施例。[0107] 图5是本公开实施例提供的一种图像脱敏装置的示意图。如图5所示，该图像脱敏装置包括：[0108] 图像获取模块501，被配置为获取原始图像，对原始图像进行特征提取，得到全局特征图；[0109] 特征捕获模块502，被配置为基于预设的米字型多头自注意力机制，捕获全局特征图的细节特征信息，生成目标物体的注意力特征图，其中，米字型多头自注意力机制包括横向注意力分支、竖向注意力分支、第一对角线注意力分支和第二对角线注意力分支；[0110] 图像脱敏模块503，被配置为将原始图像和注意力特征图输入对抗生成网络，获得脱敏图像。[0111] 本公开实施例提供的技术方案，通过图像获取模块501获取原始图像，对原始图像进行特征提取，得到全局特征图；特征捕获模块502基于预设的米字型多头自注意力机制，捕获全局特征图的细节特征信息，生成目标物体的注意力特征图，其中，米字型多头自注意力机制包括横向注意力分支、竖向注意力分支、第一对角线注意力分支和第二对角线注意力分支；图像脱敏模块503将原始图像和注意力特征图输入对抗生成网络，获得脱敏图像，不仅能够精准地捕捉到图像中的敏感物，且计算效率较高，同时，对敏感物的识别精确度较高，且图像的脱敏效果好。[0112] 在一些实施例中，图像脱敏模块503包括：[0113] 图像生成单元，被配置为将原始图像和注意力特征图输入生成器，得到复原图像；[0114] 图像判别单元，被配置为将原始图像和复原图像，或者原始图像和注意力特征图输入判别器，输出判别结果；[0115] 图像输出单元，被配置为当判别结果符合预设的输出条件时，对复原图像进行上采样，获得脱敏图像。[0116] 在一些实施例中，上述特征捕获模块502包括：[0117] 第一捕获单元，被配置为对全局特征图进行一次细节特征捕获，得到第一注意力特征图；[0118] 第二捕获单元，被配置为对第一注意力特征图进行二次细节特征捕获，得到第二注意力特征图；[0119] 第三捕获单元，被配置为对第二注意力特征图进行三次细节特征捕获，得到第三注意力特征图；[0120] 第四捕获单元，被配置为对第三注意力特征图进行四次细节特征捕获，得到目标物体的注意力特征图。[0121] 在一些实施例中，上述第一捕获单元，可被具体配置为：[0122] 将全局特征图输入横向注意力分支，计算得到横向自注意力；[0123] 将全局特征图输入竖向注意力分支，计算得到竖向自注意力；[0124] 将全局特征图输入第一对角线注意力分支，计算得到第一对角线自注意力；[0125] 将全局特征图输入第二对角线注意力分支，计算得到第二对角线自注意力；[0126] 将横向自注意力、竖向自注意力、第一对角线自注意力和第二对角线自注意力进行拼接，得到第一注意力特征图。[0127] 在一些实施例中，将全局特征图输入横向注意力分支，计算得到横向自注意力，包括：[0128] 将全局特征图的线性特征投影到米字型多头自注意力机制的K个头，得到投影矩阵，其中，K为不等于0的偶数；[0129] 将全局特征图划分成不重叠的多个等宽横向区域，其中，每个等宽横向区域携带有宽度标签；[0130] 根据投影矩阵和多个等宽横向区域，计算得到横向自注意力。[0131] 在一些实施例中，上述图像生成单元，可被具体配置为：[0132] 将注意力特征图进行不同尺度的卷积下采样处理，得到多个不同尺度的卷积特征图；[0133] 将多个不同尺度的卷积特征图均处理成与注意力特征图的图像大小一致的恢复特征图；[0134] 将属于同一尺度的卷积特征图和恢复特征图进行拼接后，再经反卷积处理，得到反卷积特征图；[0135] 根据反卷积特征图和原始图像，生成复原图像。[0136] 在一些实施例中，将注意力特征图进行不同尺度的卷积下采样处理，得到多个不同尺度的卷积特征图，包括：[0137] 将注意力特征图输入预设的编码模块，输出多个不同尺度的卷积特征图；[0138] 其中，编码模块包括依次连接的一个卷积层、四个编码块、四个降采样层和四个扩张卷积结构；[0139] 编码块、扩张卷积结构均为密集块结构，密集块结构包括四组结构层，每组结构层包括批量归一化单元、激活函数单元、卷积单元和防过拟合单元。[0140] 在一些实施例中，上述图像判别单元，可被具体配置为：[0141] 将原始图像分割成不重叠的多个第一图像块，将复原图像分割成不重叠的多个第二图像块，每一个第一图像块对应携带有一个唯一的第一标签，每一个第二图像块对应携带有一个唯一的第二标签；[0142] 根据第一标签和第二标签对多个第一图像块和多个第二图像块进行分组，得到多个图像分组；[0143] 对每一个图像分组中的第一图像块和第二图像块进行像素比较，得到与每一图像分组对应的比较值；[0144] 根据与每一图像分组对应的比较值，确定判别结果。[0145] 在另一些实施例中，上述图像判别单元，还可被具体配置为：[0146] 确定目标物体在原始图像中的图像区域位置；[0147] 从原始图像中截取出与图像区域位置对应的截取图像；[0148] 对注意力特征图与截取图像的像素进行比较，得到判别结果。[0149] 在一些实施例中，上述图像获取模块501包括：[0150] 卷积采样单元，被配置为对原始图像进行空洞卷积和下采样处理，得到多个不同尺度的局部特征信息；[0151] 池化单元，被配置为对多个不同尺度的局部特征信息进行全局池化或者平均池化，生成全局特征图。[0152] 应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本公开实施例的实施过程构成任何限定。[0153] 图6是本公开实施例提供的电子设备600的示意图。如图6所示，该实施例的电子设备600包括：处理器601、存储器602以及存储在该存储器602中并且可在处理器601上运行的计算机程序603。处理器601执行计算机程序603时实现上述各个方法实施例中的步骤。或者，处理器601执行计算机程序603时实现上述各装置实施例中各模块/单元的功能。[0154] 示例性地，计算机程序603可以被分割成一个或多个模块/单元，一个或多个模块/单元被存储在存储器602中，并由处理器601执行，以完成本公开。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序603在电子设备600中的执行过程。[0155] 电子设备600可以是桌上型计算机、笔记本、掌上电脑及云端服务器等电子设备。电子设备600可以包括但不仅限于处理器601和存储器602。本领域技术人员可以理解，图6仅仅是电子设备600的示例，并不构成对电子设备600的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如，电子设备还可以包括输入输出设备、网络接入设备、总线等。[0156] 处理器601可以是中央处理单元(CentralProcessingUnit，CPU)，也可以是其它通用处理器、数字信号处理器(DigitalSignalProcessor，DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit，ASIC)、现场可编程门阵列(Field‑ProgrammableGateArray，FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。[0157] 存储器602可以是电子设备600的内部存储单元，例如，电子设备600的硬盘或内存。存储器602也可以是电子设备600的外部存储设备，例如，电子设备600上配备的插接式硬盘，智能存储卡(SmartMediaCard，SMC)，安全数字(SecureDigital，SD)卡，闪存卡(FlashCard)等。进一步地，存储器602还可以既包括电子设备600的内部存储单元也包括外部存储设备。存储器602用于存储计算机程序以及电子设备所需的其它程序和数据。存储器602还可以用于暂时地存储已经输出或者将要输出的数据。[0158] 所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。[0159] 在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。[0160] 本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本公开的范围。[0161] 在本公开所提供的实施例中，应该理解到，所揭露的装置/电子设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/电子设备实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。[0162] 作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。[0163] 另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。[0164] 集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本公开实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，计算机程序可以存储在计算机可读存储介质中，该计算机程序在被处理器执行时，可以实现上述各个方法实施例的步骤。计算机程序可以包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(Read‑OnlyMemory，ROM)、随机存取存储器(RandomAccessMemory，RAM)、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如，在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。[0165] 以上实施例仅用以说明本公开的技术方案，而非对其限制；尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本公开各实施例技术方案的精神和范围，均应包含在本公开的保护范围之内。

专利地区：广东

专利申请日期：2022-03-08

专利公开日期：2024-07-19

专利公告号：CN114758145B