面向数据安全和人工智能的图像识别方法发明专利

专利名称：面向数据安全和人工智能的图像识别方法

专利类型：发明专利

专利申请号：CN202410489218.1

专利申请（专利权）人：重庆大学
权利人地址：重庆市沙坪坝区沙正街174号

专利发明（设计）人：黄海,魏坤西,周勋陶

专利摘要：本发明公开了一种面向数据安全和人工智能的图像识别方法，属于图像处理技术领域。识别方法包括基于预处理模块对显示图像进行处理后，得到浅析特征图；基于多个第一特征提取模块对浅析特征图处理后，得到第一识别特征图；对第一识别特征图处理后，得到第一识别向量；基于特征提取子网处理后，得到第二识别向量；基于融合模块对第一识别向量和第二识别向量处理后，得到指示向量；对指示向量进行内容识别，得到显示图像的识别结果。本发明经池化单元将获得的信息高效地转换为关于信道配置的分支向量，持续为特征提取子网扩展图像特征输入；实现了同时对关联性信息和识别性模态信息进行建模，可以对多种形态的图像信息进行有效识别。

主权利要求：
1.面向数据安全和人工智能的图像识别方法，其特征是，包括以下步骤：S1、调取需要识别的显示图像；基于预处理模块对所述显示图像进行处理后，得到浅析特征图；
S2、基于串联设置的多个第一特征提取模块对所述浅析特征图处理后，得到第一识别特征图；
S3、基于第一维度调整模块对所述第一识别特征图处理后，得到第一识别向量；
S4、将所述浅析特征图和所有所述第一特征提取模块输出的特征图输入特征提取子网，基于所述特征提取子网处理后，得到第二识别向量；
S5、基于融合模块对所述第一识别向量和所述第二识别向量处理后，得到指示向量；
S6、对所述指示向量进行内容识别，得到所述显示图像的识别结果；
所述第一特征提取模块内部的计算过程表示为如下数学模型：
Ep1＝σ1(ρ1(Li))
Ep2＝σ2(ρ2(Li))
Ep3＝σ3(ω1(Ep2‑Ep1))
Lo＝η2(ρ3(Ep1+Ep2+Ep3+Ep4))
其中，Li为输入第一特征提取模块的特征图，Lo为第一特征提取模块输出的特征图，ρ
1、ρ2和ρ3均表示卷积计算层，ρ2的感受野大于ρ1的感受野，σ1、σ2、σ3和σ4均表示第一型激发函数，Ep1、Ep2和Ep3分别为σ1、σ2和σ3激活后生成的特征图，ω1和ω2均为可变形卷积运算层， 表示元素对应乘积运算，η1和η2均为第二型激发函数，Ep4为η1激活后输出的特征图；
所述特征提取子网包括第二维度调整模块和依次设置的多个第二特征提取模块，所述第二特征提取模块与所述第一特征提取模块一一对应设置；
第一个所述第二特征提取模块以所述浅析特征图和第一个第一特征提取模块输出的特征图作为输入，第k+1个第二特征提取模块以第k个第二特征提取模块输出的特征图和第k+1个第一特征提取模块输出的特征图作为输入，k为正整数；
所述第二维度调整模块以最后一个第二特征提取模块输出的特征图作为输入，经过计算后，所述第二维度调整模块输出得到所述第二识别向量。
2.根据权利要求1所述的方法，其特征是：所述预处理模块包括依次设置的预置卷积层和预置激励函数。
3.根据权利要求1所述的方法，其特征是：所述第二特征提取模块包括卷积单元和池化单元，所述池化单元以对应的第一特征提取模块输出的特征图作为输入，经过处理后，所述池化单元输出分支向量；所述分支向量与所述卷积单元输出的卷积特征图相乘后，得到前馈特征图；第一个所述卷积单元以所述浅析特征图作为输入，第k+1个卷积单元以第k个前馈特征图作为输入，k为正整数。
4.根据权利要求3所述的方法，其特征是：所述卷积单元包括依次设置的第一基本卷积层、第一激励层、第二基本卷积层和第二激励层；所述池化单元包括依次设置的全空间最大池化层、第三基本卷积层和第三激励层。
5.根据权利要求1所述的方法，其特征是：所述第一维度调整模块包括依次设置的第一全空间平均池化层、调整卷积层和第一调整激励函数；所述第二维度调整模块包括第二全空间平均池化层和第二调整激励函数。
6.根据权利要求1所述的方法，其特征是：所述融合模块内部计算过程包括：将所述第一识别向量与第二识别向量相加，得到第三识别向量，所述第三识别向量经过末端函数激活后，得到所述指示向量。
7.根据权利要求1所述的方法，其特征是：步骤S6中，所述对所述指示向量进行内容识别，得到所述显示图像的识别结果，包括：计算所述指示向量与检索库中所有预存向量之间的距离，与所述指示向量距离最近的预存向量所对应的类别，即为所述显示图像的识别结果。 说明书 : 面向数据安全和人工智能的图像识别方法技术领域[0001] 本发明属于图像处理技术领域，具体地说，涉及一种面向数据安全和人工智能的图像识别方法。背景技术[0002] 数字经济是全球第四次工业革命，是以数字化的知识和信息作为关键生产要素,以数字技术为核心驱动力的新型经济形态。人工智能技术作为数字经济中的一项重要支撑，正逐渐渗透到各个领域的经济活动中。在当前的发展形势下，数据安全是信息安全的核心，数据安全关系着国家安全、公司发展和个人隐私。将加密技术和量子计算与人工智能、物联网和云计算等技术结合，是加强数据安全、保障经济稳定健康发展的有效措施，有必要深入研究。发明内容[0003] 针对上述现象，本发明提供一种面向数据安全和人工智能的图像识别方法，以更好地将加密技术与人工智能结合，提高应用过程中的数据安全性。[0004] 为了达到上述目的，本发明采用的解决方案是：面向数据安全和人工智能的图像识别方法，包括以下步骤：[0005] S1、调取需要识别的显示图像；基于预处理模块对所述显示图像进行处理后，得到浅析特征图；[0006] S2、基于串联设置的多个第一特征提取模块对所述浅析特征图处理后，得到第一识别特征图；[0007] S3、基于第一维度调整模块对所述第一识别特征图处理后，得到第一识别向量；[0008] S4、将所述浅析特征图和所有所述第一特征提取模块输出的特征图输入特征提取子网，基于所述特征提取子网处理后，得到第二识别向量；[0009] S5、基于融合模块对所述第一识别向量和所述第二识别向量处理后，得到指示向量；[0010] S6、对所述指示向量进行内容识别，得到所述显示图像的识别结果。[0011] 进一步地，所述预处理模块包括依次设置的预置卷积层和预置激励函数。[0012] 进一步地，所述特征提取子网包括第二维度调整模块和依次设置的多个第二特征提取模块，所述第二特征提取模块与所述第一特征提取模块一一对应设置；第一个所述第二特征提取模块以所述浅析特征图和第一个第一特征提取模块输出的特征图作为输入，第k+1个第二特征提取模块以第k个第二特征提取模块输出的特征图和第k+1个第一特征提取模块输出的特征图作为输入，k为正整数；所述第二维度调整模块以最后一个第二特征提取模块输出的特征图作为输入，经过计算后，所述第二维度调整模块输出得到所述第二识别向量。[0013] 进一步地，所述第二特征提取模块包括卷积单元和池化单元，所述池化单元以对应的第一特征提取模块输出的特征图作为输入，经过处理后，所述池化单元输出分支向量；所述分支向量与所述卷积单元输出的卷积特征图相乘后，得到前馈特征图；第一个所述卷积单元以所述浅析特征图作为输入，第k+1个卷积单元以第k个前馈特征图作为输入，k为正整数。[0014] 进一步地，所述卷积单元包括依次设置的第一基本卷积层、第一激励层、第二基本卷积层和第二激励层；所述池化单元包括依次设置的全空间最大池化层、第三基本卷积层和第三激励层。[0015] 进一步地，所述第一特征提取模块内部的计算过程表示为如下数学模型：[0016] Ep1＝σ1(ρ1(Li))[0017] Ep2＝σ2(ρ2(Li))[0018] Ep3＝σ3(ω1(Ep2‑Ep1))[0019][0020] Lo＝η2(ρ3(Ep1+Ep2+Ep3+Ep4))[0021] 其中，Li为输入第一特征提取模块的特征图，Lo为第一特征提取模块输出的特征图，ρ1、ρ2和ρ3均表示卷积计算层，ρ2的感受野大于ρ1的感受野，σ1、σ2、σ3和σ4均表示第一型激发函数，Ep1、Ep2和Ep3分别为σ1、σ2和σ3激活后生成的特征图，ω1和ω2均为可变形卷积运算层， 表示元素对应乘积运算，η1和η2均为第二型激发函数，Ep4为η1激活后输出的特征图。[0022] 进一步地，所述第一维度调整模块包括依次设置的第一全空间平均池化层、调整卷积层和第一调整激励函数；所述第二维度调整模块包括第二全空间平均池化层和第二调整激励函数。[0023] 进一步地，所述融合模块内部计算过程包括：将所述第一识别向量与第二识别向量相加，得到第三识别向量，所述第三识别向量经过末端函数激活后，得到所述指示向量。[0024] 进一步地，步骤S6中，所述对所述指示向量进行内容识别，得到所述显示图像的识别结果，包括：计算所述指示向量与检索库中所有预存向量之间的距离，与所述指示向量距离最近的预存向量所对应的类别，即为所述显示图像的识别结果。[0025] 本发明的有益效果是：[0026] (1)本发明在模型中设计了链桥式特征提取结构，通过多个第一特征提取模块搜索不同位置特征之间的匹配度，并从中挖掘它们之间的关联性和不同维度下的图像信息，一方面经池化单元将获得的信息高效地转换为关于信道配置的分支向量，持续为特征提取子网扩展图像特征输入；另一方面，经过特征提取后，在网络的尾部生成第一识别向量和第二识别向量，实现了同时对关联性信息和识别性模态信息进行建模，第一识别向量与第二识别向量融合后，可以对多种形态的图像信息进行有效识别。[0027] (2)现有的算法中，基本都是在网络的尾部生成单一的向量，不仅对多样化场景适应性差，而且不便于进行复杂的加密，本发明在应用部署时，可以同时对第一识别向量、第二识别向量和融合模块内部算法进行加密，极大地提升了数据安全性。[0028] (3)在第一特征提取模块中，通过多分支卷积、可变形卷积配合巧妙的结构设计，使其可以灵活地调整各个尺度下图像信息的嵌入空间，这样可以让模型能够更加灵活地选择性学习最佳的信息域，有助于更准确地定位和识别目标对象，同时能够更好地适应不同环境下采集得到的图像，具有明显的精度增益效果。附图说明[0029] 图1为本发明步骤S1‑步骤S5计算过程的可视化示意图；[0030] 图2为本发明的特征提取子网内部计算过程的可视化示意图；[0031] 附图中：[0032] 1‑预处理模块，2‑第一特征提取模块，3‑第一维度调整模块，4‑特征提取子网，41‑第二特征提取模块，42‑第二维度调整模块，43‑池化单元，44‑卷积单元，5‑融合模块。具体实施方式[0033] 以下结合附图对本发明作进一步描述：[0034] 实施例：[0035] 本实施例提供了一种面向数据安全和人工智能的图像识别方法，请参考图1所示，具体包括以下步骤：[0036] S1、调取需要识别的显示图像；基于预处理模块1对显示图像进行处理后，得到浅析特征图。其中，预处理模块1包括依次设置的预置卷积层(卷积核尺寸/感受野为3*3，步长为1)和预置激励函数(ReLU)。浅析特征图除了通道数量大于显示图像外，高度和宽度均与显示图像一致，本实施例中浅析特征图通道数量为48。[0037] S2、基于串联设置的五个第一特征提取模块2对浅析特征图处理后，得到第一识别特征图；其中，第一个第一特征提取模块2以浅析特征图作为输入，输入后面各个第一特征提取模块2的特征图尺寸均与浅析特征图尺寸一致，每个第一特征提取模块2输出的特征图尺寸也与浅析特征图尺寸一致，第一识别特征图为最后一个第一特征提取模块2输出的特征图。[0038] 在本实施例中，第一特征提取模块2内部的计算过程表示为如下数学模型：[0039] Ep1＝σ1(ρ1(Li))[0040] Ep2＝σ2(ρ2(Li))[0041] Ep3＝σ3(ω1(Ep2‑Ep1))[0042][0043] Lo＝η2(ρ3(Ep1+Ep2+Ep3+Ep4))[0044] 其中，Li为输入第一特征提取模块2的特征图，Lo为第一特征提取模块2输出的特征图，上一个第一特征提取模块2输出的Lo特征图作为下一个第一特征提取模块2输入的Li特征图，输入特征提取子网4的特征图也就是浅析特征图和每个第一特征提取模块2输出端输出的Lo特征图，上述的第一识别特征图也就是最后一个第一特征提取模块2输出的Lo特征图。ρ1、ρ2和ρ3均表示卷积计算层，其步长均为1，ρ2的感受野尺寸为5*5，ρ1的感受野尺寸为3*3，ρ3的感受野尺寸为3*3，σ1、σ2、σ3和σ4均表示第一型激发函数，本实施例中第一型激发函数为ReLU。Ep1、Ep2和Ep3分别为σ1、σ2和σ3激活后生成的特征图，ω1和ω2均为现有的可变形卷积运算层，其卷积核尺寸均可以为3*3， 表示元素对应乘积运算，η1和η2均为第二型激发函数，本实施例中第二型激发函数为tanh，Ep4为η1激活后输出的特征图。[0045] S3、基于第一维度调整模块3对第一识别特征图处理后，得到第一识别向量。[0046] 具体地，第一维度调整模块3包括依次设置的第一全空间平均池化层、调整卷积层和第一调整激励函数。第一全空间平均池化层用于计算第一识别特征图各个通道中所有特征值的平均值，第一全空间平均池化层输出得到一个向量，该向量的长度与第一识别特征图通道数相等。调整卷积层的感受野为1*1，第一调整激励函数为sigmoid，第一识别向量为第一调整激励函数激活后输出的向量。[0047] S4、将浅析特征图和所有第一特征提取模块2输出的特征图输入特征提取子网4，基于特征提取子网4处理后，得到第二识别向量。[0048] 具体地，如图2所示，特征提取子网4包括第二维度调整模块42和依次设置的五个第二特征提取模块41，第二特征提取模块41与第一特征提取模块2一一对应设置。第一个第二特征提取模块41以浅析特征图和第一个第一特征提取模块2输出的特征图作为输入，第k+1个第二特征提取模块41以第k个第二特征提取模块41输出的特征图和第k+1个第一特征提取模块2输出的特征图作为输入，k为正整数。第二维度调整模块42以最后一个第二特征提取模块输出的特征图作为输入，经过计算后，第二维度调整模块42输出得到第二识别向量。[0049] 其中，第二特征提取模块41包括卷积单元44和池化单元43，池化单元43以对应的第一特征提取模块2输出的特征图作为输入，经过处理后，池化单元43输出分支向量；分支向量与(同一个第二特征提取模块中的)卷积单元44输出的卷积特征图相乘(元素对应乘积)后，得到前馈特征图，该前馈特征图作为第二特征提取模块41输出的特征图。第一个卷积单元以浅析特征图作为输入，第k+1个卷积单元以(第k个第二特征提取模块中生成的)第k个前馈特征图作为输入，k为正整数。[0050] 进一步地，卷积单元44包括依次设置的第一基本卷积层(卷积核尺寸3*3，步长为1)、第一激励层(激活函数ReLU)、第二基本卷积层(卷积核尺寸3*3，步长为2的跨步卷积层)和第二激励层(激活函数ReLU)。经过第一基本卷积层计算后，特征图高度和宽度保持不变，通道数量增大一倍。经过第二基本卷积层计算后，通道数量不变，特征图高度和宽度尺寸减小一半。[0051] 池化单元43包括依次设置的全空间最大池化层、第三基本卷积层(感受野尺寸1*1)和第三激励层(激活函数sigmoid)。全空间最大均池化层用于计算特征图各个通道中所有特征值的最大值，经过第三激励层计算后，输出的分支向量长度与对应的卷积单元输出的卷积特征图通道数量相等，通过分支向量为卷积特征图各个通道分配不同大小的权重。[0052] 第二维度调整模块42包括第二全空间平均池化层和第二调整激励函数(采用sigmoid实现)，第二识别向量为第二调整激励函数激活后输出的向量，第二识别向量的长度可以与第一识别向量的长度相等。[0053] S5、基于融合模块5对第一识别向量和第二识别向量处理后，得到指示向量。[0054] 在本实施例中，融合模块5内部计算过程包括：将第一识别向量与第二识别向量相加，得到第三识别向量，第三识别向量经过末端函数(采用logistics函数实现)激活后，得到指示向量。[0055] S6、对指示向量进行内容识别，得到显示图像的识别结果。具体地，该识别过程包括：计算指示向量与检索库中所有预存向量之间的距离，与指示向量距离最近的预存向量所对应的类别，即为显示图像的识别结果。[0056] 本发明中，可以将预处理模块1、多个第一特征提取模块2、第一维度调整模块3、特征提取子网4和融合模块5一起构成一个完整的卷积神经网络，可以采用现有的常规模型训练方法对模型进行训练。检索库中的预存向量是由训练好的模型对带标签信息的样本图像进行特征提取后得到。在一些实施场景中，对第一识别向量、第二识别向量和融合模块内部算法采用空域图像加密技术进行存储，其空域图像加密技术可以采用离散混沌加密技术，并通过使用融合量子技术和网络基础设施的商用密码资源池，增强其密钥安全性和合规性。测试结果表明，本发明提出的识别方法的图像识别正确率明显高于现有的先进算法(如MobileNetV3)，取得了实质性的进步。[0057] 以上所述实施例仅表达了本发明的具体实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

专利地区：重庆

专利申请日期：2024-04-23

专利公开日期：2024-11-29

专利公告号：CN118365998B