一种基于ShuffleNetV2神经网络的掌纹、掌静脉识别方法

专利名称：一种基于ShuffleNetV2神经网络的掌纹、掌静脉识别方法

专利类型：发明专利

专利申请号：CN202411131655.2

专利申请（专利权）人：成都贝迪特信息技术有限公司
权利人地址：四川省成都市高新区高朋大道5号2栋3层304号

专利发明（设计）人：毛华鹏

专利摘要：本发明涉及生物特征识别技术领域，具体涉及一种基于ShuffleNetV2神经网络的掌纹、掌静脉识别方法。包括以下步骤：S1.在提取到的感兴趣区域图像的基础上使用滑动窗口法，获取图像的特征图，作为训练样本集；S2.根据训练样本集的特征图，进行通道分割，再引入注意力SE模块，通过Focal Loss损失函数训练ShuffleNetV2神经网络模型；S3.用户注册图像的特征图输入到训练好的神经网络模型生成特征向量，并存储为模板特征向量；S4.输入待识别图像，经神经网络模型特征提取生成待识别特征向量，与模板特征向量进行比对识别。能够在保证准确性的同时降低计算资源消耗，提供更为灵活的身份识别解决方案。

主权利要求：
1.一种基于ShuffleNetV2神经网络的掌纹、掌静脉识别方法，其特征在于，包括以下步骤：S1.在提取到的感兴趣区域图像的基础上使用滑动窗口法，获取图像的特征图，作为训练样本集；
S2.根据训练样本集的特征图，进行通道分割，再引入注意力SE模块，通过FocalLoss损失函数训练ShuffleNetV2神经网络模型；
S3.用户注册图像的特征图输入到训练好的神经网络模型生成特征向量，并存储为模板特征向量；
S4.输入待识别图像，经神经网络模型特征提取生成待识别特征向量，与模板特征向量进行比对识别；
所述的S2步骤，在SE模块之后形成了分支，该分支具有卷积结构，所述卷积结构包括3个卷积层；把经过SE模块处理后的特征图与分支提取的特征图拼接在一起，再进行通道混洗操作，最后经全局池化操作，输出特征向量。
2.根据权利要求1所述基于ShuffleNetV2神经网络的掌纹、掌静脉识别方法，其特征在于，所述滑动窗口法的滑动窗口基本尺度为70像素×70像素，滑动窗口步长为35像素。
3.根据权利要求1所述基于ShuffleNetV2神经网络的掌纹、掌静脉识别方法，其特征在于，所述的S1步骤，将训练样本集的特征图进行图像质量评估和数据清洗。
4.根据权利要求3所述基于ShuffleNetV2神经网络的掌纹、掌静脉识别方法，其特征在于，所述图像质量评估分为三个阶段，当一个阶段的评估合格之后，再进行下一阶段的评估；三个阶段依次为：人工判断清晰度、图像的信息熵判定和图像灰度值的标准差判定。
5.根据权利要求3所述基于ShuffleNetV2神经网络的掌纹、掌静脉识别方法，其特征在于，所述的数据清洗包括：S11.使用OpenCV数据库，将图像调整成统一的尺寸；
S12.计算图像的哈希值，判断图像是否重复；由哈希值判断重复的图像，人工再对其判断是否重复，去掉重复的图像；
S13.对图像质量评估得出的质量不佳的图像进行修复，使用OpenCV数据库中的inpaint函数来修复图像中损坏的部分；
S14.保存清洗过后的图像数据。
6.根据权利要求1所述基于ShuffleNetV2神经网络的掌纹、掌静脉识别方法，其特征在于，所述3个卷积层依次为1×1卷积层、3×3深度卷积层和1×1卷积层，两个所述1×1卷积层后均进行了批量归一化及激活函数h‑swish运算。
7.根据权利要求1所述基于ShuffleNetV2神经网络的掌纹、掌静脉识别方法，其特征在于，神经网络模型的构建以及训练基于PyTorch深度学习框架。
8.根据权利要求7所述基于ShuffleNetV2神经网络的掌纹、掌静脉识别方法，其特征在于，使未经过卷积的特征图和经过卷积的特征图在通道数、高度和宽度多个维度的尺寸相同，再进行特征图的拼接。
9.根据权利要求1所述基于ShuffleNetV2神经网络的掌纹、掌静脉识别方法，其特征在于，所述的S4步骤，利用余弦相似度进行待识别特征向量与模板特征向量的比对识别。 说明书 : 一种基于ShuffleNetV2神经网络的掌纹、掌静脉识别方法技术领域[0001] 本发明涉及生物特征识别技术领域，具体涉及一种基于ShuffleNetV2神经网络的掌纹、掌静脉识别方法。背景技术[0002] 生物识别技术，即基于生物和行为特征的自动身份验证，极大地便利了人们的日常生活。迄今为止，已有各种生物特征，如面部、指纹、虹膜、掌纹和掌静脉等，被研究用于识别个体。其中，掌纹和掌静脉分别提供了丰富的手掌表皮和血管结构信息。这两种生物特征都提供了一种非侵入性且有效的自动识别或验证个体的方法，并取得了令人满意的性能。然而，单一模态(仅基于掌纹或掌静脉特征识别)存在局限性，掌纹的防伪性不是特别好，容易被非法获取和伪造，同时也很难进行活体验证。受环境、噪声和欺骗攻击等不利因素的影响，单一生物特征识别技术的安全性有待加强，识别精度还有待提高。[0003] 发明专利CN115188084A公开了一种掌纹掌静脉的多模态身份识别系统和方法，提取手部特征，采用ResNet作为主体结构，引入SE模块，构建出SE‑ResNet网络结构，将预处理的图片输入至SE‑ResNet网络结构，通过加入一个全局池化层来生成特征分布，并以此完成信息编码的提取；为了获得各通道之间的相关性，结合了ReLU激活函数和sigmoid门控制机制来完成特征的重标定。由于掌纹和掌静脉识别算法，往往搭载于移动端和嵌入式设备，具有轻量级特性，而ResNet具有较大的模型尺寸和计算需求，这可能会导致部署问题，造成掌纹和掌静脉识别场景下使用的受限。发明内容[0004] 针对上述技术问题，本发明提供了一种基于ShuffleNetV2神经网络的掌纹掌静脉识别方法。ShuffleNetV2作为轻量级模型，适用于掌纹掌静脉识别的手机或物联网设备等资源有限的环境。[0005] 一种基于ShuffleNetV2神经网络的掌纹、掌静脉识别方法，包括以下步骤：[0006] S1.在提取到的感兴趣区域图像的基础上使用滑动窗口法，获取图像的特征图，作为训练样本集；[0007] S2.根据训练样本集的特征图，进行通道分割，再引入注意力SE模块，通过FocalLoss损失函数训练ShuffleNetV2神经网络模型；[0008] S3.用户注册图像的特征图输入到训练好的神经网络模型生成特征向量，并存储为模板特征向量；[0009] S4.输入待识别图像，经神经网络模型特征提取生成待识别特征向量，与模板特征向量进行比对识别。[0010] 本发明所述滑动窗口法的滑动窗口基本尺度为70像素×70像素，滑动窗口步长为35像素。[0011] 本发明所述的S1步骤，将训练样本集的特征图进行图像质量评估和数据清洗。[0012] 优选地，所述图像质量评估分为三个阶段，当一个阶段的评估合格之后，再进行下一阶段的评估；三个阶段依次为：人工判断清晰度、图像的信息熵判定、图像灰度值的标准差判定。[0013] 优选地，所述的数据清洗包括：[0014] S11.使用OpenCV数据库，将图像调整成统一的尺寸；[0015] S12.计算图像的哈希值，判断图像是否重复；由哈希值判断重复的图像，人工再对其判断是否重复，去掉重复的图像；[0016] S13.对图像质量评估得出的质量不佳的图像进行修复，使用OpenCV数据库中的inpaint函数来修复图像中损坏的部分；[0017] S14.保存清洗过后的图像数据。[0018] 本发明所述的S2步骤，在SE模块之后形成了分支，该分支具有卷积结构，所述卷积结构包括3个卷积层；把经过SE模块处理后的特征图与分支提取的特征图拼接在一起，再进行通道混洗操作，最后经全局池化操作，输出特征向量。[0019] 本发明在分支后合并特征，模型可以灵活地根据任务需求调整特征的组合方式。分支结构设计可进行多任务学习，并行分支允许模型同时处理特征提取和注意力机制，提高模型的泛化能力和准确性；由于分支是独立的，可以根据需要调整每个分支的参数数量和复杂度，以适应不同规模的数据集和任务需求，具备灵活性。[0020] 本发明将经过SE模块处理后的特征图与卷积后的特征图进行拼接，整合不同阶段的特征信息。在ShuffleNetV2中，特征图拼接的主要目的在于融合不同层级或不同来源的特征信息，以增强网络对输入数据的表示能力。通过拼接不同尺度和抽象层次的特征图，网络能够捕获到更丰富的上下文信息，进而提升其在图像分类、目标检测等任务中的性能。通过拼接不同层级的特征图，ShuffleNetV2能够融合不同尺度和抽象层次的信息，实现信息的互补和增强，有助于网络更好地捕捉图像中的细节和上下文信息，提高识别精度。ShuffleNetV2中的特征图拼接操作具有高度的灵活性，可以根据具体任务和数据集的特点调整拼接的层级和方式，使得ShuffleNetV2能够适用于不同的应用场景，具有广泛的适用性。[0021] 本发明采用通道混洗操作解决分组卷积的副作用：在ShuffleNetV2中，为了降低计算复杂度，引入了分支卷积。然而，分支卷积可能导致通道间信息流通不畅，影响模型性能。通道混洗操作旨在解决这一问题，通过混洗操作改善跨特征通道的信息流动。通道混洗操作能够在不增加额外计算成本的情况下，提高特征的表达能力，从而在一定程度上提升模型的性能。[0022] 本发明采用全局池化，使网络能够从特征图中提取最显著的特征，将这些特征压缩成一个更紧凑的表示形式。全局池化可以替代传统的池化层和全连接层，简化网络结构，使得模型更加简洁。[0023] 优选地，所述3个卷积层依次为1×1卷积层、3×3深度卷积层和1×1卷积层，两个所述1×1卷积层后均进行了批量归一化及激活函数h‑swish运算。[0024] 批量归一化减少了训练过程中的内部协变量偏移问题，从而加快神经网络的训练速度；还减少了梯度问题，可以使用更高的学习率。激活函数h‑swish运算引入非线性，使得网络能够学习和模拟复杂的函数映射。此外，它能缓解梯度消失问题；激活函数h‑swish具有自适应性，允许网络在训练过程中根据输入值自动调整激活程度，这有助于网络更好地适应不同的数据分布和特征。[0025] 优选地，神经网络模型的构建以及训练基于PyTorch深度学习框架。[0026] 进一步优选地，使未经过卷积的特征图和经过卷积的特征图在通道数、高度和宽度多个维度的尺寸相同，再进行特征图的拼接。[0027] 本发明所述的S4步骤，利用余弦相似度进行待识别特征向量与模板特征向量的比对识别。[0028] 本发明的有益效果在于：[0029] 1、本发明将ShuffleNetV2神经网络模型应用于掌纹、掌静脉识别，ShuffleNetV2作为一个轻量级的网络架构，能够在保证准确性的同时降低计算资源消耗，可以更容易地部署在资源受限的设备上，如智能手机或嵌入式系统，提供更为灵活的身份识别解决方案。[0030] 2、本发明的识别方法具有高效的特征提取能力。滑动窗口法能够精准地捕获感兴趣区域（ROI）的图像特征，有效减少了计算量，同时保证了关键信息的完整性。通过通道分割和注意力机制的引入（即SE模块），本神经网络能够自适应地调整不同通道的重要性，从而增强了对关键特征的关注度，能够更好地捕捉手掌图像中的关键特征，进一步提升了识别准确性。[0031] 3、本发明模型结构中含分支卷积，分支结构允许模型同时处理特征提取和注意力机制，提高模型的泛化能力和准确性，但这可能导致通道间信息流通不畅，影响模型性能。增加通道混洗操作旨在解决这一问题，改善跨特征通道的信息流动，能够在不增加额外计算成本的情况下，提高特征的表达能力，从而提升模型的性能。[0032] 4、ShuffleNetV2神经网络本身就是一个轻量级的网络结构，采用h‑swish激活函数替代ReLU激活函数，在具有激活函数的性能的基础上，可以进一步提高计算的效率，使得本神经网络能够在资源受限的环境下（如移动设备或嵌入式系统）运行。附图说明[0033] 图1为本发明的ShuffleNetV2模型的网络结构图。具体实施方式[0034] 为了更加清楚、详细地说明本发明的目的技术方案，下面通过相关实施例对本发明进行进一步描述。以下实施例仅为具体说明本发明的实施方法，并不限定本发明的保护范围。[0035] 实施例1[0036] 一种基于ShuffleNetV2神经网络的掌纹、掌静脉识别方法，包括以下步骤：[0037] S1.在提取到的感兴趣区域图像的基础上使用滑动窗口法，获取图像的特征图，作为训练样本集；[0038] S2.根据训练样本集的特征图，进行通道分割，再引入注意力SE模块，通过FocalLoss损失函数训练ShuffleNetV2神经网络模型；[0039] S3.用户注册图像的特征图输入到训练好的神经网络模型生成特征向量，并存储为模板特征向量；[0040] S4.输入待识别图像，经神经网络模型特征提取生成待识别特征向量，与模板特征向量进行比对识别。[0041] 实施例2[0042] 本实施例在实施例1的基础上：[0043] 所述滑动窗口法的滑动窗口基本尺度为70像素×70像素，滑动窗口步长为35像素。[0044] 所述的S1步骤，将训练样本集的特征图进行图像质量评估和数据清洗。[0045] 所述图像质量评估分为三个阶段，当一个阶段的评估合格之后，再进行下一阶段的评估；三个阶段依次为：人工判断清晰度、图像的信息熵判定、图像灰度值的标准差判定。[0046] 第一阶段：人工判断清晰度，当人眼能够明显看出掌纹图像和掌静脉图像是模糊的，说明清晰度不合格；如果清晰度合格，则进行下一步的质量评估。[0047] 第二阶段：计算图像的信息熵，对于掌纹和掌静脉图像而言，高信息熵意味着图像包含了丰富的结构细节，这对于特征提取是有利的。这里取信息熵的值大于6.5比特，则认为图像的清晰度合格。[0048] 计算灰度直方图：首先，需要获取图像的灰度直方图，该直方图展示了图像中每个灰度级出现的频率或概率。设pi表示灰度级i出现的概率，且所有pi的和为1。[0049] 计算信息熵：用H表示信息熵，则信息熵的计算公式为[0050][0051] N是灰度级的数量（例如，在8位灰度图像中，N=256）。b通常为2。[0052] 当某个灰度级i出现的概率为0时，规定 的值为0，以避免未定义的情况。[0053] 第三阶段：计算图像灰度值的标准差。灰度值的标准差越大，表示图像的灰度值分布越分散，即图像的对比度越高。[0054] 这里取掌纹图像的标准差值大于50，掌静脉图像的标准差值大于60，则认为图像的对比度合格。[0055] 所述的数据清洗包括：[0056] S11.使用OpenCV数据库的cv2.resize()函数，将图像调整成统一的尺寸；[0057] S12.计算图像的哈希值，判断图像是否重复；由哈希值判断重复的图像，人工再对其判断是否重复，去掉重复的图像；计算哈希值之间的汉明距离。[0058] 这里取两个图像哈希值的汉明距离小于5时，则判断这两个图像重复。[0059] S13.对图像质量评估得出的质量不佳的图像进行修复，使用OpenCV数据库中的inpaint函数来修复图像中损坏的部分；[0060] S14.保存清洗过后的图像数据。[0061] 实施例3[0062] 本实施例在实施例1的基础上：[0063] 所述的S2步骤，神经网络模型的构建以及训练基于PyTorch深度学习框架。[0064] 根据训练样本集的特征图，进行通道分割，再引入注意力SE模块。在SE模块之后形成了分支，该分支具有卷积结构，所述卷积结构包括3个卷积层；把经过SE模块处理后的特征图与分支提取的特征图拼接在一起，再进行通道混洗操作，最后经全局池化操作，输出特征向量。[0065] 所述3个卷积层依次为1×1卷积层、3×3深度卷积层和1×1卷积层，两个所述1×1卷积层后均进行了批量归一化及激活函数h‑swish运算。[0066] 深度卷积中，将步长设为1，并进行适当的填充，从而其他的维度上的数值保持不变，与未经卷积的特征图一致。[0067] 填充指的是在输入特征图的边界周围添加一层或多层零值像素。[0068] 实施例4[0069] 本实施例在实施例3的基础上：[0070] 使未经过卷积的特征图和经过卷积的特征图在通道数、高度和宽度多个维度的尺寸相同，再进行特征图的拼接。[0071] 具体步骤：[0072] （1）确定拼接的输入[0073] 拼接的输入包括未经过卷积的特征图（记为Feature_A）和经过卷积的特征图（记为Feature_B）。[0074] （2）通道维度对齐[0075] 通道数：1024[0076] 维度匹配：在进行拼接之前，确保所有要拼接的特征图Feature_A和Feature_B在通道、高度和宽度多个维度上保持一致。调用PyTorch中的函数，包括调整大小、裁剪、填充等操作，以使在非通道维度上尺寸一致。[0077] （3）拼接[0078] 拼接轴：沿着维度1这个拼接轴进行拼接。在PyTorch中，调用torch.cat()时，指定dim=1。[0079] 实施例5[0080] 本实施例在实施例1的基础上：[0081] 所述的S4步骤，利用余弦相似度进行待识别特征向量与模板特征向量的比对识别。[0082] 以上所述实施例仅表达了本发明的具体实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

专利地区：四川

专利申请日期：2024-08-19

专利公开日期：2024-11-08

专利公告号：CN118658213B