专利名称:基于双向深度瓶颈模块的植物叶片病害识别方法及系统
专利类型:发明专利
专利申请号:CN202410940172.0
专利申请(专利权)人:江西农业大学
权利人地址:江西省南昌市经济技术开发区志敏大道1101号
专利发明(设计)人:华晶,邹粉东
专利摘要:本发明公开了基于双向深度瓶颈模块的植物叶片病害识别方法及系统,该方法将植物叶片图像输入浅层特征提取模块进行浅层特征提取,将浅层特征输入深层特征提取模块进行深层特征提取;所述浅层特征提取模块由依次连接的第一降采样模块、第一双向深度瓶颈模块、第二降采样模块、第二双向深度瓶颈模块和第三降采样模块组成;所述深层特征提取模块由依次连接的第三双向深度瓶颈模块、第一多路并行卷积编码器、第四降采样模块、第四双向深度瓶颈模块和第二多路并行卷积编码器组成。本发明通过双向深度瓶颈模块充分提取浅层和深层植物叶片病害的部分空间特征信息,通过多路并行卷积编码器充分提取到植物叶片图像全局的病害信息。
主权利要求:
1.基于双向深度瓶颈模块的植物叶片病害识别方法,其特征在于,将植物叶片图像输入浅层特征提取模块进行浅层特征提取,得到浅层特征;将浅层特征输入深层特征提取模块进行深层特征提取,得到深层特征;将深层特征输入全连接层;最后由全连接层处理得到分类结果;
所述浅层特征提取模块由依次连接的第一降采样模块、第一双向深度瓶颈模块、第二降采样模块、第二双向深度瓶颈模块和第三降采样模块组成;
所述深层特征提取模块由依次连接的第三双向深度瓶颈模块、第一多路并行卷积编码器、第四降采样模块、第四双向深度瓶颈模块和第二多路并行卷积编码器组成;
第一多路并行卷积编码器和第二多路并行卷积编码器结构相同,第一多路并行卷积编码器由卷积模块和编码器模块组成,输入第一多路并行卷积编码器的特征分别经过卷积模块和编码器模块处理,将卷积模块和编码器模块输出的特征进行融合,得到第一多路并行卷积编码器的输出;
第一双向深度瓶颈模块、第二双向深度瓶颈模块和第三双向深度瓶颈模块结构相同,所述第一双向深度瓶颈模块由瓶颈残差模块和反向瓶颈残差模块组成,输入第一双向深度瓶颈模块的特征分别经过瓶颈残差模块和反向瓶颈残差模块处理,将瓶颈残差模块和反向瓶颈残差模块输出的特征进行融合,融合后的特征依次经过第五卷积层、批归一化层和激活函数处理,得到第一双向深度瓶颈模块的输出;
所述瓶颈残差模块的主支路包括依次连接的第一DW卷积层、第二卷积层、第二DW卷积层、批归一化层、激活函数和SE模块,瓶颈残差模块的主支路输出的特征与瓶颈残差模块的主支路的输入通过残差连接进行叠加;反向瓶颈残差模块的主支路包括依次连接的第三卷积层、第三DW卷积层、第四卷积层、批归一化层、激活函数和SE模块;反向瓶颈残差模块的主支路输出的特征与反向瓶颈残差模块的输入通过残差连接进行叠加。
2.根据权利要求1所述的基于双向深度瓶颈模块的植物叶片病害识别方法,其特征在于,所述卷积模块包括四条支路,第一条支路为第二条支路的残差连接,第四条支路为第三条支路的残差连接;第二条支路和第三条支路结构相同,第二条支路依次由第六卷积层、第七卷积层、第八卷积层、批归一化层和激活函数连接而成,第一条支路和第二条支路输出的特征叠加得到第一融合特征,第三条支路和第四条支路输出的特征叠加得到第二融合特征;将第一融合特征和第二融合特征相乘得到第三融合特征,然后第三融合特征依次经过第九卷积层、批归一化层和激活函数处理,得到卷积模块的输出。
3.根据权利要求2所述的基于双向深度瓶颈模块的植物叶片病害识别方法,其特征在于,所述编码器模块由依次连接的第一前馈模块、多头注意力模块和第二前馈模块组成,第一前馈模块、多头注意力模块和第二前馈模块分别设有残差连接。
4.根据权利要求3所述的基于双向深度瓶颈模块的植物叶片病害识别方法,其特征在于,所述第一前馈模块由依次连接的第一线性层、第一随机失活层、第二线性层和第二随机失活层组成,第一线性层和第二线性层后分别设置激活函数。
5.根据权利要求3所述的基于双向深度瓶颈模块的植物叶片病害识别方法,其特征在于,多头注意力模块的处理过程如下:
输入多头注意力模块的特征经层归一化得到二维矩阵,二维矩阵将被并行地投影到查询、键和值的向量空间,再通过多头注意力机制计算查询和键的注意力分数矩阵,然后将位置偏置矩阵加到查询和键的注意力分数矩阵中,再对查询和键的注意力分数矩阵的最后一个注意力权重所在的维度计算软最大值函数,继续使用注意力权重,对值矩阵中的向量空间进行加权求和,得到注意力加权的值向量;将所有注意力加权的值向量在最后一个维度上进行拼接,形成输出张量;将拼接后的输出张量通过第三线性层进行处理。
6.根据权利要求1所述的基于双向深度瓶颈模块的植物叶片病害识别方法,其特征在于,所述第一降采样模块由两组降采样模块组成,每组降采样模块由依次连接的第一卷积层、批归一化层和激活函数组成。
7.基于双向深度瓶颈模块的植物叶片病害识别系统,其特征在于,包括图像采集装置和植物叶片病害识别装置,所述植物叶片病害识别装置内设植物叶片病害识别模型,所述植物叶片病害识别模型执行权利要求1‑6任意一项所述的基于双向深度瓶颈模块的植物叶片病害识别方法。
8.一种非易失性计算机存储介质,计算机存储介质存储有计算机可执行指令,其特征在于,该计算机执行指令执行权利要求1‑6任意一项所述的基于双向深度瓶颈模块的植物叶片病害识别方法。 说明书 : 基于双向深度瓶颈模块的植物叶片病害识别方法及系统技术领域[0001] 本发明属于植物病虫害图像识别技术领域,具体涉及基于双向深度瓶颈模块的植物叶片病害识别方法及系统。背景技术[0002] 植物叶片病害识别是计算机视觉与智慧农业的重要研究方向,广泛应用于农作物病虫害监测、精准农业与农业科研;实际中,可应用于种植园的植物叶片病害监测与防治工作。植物叶片病害识别面临多重挑战;首先,植物病害特征微小且密集,病斑识别难度高,不同病害的相似性加大了识别难度;其次,现有深度学习模型多采用简单堆叠的卷积模块,特征提取能力不足,难以满足精确识别植物病害的需求。[0003] 现在用于植物叶片病害识别通常有两种主要方法:一是构建基础识别模型,二是迁移其他领域模型至植物叶片病害识别;第一种方法仅通过搭建简易识别模型来识别植物叶片病害,但效果受限,难以提取完整病灶信息,导致效率和精度不高;第二种方法虽尝试迁移其他领域的识别模型,但因对象、方法和系统存在较大差异,应用受限;同时,由于使用其他领域数据集训练,应用于植物叶片病害识别时,也面临识别精度和效率低的问题。发明内容[0004] 针对现有技术的不足,本发明提供了基于双向深度瓶颈模块的植物叶片病害识别方法及系统,用于解决了现有深度学习模型特征提取能力不足,难以满足精确识别植物病害的需求的问题。[0005] 为实现上述目的,本发明提供如下技术方案:基于双向深度瓶颈模块的植物叶片病害识别方法,将植物叶片图像输入浅层特征提取模块进行浅层特征提取,得到浅层特征;将浅层特征输入深层特征提取模块进行深层特征提取,得到深层特征;将深层特征输入全连接层;最后由全连接层处理得到分类结果;[0006] 所述浅层特征提取模块由依次连接的第一降采样模块、第一双向深度瓶颈模块、第二降采样模块、第二双向深度瓶颈模块和第三降采样模块组成;[0007] 所述深层特征提取模块由依次连接的第三双向深度瓶颈模块、第一多路并行卷积编码器、第四降采样模块、第四双向深度瓶颈模块和第二多路并行卷积编码器组成;[0008] 第一多路并行卷积编码器和第二多路并行卷积编码器结构相同,第一多路并行卷积编码器由卷积模块和编码器模块组成,输入第一多路并行卷积编码器的特征分别经过卷积模块和编码器模块处理,将卷积模块和编码器模块输出的特征进行融合,得到第一多路并行卷积编码器的输出;[0009] 第一双向深度瓶颈模块、第二双向深度瓶颈模块和第三双向深度瓶颈模块结构相同,所述第一双向深度瓶颈模块由瓶颈残差模块和反向瓶颈残差模块组成,输入第一双向深度瓶颈模块的特征分别经过瓶颈残差模块和反向瓶颈残差模块处理,将瓶颈残差模块和反向瓶颈残差模块输出的特征进行融合,融合后的特征依次经过第五卷积层、批归一化层和激活函数处理,得到第一双向深度瓶颈模块的输出;[0010] 所述瓶颈残差模块的主支路包括依次连接的第一DW卷积层、第二卷积层、第二DW卷积层、批归一化层、激活函数和SE模块,瓶颈残差模块的主支路输出的特征与瓶颈残差模块的主支路的输入通过残差连接进行叠加;反向瓶颈残差模块的主支路包括依次连接的第三卷积层、第三DW卷积层、第四卷积层、批归一化层、激活函数和SE模块;反向瓶颈残差模块的主支路输出的特征与反向瓶颈残差模块的输入通过残差连接进行叠加。[0011] 进一步优选,所述卷积模块包括四条支路,第一条支路为第二条支路的残差连接,第四条支路为第三条支路的残差连接;第二条支路和第三条支路结构相同,第二条支路依次由第六卷积层、第七卷积层、第八卷积层、批归一化层和激活函数连接而成,第一条支路和第二条支路输出的特征叠加得到第一融合特征,第三条支路和第四条支路输出的特征叠加得到第二融合特征;将第一融合特征和第二融合特征相乘得到第三融合特征,然后第三融合特征依次经过第九卷积层、批归一化层和激活函数处理,得到卷积模块的输出。[0012] 进一步优选,所述编码器模块由依次连接的第一前馈模块、多头注意力模块和第二前馈模块组成,第一前馈模块、多头注意力模块和第二前馈模块分别设有残差连接。[0013] 进一步优选,所述第一前馈模块由依次连接的第一线性层、第一随机失活层、第二线性层和第二随机失活层组成,第一线性层和第二线性层后分别设置激活函数。[0014] 进一步优选,多头注意力模块的处理过程如下:[0015] 输入多头注意力模块的特征经层归一化得到二维矩阵,二维矩阵将被并行地投影到查询、键和值的向量空间,再通过多头注意力机制计算查询和键的注意力分数矩阵,然后将位置偏置矩阵加到查询和键的注意力分数矩阵中,再对查询和键的注意力分数矩阵的最后一个注意力权重所在的维度计算软最大值函数,继续使用注意力权重,对值矩阵中的向量空间进行加权求和,得到注意力加权的值向量;将所有注意力加权的值向量在最后一个维度上进行拼接,形成输出张量;将拼接后的输出张量通过另一个可学习的第三线性层进行处理。[0016] 进一步优选,所述第一降采样模块由两组降采样模块组成,每组降采样模块由依次连接的第一卷积层、批归一化层和激活函数组成。[0017] 本发明还提供了基于双向深度瓶颈模块的植物叶片病害识别系统,包括图像采集装置和植物叶片病害识别装置,所述植物叶片病害识别装置内设植物叶片病害识别模型,所述植物叶片病害识别模型执行上述基于双向深度瓶颈模块的植物叶片病害识别方法。[0018] 本发明还提供了一种非易失性计算机存储介质,计算机存储介质存储有计算机可执行指令,该计算机执行指令执行上述基于双向深度瓶颈模块的植物叶片病害识别方法。[0019] 与现有的技术相比,本发明具备以下有益效果:本发明通过浅层特征提取模块和深层特征提取模块进行特征提取,浅层特征提取模块做了四次降采样,用于提取植物叶片病害颜色变化、纹理变化、病斑形状等浅层特征,深层特征提取模块只进行一次降采样,用于提取植物微生物特征、细胞结构异常、生物化学成分变化等深层特征;此外,本发明提出了一种双向深度瓶颈模块和一种多路并行卷积编码器,双向深度瓶颈模块可以充分提取浅层和深层植物叶片病害的部分空间特征信息,多路并行卷积编码器则可以结合卷积与Transformer模型的优点,充分提取到植物叶片图像全局的病害信息。附图说明[0020] 图1为本发明的浅层特征提取模块和深层特征提取模块流程结构示意图。[0021] 图2为本发明的双向深度瓶颈模块流程结构示意图。[0022] 图3为本发明的多路并行卷积编码器流程结构示意图。具体实施方式[0023] 下面结合实施案例和附图对本发明进一步详细说明。[0024] 如图1所示,基于双向深度瓶颈模块的植物叶片病害识别方法,将植物叶片图像输入浅层特征提取模块进行浅层特征提取,得到浅层特征;将浅层特征输入深层特征提取模块进行深层特征提取,得到深层特征;将深层特征输入全连接层;最后由全连接层处理得到分类结果;所述浅层特征提取模块由依次连接的第一降采样模块、第一双向深度瓶颈模块、第二降采样模块、第二双向深度瓶颈模块和第三降采样模块组成;所述深层特征提取模块由依次连接的第三双向深度瓶颈模块、第一多路并行卷积编码器、第四降采样模块、第四双向深度瓶颈模块和第二多路并行卷积编码器组成。[0025] 如图1所示,第一降采样模块由两组降采样模块组成,每组降采样模块由依次连接的第一卷积层、批归一化层和激活函数组成;植物叶片图像依次经过一个步长为2的第一卷积层(3×3)实现下采样操作,得到第一卷积层下采样的输出依次通过批归一化层(BatchNormalization)和激活函数(GeLu)处理。[0026] 第一双向深度瓶颈模块、第二双向深度瓶颈模块和第三双向深度瓶颈模块结构相同,如图2所示,由瓶颈残差模块和反向瓶颈残差模块组成。[0027] 所述瓶颈残差模块(BottleneckResidualModule)的主支路包括依次连接的填充为1的第一DW卷积层(3×3)、第二卷积层(1×1)、填充为1的第二DW卷积层(3×3)、批归一化层、激活函数(GeLu)和SE模块(Squeeze‑and‑ExcitationModule),瓶颈残差模块的主支路输出的特征与瓶颈残差模块的输入通过残差连接进行叠加;反向瓶颈残差模块的主支路包括依次连接的第三卷积层(1×1)、填充为1的第三DW卷积层(3×3)、第四卷积层(1×1)、批归一化层、激活函数(GeLu)和SE模块;反向瓶颈残差模块的主支路输出的特征与反向瓶颈残差模块的输入通过残差连接进行叠加。[0028] 输入第一双向深度瓶颈模块的特征分别经过瓶颈残差模块和反向瓶颈残差模块处理,将瓶颈残差模块和反向瓶颈残差模块输出的特征进行融合,融合后的特征经过第五卷积层(1×1),再经过批归一化层和激活函数(GeLu)处理,得到第一双向深度瓶颈模块的输出。[0029] 第一多路并行卷积编码器和第二多路并行卷积编码器结构相同,如图3所示,第一多路并行卷积编码器由卷积模块和编码器模块组成,输入第一多路并行卷积编码器的特征分别经过卷积模块和编码器模块处理,将卷积模块和编码器模块输出的特征进行融合,得到第一多路并行卷积编码器的输出。[0030] 如图3所示,所述卷积模块包括四条支路,第一条支路为第二条支路的残差连接,第四条支路为第三条支路的残差连接;第二条支路和第三条支路结构相同,第二条支路依次由填充为3的第六卷积层(7×7)、第七卷积层(1×1)、第八卷积层(1×1)、批归一化层和激活函数(GeLu)连接组成,第一条支路和第二条支路输出的特征叠加得到第一融合特征,第三条支路和第四条支路输出的特征叠加得到第二融合特征;将第一融合特征和第二融合特征相乘得到第三融合特征,然后第三融合特征依次经过第九卷积层(1×1)、批归一化层和激活函数(GeLu)处理,得到卷积模块的输出。[0031] 如图3所示,所述编码器模块由依次连接的第一前馈模块、多头注意力模块和第二前馈模块组成,第一前馈模块、多头注意力模块和第二前馈模块分别设有残差连接。所述编码器模块的输入先经过第一前馈模块处理,将第一前馈模块的输入与第一前馈模块处理后的输出进行相加,相加后的输出进入多头注意力模块中,多头注意力模块的输入与多头注意力模块处理后的输出相加后再进入第二前馈模块,经第二前馈模块输入与第二前馈模块处理后的输出相加,得到编码器模块的输出。[0032] 第一前馈模块和第二前馈模块结构相同,第一前馈模块由依次连接的第一线性层、第一随机失活层、第二线性层和第二随机失活层组成,第一线性层和第二线性层后分别设置激活函数。[0033] 参照图3,所述多头注意力模块处理过程如下:[0034] 输入多头注意力模块的特征先经过一个层归一化(LayerNormalization)得到二维矩阵,二维矩阵将被并行地投影到查询(Query)、键(Key)和值(Value)的向量空间,再达到多头注意力机制计算查询和键的注意力分数矩阵,然后将位置偏置(SpatialPositionalBias)矩阵加到查询和键的注意力分数矩阵中,再对查询和键的注意力分数矩阵的最后一个注意力权重所在的维度计算软最大值函数(softmax),继续使用上一个获得的注意力权重,对值矩阵中的向量空间进行加权求和,得到注意力加权的值向量;将所有注意力加权的值向量在最后一个维度上进行拼接,形成输出张量;将拼接后的输出张量通过另一个可学习的第三线性层处理,然后将第三线性层的输出映射回多头注意力模块的输入维度,得到多头注意力模块的最终输出。[0035] 本发明的另一个实施例提供了基于双向深度瓶颈模块的植物叶片病害识别系统,包括图像采集装置和植物叶片病害识别装置,所述植物叶片病害识别装置内设植物叶片病害识别模型,所述植物叶片病害识别模型执行上述基于双向深度瓶颈模块的植物叶片病害识别方法。植物叶片病害识别模型包括浅层特征提取模块和深层特征提取模块。[0036] 本发明的另一个实施例提供了一种非易失性计算机存储介质,计算机存储介质存储有计算机可执行指令,该计算机执行指令执行上述的基于双向深度瓶颈模块的植物叶片病害识别方法。[0037] 表1[0038][0039] 表1为使用植物数据集(PlantVillage)中提取的番茄叶片病害数据集,共十种番茄叶片病害图像,训练集共12110张图像,验证集共3023张图像,测试集共3027张图像,消融条件下,每个模型迭代500轮,保证每个模型都充分收敛;对比其他十一种常用分类模型(MobileNetV3模型、ResNet34模型、AlexNet模型、VGG16模型、SwinTransformer模型、VisionTransformer模型、ShufflenetV2模型、RegNet模型、DenseNet模型、ConvNext模型、GoogLeNet模型),本发明的方法在此植物数据集上取得了最佳的性能,其中测试精度高达99.77%,精确率高达99.70%,召回率达99.68%(recall),F1分数(F1score)高达99.69%,均优于其他模型。[0040] 表2[0041][0042] 对比数据源较差,识别难度较高时模型的泛化性能,使用AIChallenger数据集中的番茄叶片数据集,共20种不同程度的番茄叶片病害图像,训练集共9081张图像,验证集共2261张图像,测试集共1634张图像,由于此数据集的图像类别标签数量极不平衡,训练过程中容易产生过拟合现象,所以在消融条件下,每个模型只迭代50轮后,对比它们的性能,如表2所示,本发明的方法依旧取得了最佳性能,并且拥有较低的参数量和计算量。[0043] 在植物种植园中,农户利用高清摄像头或无人机拍摄植物叶片图像,然后将这些图像输入到经过大量植物叶片病害图像训练的基于双向深度瓶颈模块的植物叶片病害识别系统中;基于双向深度瓶颈模块的植物叶片病害识别系统能准确识别并评估植物叶片上如晚大斑病、小斑病、纹枯病、弯孢叶斑病等病害的程度;一旦检测到严重病害,系统立即预警,并提供针对性的农药类型及用量建议,实现对受病害区域的精准防治,防止病害扩散;基于双向深度瓶颈模块的植物叶片病害识别系统还可记录病害发生的时间、地点及环境信息,为后续研究提供数据支持;通过使用基于双向深度瓶颈模块的植物叶片病害识别系统,不仅能减少病虫害对作物的影响和农药的使用,提高农业生产效率,还能实现农药的精准施用,推动农业可持续发展。[0044] 尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同物限定。
专利地区:江西
专利申请日期:2024-07-15
专利公开日期:2024-09-03
专利公告号:CN118470552B