可左右滑动选省市

一种蔬菜质量检测方法、系统、介质及设备发明专利

更新时间:2024-07-01
一种蔬菜质量检测方法、系统、介质及设备发明专利 专利申请类型:发明专利;
地区:广东-广州;
源自:广州高价值专利检索信息库;

专利名称:一种蔬菜质量检测方法、系统、介质及设备

专利类型:发明专利

专利申请号:CN202111052465.8

专利申请(专利权)人:华南理工大学
权利人地址:广东省广州市天河区五山路381号

专利发明(设计)人:张智军,陈博钊,黄灿辉,杜辰翔,张梅,王涛

专利摘要:本发明公开了一种蔬菜质量检测系统,包括读取模块、特征标记模块、训练学习检测模块、分级模块和结果输出模块。该诊断系统存储在计算机的硬盘上。读取模块用于在计算机的硬盘上存储有蔬菜质量检测系统,通过视图传输设备在计算机上输入蔬菜图像;特征标记模块用于标记蔬菜图像的各个特征形成样本;训练学习检测模块用于构建并训练YOLO深度神经网络,并对蔬菜图像进行检测;分级模块用于根据蔬菜各预测框的坐标信息获取其长度比例及面积比例,最后与定好的标准进行比较,得到分级结果。本发明还提供了相应的介质及设备,减少了系统所需存储硬盘的空间,该系统所使用的深度学习网络模型大大提高了训练速度和分级效率。

主权利要求:
1.一种蔬菜质量检测方法,其特征在于,包括以下步骤:采集蔬菜图像;
将待测图像输入训练好的YOLO深度神经网络中,输出各分级特征的位置信息,所述YOLO深度神经网络是使用样本数据集进行训练后得到,所述样本数据集是通过在采集的蔬菜图像上进行分级特征标记后得到;
根据分级特征的位置信息获取分级特征之间的长度比例和面积比例,将长度比例和面积比例与预设的分级标准进行比较,得到分级结果,当所述蔬菜为菜心时,其分级特征包括:菜心切割点、第一片叶首叶节点、第二片叶首叶节点、叶顶端和花蕾;
所述根据分级特征的位置信息获取分级特征之间的长度比例和面积比例,是指将菜心切割点到第一片叶首叶节点、第一片叶首叶节点的位置到第二片叶首叶节点、第二片叶首叶节点的位置到叶顶端三者的长度比例进行长度划分,使用花蕾的位置信息裁剪花蕾图片并获取花蕾图片中黄色所占面积来进行成熟度划分。
2.一种蔬菜质量检测系统,其特征在于,包括读取模块、训练学习检测模块、分级模块和结果输出模块,所述读取模块用于通过视图传输设备在计算机上输入蔬菜图像;
训练学习检测模块,所述训练学习检测模块用于构建YOLO深度神经网络并使用特征标记模块标记好的样本数据集进行训练,使用获得的权重文件对蔬菜图像进行检测,其中,所述特征标记模块用于标记蔬菜图像的特征形成样本数据集;
所述分级模块用于根据分级特征的位置信息获取分级特征之间的长度比例和面积比例,将长度比例和面积比例与预设的分级标准进行比较,得到分级结果;
所述结果输出模块用于输出最终分级结果,并通过显示器界面显示出来;
所述训练学习检测模块包括:
训练集特征样本单元,用于存储训练图像特征;
样本抽取单元,用于从训练集特征样本单元中抽取训练所需的特征样本构成模型训练子集;
模型训练单元,用于采用YOLO深度神经网络进行训练,得到训练后的权重文件;
模型检测单元,用于使用权重文件进行蔬菜图像的检测;
所述读取模块包括:
图像采集单元,用于采集蔬菜图像;划分单元,用于将图像数据集分为用于训练模型的训练图像和用于评估模型的测试图像。
3.一种存储介质,其特征在于,存储有程序,所述程序被处理器执行时实现权利要求1所述的蔬菜质量检测方法。
4.一种计算设备,其特征在于,包括处理器和用于存储处理器可执行程序的存储器,所述处理器执行存储器存储的程序时,实现权利要求1所述的蔬菜质量检测方法。 说明书 : 一种蔬菜质量检测方法、系统、介质及设备技术领域[0001] 本发明涉及目标检测技术领域,具体涉及一种蔬菜质量检测方法、系统、介质及设备。背景技术[0002] 在现有的蔬菜识别方法中,大多采用传统目标检测方法对蔬菜进行识别。然而传统目标检测方法存在着耗时长的问题,不能满足蔬菜生产种实时性的要求。随着深度学习技术的不断发展,人们使用深度卷积网络模型对蔬菜进行检测,但当前深度卷积网络技术对蔬菜的检测精度不高,且实时性检测水平不强。发明内容[0003] 为了克服现有技术存在的缺陷与不足,本发明提出一种蔬菜质量检测方法,采用深度学习网络来对蔬菜质量进行检测,首先预训练,再进行检测,对于所提取出来的图像特征样本,根据输出的位置信息进行分级,用于判断蔬菜的质量。这种深度学习网络大大提高了模型训练效率,同时运用实际图片框定的范围能够有效保证结果的可靠性。[0004] 本发明的第二目的在提供一种蔬菜质量检测系统。[0005] 本发明的第三目的在于提供一种存储介质。[0006] 本发明的第四目的在于提供一种计算设备。[0007] 为了达到上述目的,本发明提供的一种蔬菜质量检测方法,包括以下步骤:采集蔬菜图像;[0008] 将待测图像输入训练好的YOLO深度神经网络中,输出各分级特征的位置信息;[0009] 根据分级特征的位置信息获取分级特征之间的长度比例和面积比例,将长度比例和面积比例与预设的分级标准进行比较,得到分级结果。[0010] 进一步地,所述YOLO深度神经网络是使用样本数据集进行训练后得到,所述样本数据集是通过在采集的蔬菜图像上进行分级特征标记后得到。[0011] 进一步地,当所述蔬菜为菜心时,其分级特征包括:菜心切割点、第一片叶首叶节点、第二片叶首叶节点、叶顶端和花蕾。[0012] 进一步地,所述根据分级特征的位置信息获取分级特征之间的长度比例和面积比例,是指将菜心切割点到第一片叶首叶节点、第一片叶首叶节点的位置到第二片叶首叶节点、第二片叶首叶节点的位置到叶顶端三者的长度比例进行长度划分,使用花蕾的位置信息裁剪花蕾图片并获取花蕾图片中黄色所占面积来进行成熟度划分。[0013] 本发明提供的一种蔬菜质量检测系统,包括读取模块、训练学习检测模块、分级模块和结果输出模块,[0014] 所述读取模块通过视图传输设备在计算机上输入蔬菜图像;[0015] 所述训练学习检测模块用于使用YOLO对标记好的蔬菜图像进行训练并进行测试;[0016] 所述分级模块用于根据分级特征的位置信息获取分级特征之间的长度比例和面积比例,将长度比例和面积比例与预设的分级标准进行比较,得到分级结果;具体地,在蔬菜类型为蔬菜时,用于通过检测后输出的蔬菜切割点到第一片叶首叶节点、第一片叶首叶节点的位置到第二片叶首叶节点、第二片叶首叶节点的位置到叶顶端三个特征的位置信息获取其长度比例,并通过花蕾的位置信息裁剪获得花蕾图片并获取黄色所占花蕾图片面积的面积比例,最终通过将长度比例、面积比例与规定的范围进行比较并输出分级结果:A类(可食用),B类(另作他用);[0017] 所述结果输出模块用于输出最终诊断结果,并通过显示器界面显示出来。[0018] 进一步地,还包括特征标记模块,所述特征标记模块用于标记蔬菜图像的特征形成样本数据集。具体地,当蔬菜类型为蔬菜时,所述特征标记模块用于使用yolo‑mark软件对蔬菜图像根据其分级所需4个特征(蔬菜切割点到第一片叶首叶节点、第一片叶首叶节点的位置到第二片叶首叶节点、第二片叶首叶节点的位置到叶顶端,花蕾)进行标记。[0019] 作为优选的技术方案,所述读取模块包括:[0020] 图像采集单元,用于采集蔬菜图像;[0021] 划分单元,用于将图像数据集分为用于训练模型的训练图像和用于评估模型的测试图像。[0022] 作为优选的技术方案,所述特征标记模块包括:[0023] 图像标记单元,用于根据所需特征进行蔬菜图像的标记。[0024] 作为优选的技术方案,所述训练学习检测模块包括:[0025] 训练集特征样本单元,用于存储训练图像特征;[0026] 样本抽取单元,用于从训练集特征样本单元中抽取训练所需的特征样本构成模型训练子集;[0027] 模型训练单元,采用YOLO神经网路进行训练。[0028] 模型检测单元,使用训练后生成的权重文件对蔬菜图片进行检测。[0029] 本发明还提供一种存储介质,存储有程序,所述程序被处理器执行时实现上述蔬菜质量检测系统。[0030] 本发明还提供一种计算设备,包括处理器和用于存储处理器可执行程序的存储器,所述处理器执行存储器存储的程序时,实现上述蔬菜质量检测系统。[0031] 本发明与现有技术相比,至少具备以下有益效果:[0032] 本发明运用YOLO系列模型检测提取特征位置,模型自身具备速度快,定位准确,实时性强的特点;针对输出的位置信息,对应的图像特征区分度非常明显,故使用简单的分级判断方向对蔬菜的质量进行分类鉴定,分类准确率高。附图说明[0033] 图1为本发明蔬菜质量检测系统的结构示意图;[0034] 图2为本发明实施例所使用YOLOv3网络结构示意图;[0035] 图3为本发明实施例所使用YOLOv3先验框示意图;[0036] 图4为本发明实施例所使用YOLOv3的输入与输出示意图;[0037] 图5为本发明实施例的分级流程示意图;[0038] 图6为本发明实施例的实施过程图。具体实施方式[0039] 为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。[0040] 请参阅图1‑图6,本发明提供的一种蔬菜质量检测方法,包括以下步骤:[0041] 步骤1:采集蔬菜图像,形成图像数据集。[0042] 步骤2:在图像数据集中的图像上标记分级特征,得到特征样本数据集。[0043] 本步骤中,根据要检测的蔬菜的类型事先设定对该蔬菜进行分级所需要的特征。在本发明其中一个实施例中,要对菜心进行质量检测,则事先设定其的分级特征包括:菜心切割点、第一片叶首叶节点、第二片叶首叶节点、叶顶端和花蕾。分级时,将菜心切割点到第一片叶首叶节点、第一片叶首叶节点的位置到第二片叶首叶节点、第二片叶首叶节点的位置到叶顶端三者的长度比例进行长度划分,使用花蕾的位置信息裁剪花蕾图片并获取花蕾图片中黄色所占面积来进行成熟度划分,通过判断其长度比例和成熟度是否符合标准来对菜心进行分级。可以理解的是,在其他实施例中,可以对其他种类的蔬菜进行质量检测。[0044] 在本发明其中一个实施例中,使用yolo‑mark软件来对分级特征进行标记。[0045] 步骤3:构建YOLO深度神经网络,并使用特征样本数据集进行训练,使用获得的权重文件对蔬菜图像进行检测,输出各分级特征的位置信息。[0046] 在本发明其中一个实施例中,使用的是YOLOv3深度神经网络。可以理解的是,在其他实施例中,可以使用其他版本的YOLO网络。[0047] 步骤4:根据分级特征的位置信息获取分级特征之间的长度比例和面积比例,将长度比例和面积比例与预设的分级标准进行比较,得到分级结果。[0048] 在本发明其中一个实施例中,本步骤要检测的蔬菜为菜心,则首先将菜心切割点到第一片叶首叶节点、第一片叶首叶节点的位置到第二片叶首叶节点、第二片叶首叶节点的位置到叶顶端三者的长度比例进行长度划分,使用花蕾的位置信息裁剪花蕾图片并获取花蕾图片中黄色所占面积来进行成熟度划分,然后将长度比例、面积比例与预设的分级标准进行比较,得到分级结果。在该实施例中,菜心的分级标准划分为两类:A类(可食用),B类(另作他用)。[0049] 本发明还提供用于实现前述方法的系统。[0050] 本发明中,对于图1所有模块所涉及的质量检测系统构建,首先构使用yolo‑mark软件进行蔬菜图像标注,得到特征标记模块。使用YOLOv3进行蔬菜图像数据集的训练以及检测,得到训练学习检测模块。并根据检测后生成的预测框的位置做进一步处理,得到分级模块。最后输出分级结果。[0051] 具体的,如图1和图2所示,本发明提供了一种蔬菜质量检测系统,包括:读取模块、特征标记模块、训练学习检测模块、分级模块和结果输出模块:[0052] 读取模块用于通过视图传输设备在计算机上输入蔬菜图像;[0053] 特征标记模块用于使用yolo‑mark标记蔬菜图像数据集;[0054] 训练学习检测模块用于使用YOLOv3深度神经网络进行数据集的训练并使用生成的权重文件进行蔬菜图像的检测;[0055] 分级模块用于针对检测蔬菜图像后的输出做进一步处理,根据分级特征的位置信息获取分级特征之间的长度比例和面积比例,将长度比例和面积比例与预设的分级标准进行比较,得到分级结果;[0056] 结果输出模块用于输出最终分级结果,并通过显示器界面显示出来。[0057] 在本发明的其中一个实施例中,所述读取模块包括:[0058] 图像采集单元,用于采集蔬菜图像;[0059] 划分单元,用于将图像数据集分为用于训练模型的训练图像和用于评估模型的测试图像。[0060] 在本发明的其中一个实施例中,所述特征标记模块包括:[0061] 配置好yolo‑mark,使用该软件根据蔬菜分级所需特征进行标注。在本实施例中,要检测的蔬菜是菜心,其分级所需特征包括:蔬菜切割点、第一片叶首叶节点、第二片叶首叶节点、叶顶端和花蕾。先得到这些特征的位置坐标,后续根据坐标位置信息获取蔬菜长度比例。[0062] 在本发明的其中一个实施例中,所述训练学习检测模块包括:[0063] 训练集特征样本单元,用于存储训练图像特征;[0064] 样本抽取单元,用于从训练集特征样本单元中抽取训练所需的特征样本构成模型训练子集;[0065] 模型训练单元,采用YOLOv3进行训练。[0066] 模型测试单元,使用训练后生成的权重文件对蔬菜图像进行检测。[0067] 在本发明的其中一个实施例中,样本抽取单元中,抽取样本时若遇到类别不平衡问题,则在较大数目一类中有放回地随机抽取,抽取量与较小数目一类中的样本数目相当,在较大数目一类中每随机抽取一次得到的特征样本和小类全部构成一个子集,每个子集训练一种变换函数类型的动态学习网络分类器。若类别平衡,则在各类中同比例随机抽取,构成子集。[0068] 在本发明的其中一个实施例中,所使用的YOLOv3的网络结构如图2所示,此处YOLOv3以DarkNet‑53为骨架模型对输入的蔬菜图像进行特征提取,针对DarkNet‑53中三层输出构成的多尺度特征压缩图分别通过上采样和DBL模块,得到多尺度位置特征图,即图中的y1、y2和y3。DBL(Darknetconv2D_BN_Leaky)即卷积层、BN层和Leakyrelu的激活函数,是YOLOv3网络结构的基本组件。Resblock_body是YOLOv3的残差结构,resn代表resblock_body含有n个res_unit,其基本组件也是DBL,利用这种结构可以加深网络。concat即张量拼接,将darknet中间层和后面的某一层的上采样进行拼接。拼接的操作和残差层add的操作是不一样的,拼接会扩充张量的维度,而add只是直接相加不会导致张量维度的改变。[0069] 在本发明的其中一个实施例中,采用的YOLOv3先验框细节如图3所示。先验框的尺寸根据YOLOv3输出的特征图的数量和尺度来变化。采用了kmeans聚类的方法来获得先验框尺寸,为每种下采样尺寸设定3种先验框,总共聚类出9种尺寸的先验框。在13×13的特征图上使用较大的三个先验框116×90、156×98、373×326检测较大的菜心分级特征位置。在26×26的特征图上使用中等大小的三个先验框30×61、62×45、59×119来检测中等大小的物体。在52×52的特征图上使用较小的三个先验框10×13、16×30、33×23来检测较小的物体。[0070] 在本发明的其中一个实施例中,YOLOv3的输入与输出如图4所示。YOLOv3将输入图像映射到3个尺度的输出张量,代表不同物体在图像中不同位置出现的概率。YOLOv3输入图像的大小通常为416×416,从而得到13×13、26×26和52×52的特征图。YOLOv3有13×13×3+26×26×3+52×52×3个预测,预测边框数量多,提升了对蔬菜不同尺度特征检测的效果。[0071] 在本发明的其中一个实施例中,YOLOv3的损失函数为:[0072][0073][0074][0075] loss=lbox+lobj+lcls(4)[0076] lbox为坐标位置预测环节带来的损失值,lcls为YOLOv3预测框内目标物体分类环节带来的损失值。lobj为含有和不包含物体的边界框的置信度预测带来的损失值,s代表网2格尺寸,s表示13x13,26x26,52x52。B代表box, 表示在(i,j)处有目标则为1,无目标则为0。 表示在(i,j)处无目标为1,有目标则为0。[0077] 在式子(1)‑(4)中,λcoord,λclass,λnoobj,λobj为固定正常数的权重值,在训练过程中可进行调整;xi表示YOLOv3输出特征图框中心点的实际横坐标值; 表示输出特征图框中心点的预测横坐标值;yi表示输出特征图框中心点的实际纵坐标值; 表示输出特征图框中心点的预测纵坐标值;wi表示输出特征图框的实际宽度; 表示输出特征图框的预测宽度;hi表示输出特征图框的实际高度; 表示输出特征图框的预测高度;pi(ci)表示检测对象归属类别的实际概率; 表示检测对象归属类别的预测概率;ci表示第i个边界框内含有/不含有物体的实际置信度; 表示第i个边界框内含有/不含有物体的预测置信度;i表示第i个特征图框;j表示第j类物体,在本发明中即为第一片叶首叶节点、第二片叶首叶节点、叶顶端和花蕾取其一。[0078] 在本发明其中一个实施例中,分级模块用于:[0079] 通过检测后输出的蔬菜切割点到第一片叶首叶节点、第一片叶首叶节点的位置到第二片叶首叶节点、第二片叶首叶节点的位置到叶顶端三个特征的位置信息获取其长度比例,并通过花蕾的位置信息裁剪获得花蕾图片并获取黄色所占花蕾图片面积的面积比例,最终通过将长度比例、面积比例与规定的范围进行比较并输出分级结果:A类(可食用),B类(另作他用)。比如对于图6中某个未知级别的菜心图像样本,获取其三个特征长度(374,517,1363)得知比例为1.382与3.644,得知这两个比例分别符合预设的[1,2],[3.4,7]的标准范围。同时,通过花蕾的位置信息裁剪花蕾图片获得其黄色所占面积比例为0.0012在预设的标准范围0.015以下。三个标准均符合,所以判断该菜心图像为A类。[0080] 在本发明的其中一个实施例中,还提供一种存储介质,存储介质可以是ROM、RAM、磁盘、光盘等储存介质,该存储介质存储有一个或多个程序,所述程序被处理器执行时,实现上述蔬菜质量检测方法。[0081] 在本发明的其中一个实施例中,还提供一种计算设备,所述的计算设备可以是台式电脑、笔记本电脑、智能手机、PDA手持终端、平板电脑或其他具有显示功能的终端设备,该计算设备包括该计算设备包括处理器和存储器,存储器存储有一个或多个程序,处理器执行存储器存储的程序时,实现上述蔬菜质量检测方法。[0082] 综上,本发明实施例运用YOLOv3作为蔬菜图像的特征提取器,用于蔬菜分级,这种方法检测速度快,同时在检测前事先根据实际的蔬菜类型的数据整理获得分级所需要的范围,能够有效保证结果的可靠性。[0083] 上述实施例为本发明较佳的实施方式,但本发明的实施方式并不受上述实施例的限制,其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围内。

专利地区:广东

专利申请日期:2021-09-08

专利公开日期:2024-06-18

专利公告号:CN113887567B

电话咨询
读内容
搜本页
回顶部