智能蜂箱及基于深度学习的蜜蜂识别跟踪计数系统

智能蜂箱及基于深度学习的蜜蜂识别跟踪计数系统

本发明涉及蜜蜂养殖领域。具体包括：蜂箱，其下部设置有出入通道；摄像头，其设置在蜂箱上，且监控方向朝向出入通道；称重仪，其设置在蜂箱底部；温湿度传感器，其设置在蜂箱内部；终端，其设置在蜂箱外部，且与摄像头、称重仪和温湿度传感器分别通讯连接，用于收集采集的数据并传输至微服务器。本发明能自动采集蜜蜂养殖中的时空多维度、多角度及多结构的全周期数据，并对数据进行智能分析和处理，提供蜜蜂活动规律、环境数据统计分析结果显示和超阈值数据报警，形成蜂蜜产生全过程的数据分析、管理和决策。本发明特色在于基于深度学习的蜜蜂识别跟踪计数系统，其特征包括：蜜蜂图像数据集构建、蜜蜂检测与识别模型构建和蜜蜂识别模型构建。

专利类型：发明专利

专利申请号：CN202210606275.4

专利申请（专利权）人：中国农业科学院农业信息研究所
权利人地址：北京市海淀区中关村南大街12号

专利发明（设计）人：刘升平,张杰,郭秀明,孙开梦,诸叶平,李世娟,岳慧丽,吕纯阳

主权利要求:智能蜂箱及基于深度学习的蜜蜂识别跟踪计数系统
技术领域
[0001] 本发明涉及蜜蜂养殖领域，特别是涉及智能蜂箱及基于深度学习的蜜蜂识别跟踪计数系统。
背景技术
[0002] 养蜂业是我国传统农业，也是现代农业的重要组成部分，蜂蜜作为一种保健食品，与人民群众的生活密切相关。蜂箱是蜜蜂养殖的重要工具，也是蜂蜜生产的基本工具。长期以来，蜂箱都是人工手工操作，人力投入成本高。如何将信息技术用于蜂箱的管理，是现代蜜蜂养殖需要解决的重要问题。随着信息技术的不断进步，智能蜂箱开始在蜜蜂养殖领域出现。调查发现，目前的智能蜂箱多注重蜂箱的环境监测，比如温湿度、二氧化碳、氧气监测。更多的应用在于改造传统的蜂箱结构，在养殖、繁殖、取蜜这些减少人工劳动强度方面形成特色，距离真正的智能蜂箱还有差距。

[0003] 中国专利公开号CN210181653U公开了基于云计算的人工智能(AI)养蜂系统，包括安装在每个蜂箱内的数据采集终端，用于对蜂箱内的温湿度、气体、音频、视频、蜜蜂出勤、重量和位置进行采集；安装在蜂场的信息采集终端，用于对蜂场内的气象数据和蜜源数据进行采集；与数据采集终端和信息采集终端连接的数据传输装置，用于将采集的数据进行上传；与数据传输装置连接的云端服务器，用于将接收并储存采集的数据，并根据采集的数据以及历史数据对蜜蜂、蜂箱和蜂场进行分析，并将分析结果发送至养蜂人的手持终端。
[0004] 中国专利公开号CN112308268A公开了一种智能蜂箱、管理平台、电子设备以及管理系统。在一个实施例中，智能蜂箱将采集到的数据添加到区块链，数据为能够用于判断智能蜂箱中的蜂蜜的成熟度和/或掺假情况的数据，管理平台获取数据，基于数据判断智能蜂箱中的蜂蜜的成熟度和/或掺假情况，并将成熟度和/或掺假情况添加到区块链，电子设备获取用户针对成熟度和/或掺假情况的评价信息，并将评价信息添加到区块链。
[0005] 但是，对于上述公开号CN210181653U公开的方案，其注重蜂箱的人工操作设计，以及蜂箱环境数据的采集，没有从蜜蜂活动规律的根本出发，缺乏对蜜蜂活动状况研究与分析，缺少从根本上了解蜂蜜产生量的影响因素；在算法上，没有用现代较先进的智能识别技术，不能从根本上体现智能技术的应用优势。
[0006] 对于上述公开号CN210181653U公开的方案，设计思路只限于判断蜂蜜成熟度或有无掺假，并未详细描述采用的智能技术。更多的是采取图像人眼识别；从技术的先进性看，采用智能识别算法技术，只能在一定程度上减少人工识别的误差，在一定程度上提高蜂蜜生产管理的自动化程度。
发明内容
[0007] 本发明目的是针对背景技术中存在的问题，提出智能蜂箱及基于深度学习的蜜蜂识别跟踪计数系统，能自动采集蜂箱重量、温湿度数据和照片或视频数据，并对数据进行分析、处理和智能识别，提供蜜蜂活动规律、环境数据统计分析结果显示和超阈值数据报警，形成蜂蜜产生全过程的数据分析、管理和决策。
[0008] 一方面，本发明提出智能蜂箱，包括：
[0009] 蜂箱，其下部设置有出入通道；
[0010] 摄像头，其设置在蜂箱上，且监控方向朝向出入通道，用于拍照或录像；
[0011] 称重仪，其设置在蜂箱底部；
[0012] 温湿度传感器，其设置在蜂箱内部；
[0013] 终端，其设置在蜂箱外部，且与摄像头、称重仪和温湿度传感器分别通讯连接，用于收集摄像头、称重仪和温湿度传感器所采集的数据并传输至微服务器。
[0014] 优选的，蜂箱包括：
[0015] 底板，其设置在称重仪上；
[0016] 箱体，其设置在底板上；
[0017] 顶盖，其设置在箱体顶部；
[0018] 支架，其设置在箱体上，用于安装摄像头。
[0019] 优选的，终端包括可拆卸连接的壳体和盖体，盖体上设置有双止口，双止口处设置有与壳体密封连接的O形密封圈。
[0020] 优选的，摄像头涂刷防水密封胶。
[0021] 优选的，温湿度传感器外部包覆环氧树脂并露出探头，探头外侧套设有保护套，保护套为镂空结构。
[0022] 优选的，终端包括树莓派与采集板，采集板与树莓派使用SPI方式进行通信传输，将采集板获取的称重数据和传感器数据发给树莓派，树莓派与微服务器使用以太网方式进行通信传输，将称重数据和传感器数据发给微服务器，同时也将摄像头视频流以UVC协议方式推给微服务器；
[0023] 微服务器将数据经过打包后上传远程服务器，对数据进行本地采集和异地保存。
[0024] 另一方面，本发明提出基于深度学习的蜜蜂识别跟踪计数系统，应用于上述智能蜂箱，蜜蜂识别跟踪计数系统包括：
[0025] 蜜蜂图像数据集构建：构建蜜蜂图像数据集合，用于蜜蜂检测和识别的模型训练，包括利用智能蜂箱的采集终端模块通过摄像头采集的蜜蜂图像数据集，及通过手工进行的蜜蜂标注。
[0026] 蜜蜂检测与识别模型训练：将训练数据输入蜜蜂检测识别模型，通过模型的自学习功能不断调整权重参数，直到模型损失降低到一定要求且趋于稳定，获得用于蜜蜂检测与识别的蜜蜂检测与识别网络模型。
[0027] 蜜蜂识别模型：搭建蜜蜂检测和识别的深度卷积神经网络。由于蜜蜂尺度偏小，采用高层语义特征和低层的低级特征二次融合的方法充分提取蜜蜂的特征。同时室外环境复杂多变，干扰因素较多，使用注意力模块提高蜜蜂特征的提取效率。在目标分类和定位中，采用回归分析的方法自回归识别出蜜蜂及其位置。
[0028] 优选的，系统的损失函数包括两部分，一方面用于识别蜜蜂的定位损失，以准确的找到蜜蜂的位置，另一方面用于对蜜蜂进行分类的类别损失，以正确的对蜜蜂识别；Lconf表示置信度损耗，Lloc表示蜜蜂预测的定位损耗，由于两者尺度有差异，采用调整系数α进行调整；

[0029] L＝Lconf+αLloc(1)
[0030] 系统的最终输出结果为一个二维向量[n，m]，其中n表示搜索框的数量，m表示每个搜索框的输出数量，其值为p+4，p为目标种类的个数(蜜蜂种类的个数和背景)，每个数值分别表示对应类别的预测置信度，增加的4个数值cx、cy、h和w分别表示实际目标框和搜索框的位置偏移和大小偏移；定位损失采用SL1(即SmoothL1)损失函数，见公式(2)，x为预测值和真实值的差值；
[0031]
[0032] 对于每一个预测为正例(非背景)的预测框，计算其预测偏移和实际偏移的差值作为该搜索框的定位损失，将所有正例的预测损失作为整体定位损失；定位损失的计算见公式(3)；
[0033]
[0034] 其中，pos表示预测为正例的搜索框， 表示预测的实际目标和搜索框的偏移信息， 表示实际的目标和搜索框的偏移信息；
[0035] 置信度损失采用softmax损失函数，如公式(4)所示：
[0036]
[0037] 其中， 表示搜索框i对于种类j的置信度，q表示搜索框i待预测的目标框的种类q。
[0038] 蜜蜂跟踪模块：依据蜜蜂识别的结果，采用基于目标识别的跟踪方法关联分析连续多帧的蜜蜂，实现对多只蜜蜂的同时跟踪并获取其移动轨迹。同时考虑蜜蜂的位置和深度特征进行多帧中蜜蜂的关联，提高蜜蜂跟踪的可靠性和鲁棒性。
[0039] 蜜蜂进出统计模块：依据蜜蜂跟踪模块获得的多只蜜蜂移动轨迹，同时综合考虑蜜蜂距离蜂巢口的距离因素，判断蜜蜂的进出行为，统计蜜蜂的出入数量。
[0040] 与现有技术相比，本发明具有如下有益的技术效果：
[0041] 本发明保持了传统蜂箱的外形，采用了适合蜂箱安装的温湿度传感器、称重仪和摄像头，能自动采集蜂箱重量、温湿度数据和照片或视频数据；自主设计了终端和相应的数据采集接口，采集的数据经过终端传输到远端服务器，服务器安装有自主设计的智能化软件处理系统，实现对数据的智能分析和处理，提供蜜蜂活动规律、环境数据统计分析结果显示和超阈值数据报警，形成蜂蜜产生全过程的数据分析、管理和决策。在基于蜜蜂活动规律分析模型的基础上，更准确的为蜂蜜生产的效率提高提供有效手段，达到减轻生产人员的劳动强度，提高蜂蜜产品产量、质量的目的。
附图说明
[0042] 图1为智能蜂箱的结构示意图；
[0043] 图2为图1的局部结构示意图；
[0044] 图3为图2中A处的结构放大图；
[0045] 图4为智能蜂箱系统网络拓扑结构示意图；
[0046] 图5为终端算法及连接图；
[0047] 图6和图7为终端算法原理图。
[0048] 附图标记：1、摄像头；11、支架；2、称重仪；3、温湿度传感器；4、终端；5、底板；6、箱体；601、出入通道；7、顶盖。
具体实施方式
[0049] 实施例一
[0050] 如图1‑4所示，本发明提出的智能蜂箱，包括蜂箱、摄像头1、称重仪2、温湿度传感器3和终端4。蜂箱下部设置有出入通道601；摄像头1设置在蜂箱上，且监控方向朝向出入通道601，用于拍照或录像，摄像头1采集蜜蜂的活动图像，用于后期分析图像识别，以及智能算法进行蜜蜂活动规律数据分析；称重仪2设置在蜂箱底部，称重仪2实时采集蜂箱重量变化，数据用于后台系统实时对蜂蜜产生量数据进行分析；温湿度传感器3设置在蜂箱内部，温湿度传感器3采集蜂箱内温湿度实时数据，以备后台体统进行蜂箱环境数据分析；终端4设置在蜂箱外部，且与摄像头1、称重仪2和温湿度传感器3分别通讯连接，用于收集摄像头1、称重仪2和温湿度传感器3所采集的数据并传输至微服务器，即终端4用于蜂箱数据的收集处理以及数据输出，终端4还连接POE电源线。终端4与摄像头1、称重仪2和温湿度传感器3连接时，通过连接线束端部的航插接头进行连接，航插接头选用防水航插接头，蜂箱上设置有供连接线束穿过的通孔，以与温湿度传感器3进行连接。
[0051] 蜂箱包括底板5、箱体6、顶盖7和支架11。底板5设置在称重仪2上；箱体6设置在底板5上；顶盖7设置在箱体6顶部；支架11设置在箱体6上，用于安装摄像头1，摄像头1能稳定的对出入通道601处的蜜蜂进出情况进行监控。
[0052] 终端4包括可拆卸连接的壳体和盖体，盖体上设置有双止口，双止口处设置有与壳体密封连接的O形密封圈，起到防水、防尘、防污、防腐蚀和减震的效果。
[0053] 摄像头1涂刷防水密封胶，进一步防水。温湿度传感器3外部包覆环氧树脂并露出探头，防水、防潮，探头外侧套设有保护套，保护套为镂空结构，在保证温湿度传感器3对蜂箱内的温湿度环境进行监测的前提下增强对温湿度传感器3的防护，防止温湿度传感器3的探头遭到侵蚀破坏，防止影响监测结果的精确性。
[0054] 终端4包括树莓派与采集板，采集板与树莓派使用SPI方式进行通信传输，将采集板获取的称重数据和传感器数据发给树莓派，树莓派与微服务器使用以太网方式进行通信传输，将称重数据和传感器数据发给微服务器，同时也将摄像头1视频流以UVC协议方式推给微服务器；微服务器将数据经过打包后上传远程服务器，对数据进行本地采集和异地保存。
[0055] 终端4支持蜂箱内部的温度、湿度的定时监测功能；支持单个蜂箱内巢脾的测重功能；支持获取蜜蜂出勤情况的统计功能；支持集群布署，单系统最高支持500箱；支持隔离型PoE供电，符合IEEE802.3AF标准；支持视觉AI分析；具体防尘、防水、防雨、防污功能；具有易布署、易搬动、高可靠性等特点。

[0056] 本实施例中，对于某一个蜂箱的集群点，安置一台本地服务器，智能蜂箱的终端4也都采用以太网方式联网，每20台终端4连接至一个交换机，交换机继续上联交换机，最终形成一个本地局域网，同时，微服务器也与交换机连接并入局域网，再将局域网通过路由器联入互联网。
[0057] 实施例二
[0058] 如图5、图6、图7所示，本发明提出的基于深度学习的蜜蜂识别跟踪计数系统，应用于上述实施例一中的智能蜂箱，蜜蜂识别跟踪计数系统包括：
[0059] 蜜蜂图像数据集构建：构建蜜蜂图像数据集合，用于蜜蜂检测和识别的模型训练，包括利用智能蜂箱的采集终端模块通过摄像头采集的蜜蜂图像数据集，及通过手工进行的蜜蜂标注；
[0060] 蜜蜂检测与识别模型训练：将训练数据输入蜜蜂检测识别模型，通过模型的自学习功能不断调整权重参数，直到模型损失降低到一定要求且趋于稳定，获得用于蜜蜂检测与识别的蜜蜂检测与识别网络模型。
[0061] 蜜蜂识别模型：搭建蜜蜂检测和识别的深度卷积神经网络。由于蜜蜂尺度偏小，采用高层语义特征和低层的低级特征二次融合的方法充分提取蜜蜂的特征。同时室外环境复杂多变，干扰因素较多，使用注意力模块提高蜜蜂特征的提取效率。在目标分类和定位中，采用回归分析的方法自回归识别出蜜蜂和其位置。
[0062] 蜜蜂跟踪模块：依据蜜蜂识别的结果，采用基于目标识别的跟踪方法关联分析连续多帧的蜜蜂，实现对多只蜜蜂的同时跟踪并获取其移动轨迹。同时考虑蜜蜂的位置和深度特征进行多帧中蜜蜂的关联，提高蜜蜂跟踪的可靠性和鲁棒性。
[0063] 蜜蜂进出统计模块：依据蜜蜂跟踪模块获得的多只蜜蜂移动轨迹，同时综合考虑蜜蜂距离蜂巢口的距离因素，判断蜜蜂的进出行为，统计蜜蜂的出入数量。
[0064] 基于深度学习的蜜蜂识别系统采用智能算法，通过摄像头采集蜜蜂在出入通道601处的进出数据并进行智能识别处理，对蜜蜜蜂体数量变化进行统计，获得蜜蜂的变化规律。算法设计解决了传统的人工神经网络等图像识别方法中无法满足网络模型深度需要，导致泛化性能不够，不能直接适用于蜜蜂进出活动统计解析的弱点；本蜜蜂识别系统将主干网设计为残差网，残差模块将低层特征直接连接到高层，减少梯度损耗，有助于提高网络层级深度，提取更高层的抽象特征。此方法可以更准确地提供蜜蜂活动数据分析，为研究蜜蜂活动规律与蜂蜜产生量的关系，提供有效的数据支持。

[0065] 传统的自动检测方法多利用统计法或者定位法解决目标去重的问题，利用传统方法解决目标去重问题的精度整体偏低，造成了极高的误检率。为了充分提取蜜蜂的特征，采取多层特征融合的方式提高蜜蜂的特征表达能力，提高蜜蜂检测的精度和召回率。低层特征更多关注于细节信息，缺乏高层的语义信息，高层语义则相反。因此，本发明采取了对不同深度层的特征进行融合，首先将高层特征通过上采样的方式逐层向下融合，丰富较低层特征层的语义信息，然后自底向上通过下采样逐层融合较低层的特征，提高高层的细节特征表达能力。

[0066] 系统的损失函数包括两部分，一方面用于识别蜜蜂的定位损失，以准确的找到蜜蜂的位置，另一方面用于对蜜蜂进行分类的类别损失，以正确的对蜜蜂识别；Lconf表示置信度损耗，Lloc表示蜜蜂预测的定位损耗，由于两者尺度有差异，采用调整系数α进行调整；
[0067] L＝Lconf+αLloc(1)
[0068] 系统的最终输出结果为一个二维向量[n，m]，其中n表示搜索框的数量，m表示每个搜索框的输出数量，其值为p+4，p为目标种类的个数(蜜蜂种类的个数和背景)，每个数值分别表示对应类别的预测置信度，增加的4个数值cx、cy、h和w分别表示实际目标框和搜索框的位置偏移和大小偏移；定位损失采用SL1(即SmoothL1)损失函数，见公式(2)，x为预测值和真实值的差值；
[0069]
[0070] 对于每一个预测为正例(非背景)的预测框，计算其预测偏移和实际偏移的差值作为该搜索框的定位损失，将所有正例的预测损失作为整体定位损失；定位损失的计算见公式(3)；
[0071]
[0072] 其中，pos表示预测为正例的搜索框， 表示预测的实际目标和搜索框的偏移信息， 表示实际的目标和搜索框的偏移信息；
[0073] 置信度损失采用softmax损失函数，如公式(4)所示：
[0074]
[0075] 其中， 表示搜索框i对于种类j的置信度，q表示搜索框i待预测的目标框的种类q。
[0076] 蜜蜂识别系统通过自动记录调查蜜蜂进出、蜜蜂位置记录，统计蜜蜂的出入活动数量，更全面的获取蜜蜂活动数据。
[0077] 本发明从智能技术的算法做起，从蜂箱设计、传输方式、后台管理系统以及蜂蜜生产的整体出发，除了具有现有智能蜂箱的多传感器、摄像头等主要的采集系统特征外，重心放在智能技术的核心‑图像识别算法，其智能算法有别于传统的人工神经网络算法，体现智能技术的优势。与现有智能蜂箱相比，具有明显的特点和优势，运算结果更加准确有效。
[0078] 本发明保持了传统蜂箱的外形，采用了适合蜂箱安装的温湿度传感器3、称重仪2和摄像头1；自主设计了终端4和相应的数据采集接口，采集的数据经过终端4传输到连接的交换机。在数据传输至远端服务器以后，由自主设计的智能化软件处理系统。能自动采集蜂箱重量、温湿度数据和照片或视频数据，并对数据进行分析、处理和智能识别、处理，提供蜜蜂活动规律、环境数据统计分析结果显示和超阈值数据报警，形成蜂蜜产生全过程的数据分析、管理和决策。在基于蜜蜂活动规律分析模型的基础上，更准确的为蜂蜜生产的效率提高提供有效手段，达到减轻生产人员的劳动强度，提高蜂蜜产品产量、质量的目的。
[0079] 本发明集蜂箱的温湿度环境数据、称重数据以及蜜蜂活动图像实时采集、数据传输以及后台智能处理为一体，提供了蜂箱环境状况的实时检测数据、蜜蜂活动状况识别处理、蜂蜜产生量变化数据，并可提供超阈值报警功能，是非常实用、技术含量高的智能化养蜂工具。相关产品可应用于各种养殖蜂场和养殖农户，用于露天和野外放置，蜂箱体及主要部件具有防尘、防雨和防污作用，安装移动方便。
[0080] 与现有多数类型的智能蜂箱相比，本发明提供了更加完备的集数据采集、收集、传输为一体的蜂蜜生产解决方案，具有采集效率高、数据全面准确、智能化水平高和实用性好的特点。为蜂蜜生产行业减少人力投入、蜂蜜生产管理的自动化水平的提高、蜂蜜生产的高效率和蜂产品的高质量提供有效的技术手段和工具。
[0081] 上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于此，在所属技术领域的技术人员所具备的知识范围内，在不脱离本发明宗旨的前提下还可以作出各种变化。

专利地区：北京

专利申请日期：2022-05-31

专利公开日期：2022-11-01

专利公告号：CN114847196B