基于无人机的红火蚁蚁巢检测定位方法发明专利

专利名称：基于无人机的红火蚁蚁巢检测定位方法

专利类型：发明专利

专利申请号：CN202210379365.4

专利申请（专利权）人：华南农业大学
权利人地址：广东省广州市天河区五山路483号

专利发明（设计）人：彭红星,邢政,刘晓瑭,徐汉虹,徐楷杰,王炳锋

专利摘要：本发明公开了一种基于无人机的红火蚁蚁巢检测定位方法，包括：构建红火蚁蚁巢数据集；搭建特征提取网络，所述特征提取网络采用改进后的SSD网络；将特征提取网络连接特征强化网络，构建SSD‑特征强化网络；利用红火蚁蚁巢数据集，对SSD‑特征强化网络架构采用迁移学习的方法进行训练，得到训练好的红火蚁蚁巢检测模型；将整个红火蚁蚁巢检测模型移植到无人机内部，无人机在预设的飞行高度飞行时获取实时视频流，截取视频流中每帧图像，利用红火蚁蚁巢检测模型对每帧图像进行红火蚁蚁巢检测，输出红火蚁蚁巢位置信息和分布图。本方法能高效、准确地检测出红火蚁蚁巢，提高野外勘探效率，实现蚁巢检测的智能化。

主权利要求：
1.一种基于无人机的红火蚁蚁巢检测定位方法，其特征在于，包括以下步骤：
S1，利用无人机进行红火蚁蚁巢图像的收集，构建红火蚁蚁巢数据集；
S2，搭建特征提取网络，用以对红火蚁蚁巢图像进行特征提取；所述特征提取网络采用改进后的SSD网络，具体为：修改SSD网络的VGG16主干网络，将其替换为MobileNetV2网络；网络调整后从前至后依次为SSD网络原有的Conv_1卷积层、MobileNetV2网络的Conv_2卷积层到Conv_13卷积层、SSD网络原有的Conv_14卷积层至Conv_16卷积层；
在SSD网络的第一层中的Conv_1卷积层后增加CBAM通道注意力机制，同时将Conv_1设为1×1的卷积方式进行特征处理；
在SSD网络的Conv_1与MobileNetV2网络的Conv_2之间依次加入CBAM注意力机制、深度卷积层、点态卷积层；MobileNetV2网络的Conv_2与Conv_3之间依次加入CBAM注意力机制、点态卷积层、深度卷积层、点态卷积层；Conv_3与Conv_4之间、Conv_4与Conv_5之间均依次加入CBAM注意力机制、深度卷积层和点态卷积层；Conv_5与Conv_6之间、Conv_7与Conv_8之间、Conv_8与Conv_9之间、Conv_9与Conv_10之间、Conv_11与Conv_12之间均依次加入点态卷积层、深度卷积层和点态卷积层，Conv_6与Conv_7之间、Conv_12与Conv_13之间均分别加入深度卷积层和点态卷积层；
将SSD网络内的特征提取层Conv_13卷积层至Conv_16卷积层进行尺寸调整；
S3，将特征提取网络连接特征强化网络，构建SSD‑特征强化网络；
所述特征强化网络从前至后结构依次为：3×3卷积层、全连接Dense、LeakyReLU激活函数、最大池化层、全连接Dense、最大池化层；
将改进后的SSD网络的Conv_14卷积层至Conv_16卷积层连接特征强化网络第一层的3×3卷积层，组建SSD‑特征强化网络架构；
利用红火蚁蚁巢数据集，对SSD‑特征强化网络架构采用迁移学习的方法进行训练，得到训练好的红火蚁蚁巢检测模型；
S4，将整个红火蚁蚁巢检测模型移植到无人机内部，无人机在预设的飞行高度飞行时获取实时视频流，截取视频流中每帧图像，利用红火蚁蚁巢检测模型对每帧图像进行红火蚁蚁巢检测，输出红火蚁蚁巢位置信息和分布图；
所述利用无人机进行红火蚁蚁巢图像的收集，构建红火蚁蚁巢数据集，包括：
利用无人机在红火蚁分布区域采集图像，控制无人机以预设的飞行高度和飞行速度匀速飞过红火蚁蚁巢存在区域；通过遥控器调节无人机内的摄像头拍摄角度，水平转动方向为0度至360度，竖直旋转方向为0度至180度，选取不同遮挡、不同光照、不同角度的图像，拍摄并存储在无人机内；将图片进行数据增强处理，构建红火蚁蚁巢数据集；将红火蚁蚁巢数据集中的红火蚁蚁巢图像进行人工标注，并按照PASCALVOC2007的格式来存放；
所述对SSD‑特征强化网络架构采用迁移学习的方法进行训练，包括：
采用迁移学习的方法对SSD‑特征强化网络架构进行训练，通过冻结和解冻的操作来实现：设置训练迭代数为200，前50次冻结训练，设批处理大小为32，学习速率调为0.0005，后
150次解冻训练，设批处理大小为16，学习速率调为0.0001，参数设置完毕后利用红火蚁蚁巢数据集开始训练SSD‑特征强化网络，得到训练好的红火蚁蚁巢检测模型；
所述无人机上搭载有飞行模块、图像模块、后台模块，其中：
飞行模块负责无人机飞行过程中对环境的感知，控制飞行的平稳姿态，并设计无人机的飞行轨迹，
图像模块用于无人机飞行过程中的自动避障、对视频流的获取和对视频流每帧图像中红火蚁蚁巢的检测，并有存储功能；
后台模块负责与无人机飞行过程中的实时信息交互，并将检测结果可视化显示以及存储。
2.根据权利要求1所述的基于无人机的红火蚁蚁巢检测定位方法，其特征在于，依次设置的点态卷积层、深度卷积层、点态卷积层构成卷积处理单元，卷积处理单元中，第一个是1×1的点态卷积层，用于扩张特征图的通道数，即升维；第二个是为3×3的深度卷积层，用于提取特征；第三个为1×1的点态卷积层，用于压缩特征图的通道数，即降维；在降维后使用Linear操作。
3.根据权利要求1所述的基于无人机的红火蚁蚁巢检测定位方法，其特征在于，所述将SSD网络内的特征提取层Conv_13卷积层至Conv_16卷积层进行尺寸调整，包括：将卷积层Conv_13至Conv_16从10×10×512、5×5×256、3×3×256、1×1×256尺寸改为三层的20×20×256、10×10×256、5×5×256尺寸，以适应特征信息维度的变化，分别利用14×14、15×15、16×16尺寸大小卷积操作提取信息。
4.根据权利要求1所述的基于无人机的红火蚁蚁巢检测定位方法，其特征在于，所述飞行模块包括各类传感器、飞控系统、导航技术；传感器包括ADXL345数字加速度计传感器、MPU‑3050三轴陀螺仪、TMR磁阻传感器、MS5611气压传感器、HC‑SR04超声波传感器；导航技术采用GPS定位导航技术；飞控系统负责与地面遥控交互，控制无人机飞行；
所述图像模块包括相机系统、红火蚁蚁巢检测模型、自动避障系统、位置存储系统；其中自动避障系统用于为无人机作业时减少障碍物的干扰；位置存储系统记录检测到的红火蚁蚁巢的位置信息；
所述后台模块包括数据处理系统、通信系统、数据存储系统；数据处理系统用于对红火蚁蚁巢检测模型的输出结果进行分类，分为有红火蚁蚁巢的图像和无红火蚁蚁巢的图像，便于对区域进行判断；通信系统用于对数据处理系统输出结果的获取，并利用结果对地图进行位置标记，得到红火蚁蚁巢的分布图；数据存储系统将红火蚁蚁巢位置信息和分布图进行保存。 说明书 : 基于无人机的红火蚁蚁巢检测定位方法技术领域[0001] 本发明涉及人工智能与无人机应用技术领域，特别涉及一种基于无人机的红火蚁蚁巢检测定位方法。背景技术[0002] 红火蚁是一种极具危险的外来入侵害虫，会造成严重生态系统破坏，并危及人类的生命安全。如若铲除地区内红火蚁，必须从源头上解决蚁巢。红火蚁蚁巢有着比一般蚁巢较大的形状和更深的颜色，防控人员根据这些特征利用直接观察法和光谱仪检测法进行野外红火蚁蚁巢的勘探。这两种方法虽能检测到红火蚁蚁巢，但费时费力，且成本也会增加，降低监测的效率。[0003] 随着深度学习算法和无人机技术的发展成熟，更多的野外作业任务变得智能化。科研人员对传统的算法如FastR‑CNN、YouOnlyLookOnce(YOLO)、SingleShotMulti‑BoxDetector(SSD)改进，提高检测准确率，并将通过算法训练得到的模型移植到无人机，利用无人机的灵活性提高检测任务的工作效率。[0004] 国内外对于算法和无人机的研究较多，他们中比较有代表性的有：[0005] 刘宽等为了提高目标检测在嵌入式或移动端设备运行的可能性，构建一种轻量化SSD目标检测模型，在参数量上减少了47.3％，每秒处理图像帧数比经典SSD算法提升3.7倍，mAP达到73.6％，和经典算法的结果相差无几。[0006] 成怡等针对无人机避障系统中视觉防撞的关键技术进行研究，改进Yolov4‑tiny目标检测算法，并提出一种基于目标检测的视觉防撞方法,其平均精度达到69％。[0007] Boudjit等使用基于无人机摄像头的卷积神经网络YOLOv2进行人员识别和检测，人物检测结果表明，YOLOv2检测和分类物体的准确率很高。对于实时跟踪，跟踪算法的响应速度比传统方法更快，可以有效地跟踪检测到的人而不会从视线中消失。[0008] SunHan等设计了一个更深层次的SSD网络，为了提高无人机目标分类性能，采用了上采样模块，增加了底层特征映射的特征数量。为了提高目标定位的性能，采用了下采样模块，以便高层特征映射可以直接使用上下文信息，实验证明了改进后的SSD对小型无人机的检测和识别非常有用。[0009] 通过对国内外研究的分析可见，利用无人机和深度学习对现代化产业应用有极大推进作用，而近年来，针对于红火蚁蚁巢检测，吴伟斌等主要利用光谱技术，获得红火蚁蚁巢土壤及其周围的裸露的非蚁巢土壤、草、沙等物体的反射光谱，找出红火蚁蚁巢区别于周围其它地物的光谱特征，从而定位出蚁巢位置，这种方法不仅成本高，而且灵活性差，使得野外作业人员检测难度提升。发明内容[0010] 本发明的目的是提供一种基于无人机的红火蚁蚁巢检测定位方法，以高效、准确地检测出红火蚁蚁巢，提高野外勘探效率，实现蚁巢检测的智能化。[0011] 为了实现上述任务，本发明采用以下技术方案：[0012] 一种基于无人机的红火蚁蚁巢检测定位方法，包括以下步骤：[0013] S1，利用无人机进行红火蚁蚁巢图像的收集，构建红火蚁蚁巢数据集；[0014] S2，搭建特征提取网络，用以对红火蚁蚁巢图像进行特征提取；所述特征提取网络采用改进后的SSD网络，具体为：[0015] 修改SSD网络的VGG16主干网络，将其替换为MobileNetV2网络；网络调整后从前至后依次为SSD网络原有的Conv_1卷积层、MobileNetV2网络的Conv_2卷积层到Conv_13卷积层、SSD网络原有的Conv_14卷积层至Conv_16卷积层；[0016] 在SSD网络的第一层中的Conv_1卷积层后增加CBAM通道注意力机制，同时将Conv_1设为1×1的卷积方式进行特征处理；[0017] 在SSD网络的Conv_1与MobileNetV2网络的Conv_2之间依次加入CBAM注意力机制、深度卷积层、点态卷积层；MobileNetV2网络的Conv_2与Conv_3之间依次加入CBAM注意力机制、点态卷积层、深度卷积层、点态卷积层；Conv_3与Conv_4之间、Conv_4与Conv_5之间均依次加入CBAM注意力机制、深度卷积层和点态卷积层；Conv_5与Conv_6之间、Conv_7与Conv_8之间、Conv_8与Conv_9之间、Conv_9与Conv_10之间、Conv_11与Conv_12之间均依次加入点态卷积层、深度卷积层和点态卷积层，Conv_6与Conv_7之间、Conv_12与Conv_13之间均分别加入深度卷积层和点态卷积层；[0018] 将SSD网络内的特征提取层Conv_13卷积层至Conv_16卷积层进行尺寸调整；[0019] S3，将特征提取网络连接特征强化网络，构建SSD‑特征强化网络；[0020] 所述特征强化网络从前至后结构依次为：3×3卷积层、全连接Dense、LeakyReLU激活函数、最大池化层、全连接Dense、最大池化层；[0021] 将改进后的SSD网络的Conv_14卷积层至Conv_16卷积层连接特征强化网络第一层的3×3卷积层，组建SSD‑特征强化网络架构；[0022] 利用红火蚁蚁巢数据集，对SSD‑特征强化网络架构采用迁移学习的方法进行训练，得到训练好的红火蚁蚁巢检测模型；[0023] S4，将整个红火蚁蚁巢检测模型移植到无人机内部，无人机在预设的飞行高度飞行时获取实时视频流，截取视频流中每帧图像，利用红火蚁蚁巢检测模型对每帧图像进行红火蚁蚁巢检测，输出红火蚁蚁巢位置信息和分布图。[0024] 进一步地，所述利用无人机进行红火蚁蚁巢图像的收集，构建红火蚁蚁巢数据集，包括：[0025] 利用无人机在红火蚁分布区域采集图像，控制无人机以预设的飞行高度和飞行速度匀速飞过红火蚁蚁巢存在区域；通过遥控器调节无人机内的摄像头拍摄角度，水平转动方向为0度至360度，竖直旋转方向为0度至180度，选取不同遮挡、不同光照、不同角度的图像，拍摄并存储在无人机内；将图片进行数据增强处理，构建红火蚁蚁巢数据集；将红火蚁蚁巢数据集中的红火蚁蚁巢图像进行人工标注，并按照PASCALVOC2007的格式来存放。[0026] 进一步地，依次设置的点态卷积层、深度卷积层、点态卷积层构成卷积处理单元，卷积处理单元中，第一个是1×1的点态卷积层，用于扩张特征图的通道数，即升维；第二个是为3×3的深度卷积层，用于提取特征；第三个为1×1的点态卷积层，用于压缩特征图的通道数，即降维；在降维后，为了避免ReLU6对特征的破坏，不再使用其进行激活，而使用Linear操作。[0027] 进一步地，所述将SSD网络内的特征提取层Conv_13卷积层至Conv_16卷积层进行尺寸调整，包括：[0028] 将卷积层Conv_13至Conv_16从10×10×512、5×5×256、3×3×256、1×1×256尺寸改为三层的20×20×256、10×10×256、5×5×256尺寸，以适应特征信息维度的变化，分别利用14×14、15×15、16×16尺寸大小卷积操作提取信息。[0029] 进一步地，所述对SSD‑特征强化网络架构采用迁移学习的方法进行训练，包括：[0030] 采用迁移学习的方法对SSD‑特征强化网络架构进行训练，通过冻结和解冻的操作来实现：设置训练迭代数为200，前50次冻结训练，设批处理大小为32，学习速率调为0.0005，后150次解冻训练，设批处理大小为16，学习速率调为0.0001，参数设置完毕后利用红火蚁蚁巢数据集开始训练SSD‑特征强化网络，得到训练好的红火蚁蚁巢检测模型。[0031] 进一步地，所述无人机上搭载有飞行模块、图像模块、后台模块，其中：[0032] 飞行模块负责无人机飞行过程中对环境的感知，控制飞行的平稳姿态，并设计无人机的飞行轨迹，[0033] 图像模块用于无人机飞行过程中的自动避障、对视频流的获取和对视频流每帧图像中红火蚁蚁巢的检测，并有存储功能；[0034] 后台模块负责与无人机飞行过程中的实时信息交互，并将检测结果可视化显示以及存储。[0035] 进一步地，所述飞行模块包括各类传感器、飞控系统、导航技术；传感器包括ADXL345数字加速度计传感器、MPU‑3050三轴陀螺仪、TMR磁阻传感器、MS5611气压传感器、HC‑SR04超声波传感器；导航技术采用GPS定位导航技术；飞控系统主要负责与地面遥控交互，控制无人机飞行；[0036] 所述图像模块包括相机系统、红火蚁蚁巢检测模型、自动避障系统、位置存储系统；其中自动避障系统用于为无人机作业时减少障碍物的干扰；位置存储系统记录检测到的红火蚁蚁巢的位置信息；[0037] 所述后台模块包括数据处理系统、通信系统、数据存储系统；数据处理系统用于对红火蚁蚁巢检测模型的输出结果进行分类，分为有红火蚁蚁巢的图像和无红火蚁蚁巢的图像，便于对区域进行判断；通信系统用于对数据处理系统输出结果的获取，并利用结果对地图进行位置标记，得到红火蚁蚁巢的分布图；数据存储系统将红火蚁蚁巢位置信息和分布图进行保存。[0038] 与现有技术相比，本发明具有以下技术特点：[0039] 本发明采用轻量化的网络MobileNetV2作为SSD的主干网络，可减少计算成本，降低整个模型的参数量，并加入CBAM注意力机制来丰富特征信息，提高模型的特征提取能力，对训练数据进行数据增强，提高模型的鲁棒性，并与特征强化网络组成SSD‑特征强化网络架构，最后利用迁移学习的方法提高模型的训练周期。将训练后的SSD‑特征强化网络系统移植到无人机内部，设置无人机飞行参数以及飞行逻辑，可以实现高效、精准地检测红火蚁蚁巢，红火蚁的防控提供有效的技术手段。通过该方法，可以减小模型的参数量，为移植到嵌入式系统提供有利条件，并且加入的注意力机制和数据增强的方法提高了识别精度，准确率达到97.21％，满足野外监测红火蚁蚁巢的技术需求。附图说明[0040] 图1是本发明方法的设计思路流程图；[0041] 图2是本发明方法的改进后的SSD网络示意图；[0042] 图3是本发明方法的特征强化网络结构图；[0043] 图4是本发明方法的无人机实际作业图；[0044] 图5是本发明方法的无人机检测流程图。具体实施方式[0045] 下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。[0046] 如图1所示，本发明公开了一种基于无人机的红火蚁蚁巢检测定位方法，包括如下步骤：[0047] S1，利用无人机进行红火蚁蚁巢图像的收集，构建红火蚁蚁巢数据集。[0048] 利用无人机在红火蚁分布区域，例如红火蚁研究基地采集图像，设置飞行高度为10‑13m，飞行速度为50cm/s，匀速飞过红火蚁蚁巢存在区域；通过遥控器调节无人机内的摄像头拍摄角度，水平转动方向为0度至360度，竖直旋转方向为0度至180度，选取不同遮挡、不同光照、不同角度的图像，拍摄并存储在无人机内；将图片进行数据增强处理，使用水平旋转、垂直旋转、剪裁、缩放等方式，经过整理筛选后获得2000张自制红火蚁蚁巢数据集；将红火蚁蚁巢数据集进行人工标注，使用LabelImg框选出图像内的红火蚁蚁巢，生成对应的xml文件；将数据集按照PASCALVOC2007的格式来存放，包含Annotations、Main、JPEGImages三种文件。[0049] S2，搭建特征提取网络，用以对红火蚁蚁巢图像进行特征提取。[0050] 将改进后的SSD网络作为本方案中的特征提取网络，其中，所述改进后的SSD网络具体为：[0051] (1)修改SSD网络的主干网络，将其替换为MobileNetV2网络，减少模型整体的参数量；具体地，对SSD网络的VGG16主干网络，VGG16主干网络位于SSD网络的2到13层，将VGG16主干网络替换为MobileNetV2网络，SSD网络其余的卷积层结构不变；MobileNetV2网络包括图2中所示的Conv_2到Conv_13卷积层；网络调整后从前至后依次为SSD网络原有的Conv_1卷积层、MobileNetV2网络的Conv_2卷积层到Conv_13卷积层、SSD网络原有的Conv_14卷积层至Conv_16卷积层。[0052] (2)在SSD网络上增加CBAM注意力机制，并对MobileNetV2网络进行调整，以实现在卷积神经网络的端到端训练：[0053] (2‑1)本实施例中将图像的输入维度调为640×640×3，并在SSD网络的第一层中的卷积层后增加CBAM通道注意力机制，同时将第一层卷积层Conv_1设为1×1的卷积方式进行特征处理，提升特征的丰富度，使得更多有效的信息被提取。CBAM注意力机制会顺着通道和空间两个维度生成注意力特征图，再把注意力特征图与输入的特征图进行乘运算实现特征优化。[0054] (2‑2)SSD网络的Conv_1与MobileNetV2网络的Conv_2之间依次加入CBAM注意力机制、深度卷积层、点态卷积层；MobileNetV2网络的Conv_2与Conv_3之间依次加入CBAM注意力机制、点态卷积层、深度卷积层、点态卷积层；Conv_3与Conv_4之间、Conv_4与Conv_5之间均依次加入CBAM注意力机制、深度卷积层和点态卷积层；Conv_5与Conv_6之间、Conv_7与Conv_8之间、Conv_8与Conv_9之间、Conv_9与Conv_10之间、Conv_11与Conv_12之间均依次加入点态卷积层、深度卷积层和点态卷积层，Conv_6与Conv_7之间、Conv_12与Conv_13之间均分别加入深度卷积层和点态卷积层。该操作可提取更多高层次特征信息，再将每层的特征信息通过深度卷积和点态卷积运算传递下去，两种运算利用加操作来实现，规避了传统的乘运算，降低了计算复杂度，整体上减少了网络参数量。[0055] 图2中的Conv_7‑11表示Conv_7到Conv_11卷积层均使用40×40×512×2尺寸，并且在Conv_7到Conv_11卷积层之后均分别设置点态卷积层、深度卷积层、点态卷积层以替代传统卷积的乘运算，减少了计算量。[0056] 依次设置的点态卷积层、深度卷积层、点态卷积层构成卷积处理单元，卷积处理单元中，第一个是1×1的点态卷积层，主要是为了“扩张”特征图的通道数，即升维；第二个是为3×3的深度卷积层，主要是提取特征；第三个为1×1的点态卷积层，主要是“压缩”特征图的通道数，即降维；在降维后，为了避免ReLU6对特征的破坏，不再使用其进行激活，而使用Linear操作。[0057] MobileNetV2网络的Conv_3卷积层、Conv_6卷积层和Conv_12卷积层均设为两种尺寸，目的是提高网络对输入图像尺寸的适应性和鲁棒性。[0058] (3)本实施例又将SSD网络内的特征提取层，即后四层卷积层Conv_13至Conv_16进行调整，将其从10×10×512、5×5×256、3×3×256、1×1×256尺寸改为三层的20×20×256、10×10×256、5×5×256尺寸，以适应特征信息维度的变化，分别利用14×14、15×15、16×16尺寸大小卷积操作提取信息，并将有效的特征信息输出。[0059] S3，将特征提取网络连接特征强化网络，构建SSD‑特征强化网络。[0060] 搭建特征强化网络，从前至后结构依次为：3×3卷积层、全连接Dense、LeakyReLU激活函数、最大池化层、全连接Dense、最大池化层，形成一个完整的特征强化网络；将改进后的SSD网络的Conv_14卷积层至Conv_16卷积层连接特征强化网络第一层的3×3卷积层，组建SSD‑特征强化网络架构。[0061] 如图3所示，本实施例提供了一种特征强化网络，从前至后依次为卷积层、Dense层、LeakyReLU激活函数、最大池化层、Dense层、最大池化层；本方案将卷积层设为3×3的卷积核，并且与改进后的SSD网络的Conv_14卷积层至Conv_16卷积层进行连接，用以提取改进SSD模型输入的特征图像；第一个Dense层相当于全连接层，解决卷积层提取特征的非线性问题；加入的LeakyReLU激活函数能够解决系统运行过程中中断问题，使得反向传播的过程中梯度不为0，也可以避免梯度变化为锯齿状从而影响计算的问题；第一个最大池化层主要对特征图中的数据维度进行降维，减少计算量，提高系统的运行速度；第二个Dense层可根据多个特征进行分类，提高运算效率；第二个最大池化层对总分类的特征进行降维，并增加特征图的鲁棒性，最终输出检测结果。[0062] 本实施例中通过将特征强化网络与改进后的SSD网络进行连接，组成SSD‑特征强化网络架构，输入的图像语义信息经过改进的SSD网络处理后输出降维后图像特征图，再将降维后图像特征图输入到特征强化网络，输出细化的图像特征图，这一整套SSD‑特征强化网络架构不仅可进一步降低数据维度，还能实现提取特征的细化，增强图像的语义信息表达，使得在后续的检测过程能够提取到更多有效的特征信息，提高整个架构的识别准确率。[0063] 采用迁移学习的方法对SSD‑特征强化网络架构进行训练，通过冻结和解冻的操作来实现：设置训练迭代数为200，前50次冻结训练，设批处理大小为32，学习速率调为0.0005，后150次解冻训练，设批处理大小为16，学习速率调为0.0001，参数设置完毕后利用步骤S1中的红火蚁蚁巢数据集开始训练SSD‑特征强化网络，得到训练好的红火蚁蚁巢检测模型。[0064] S4，将整个红火蚁蚁巢检测模型移植到无人机内部，无人机在预设的飞行高度飞行时获取实时视频流，截取视频流中每帧图像，利用红火蚁蚁巢检测模型对每帧图像进行红火蚁蚁巢检测，输出红火蚁蚁巢位置信息和分布图。[0065] 配置无人机环境，装备图像模块，之后将训练好的红火蚁蚁巢检测模型移植到无人机的图像模块中；无人机飞行高度在10‑13m的范围内，符合步骤S1的数据采集飞行高度，在野外环境下通过图像模块扫描红火蚁蚁巢，获取实时视频流；截取视频流中每帧图像进行检测，并框出置信度大于0.5的红火蚁蚁巢，输出红火蚁蚁巢位置信息和分布图。[0066] 如图4所示，本实施例公开了一种基于无人机的红火蚁蚁巢检测定位方法实际作业系统图，无人机上搭载有飞行模块、图像模块、后台模块。[0067] 飞行模块负责无人机飞行过程中对环境的感知，控制飞行的平稳姿态，并设计无人机的飞行轨迹，达到高效飞行的效果，它主要包括各类传感器、飞控系统、导航技术；传感器包括ADXL345数字加速度计传感器、MPU‑3050三轴陀螺仪、TMR磁阻传感器、MS5611气压传感器、HC‑SR04超声波传感器；导航技术采用GPS定位导航技术；飞控系统主要负责与地面遥控交互，控制无人机飞行。[0068] 图像模块用于无人机飞行过程中的自动避障、对视频流的获取和对视频流每帧图像中红火蚁蚁巢的检测，并有存储功能，便于与后台的信息交换，它主要由相机系统、红火蚁蚁巢检测模型、自动避障系统、位置存储系统组成；其中相机拥有一英寸CMOS，两千万像素；自动避障系统可为无人机作业时减少障碍物的干扰；位置存储系统记录检测到的红火蚁蚁巢的位置信息。[0069] 后台模块负责与无人机飞行过程中的实时信息交互，并将检测结果可视化显示以及存储，它主要由数据处理系统、通信系统、数据存储系统；数据处理系统用于对红火蚁蚁巢检测模型的输出结果进行分类，分为有红火蚁蚁巢的图像和无红火蚁蚁巢的图像，便于对区域进行判断；通信系统主要实现对数据处理系统输出结果的获取，并利用结果对地图进行位置标记，以便得到红火蚁蚁巢的分布图；数据存储系统将红火蚁蚁巢位置信息和分布图进行保存，空间大小为2TB。[0070] 进一步的，在本实施例中，如图4所示，在无人机安装英伟达主板，内部安装Ubuntu18版本的系统，配置好运行环境，装备飞行模块和图像模块，控制无人机扫描规定区域，利用无人机内部的摄像头获取实时视频流，并用红火蚁蚁巢检测模型对每帧图像进行筛选，检测出有红火蚁蚁巢存在的图像，将获取的红火蚁蚁巢位置信息及时反馈给后台模块，最终后台计算机根据无人机所输出的位置信息实时标定扫描的地图，获得红火蚁蚁巢位置信息和分布图。[0071] 如图5所示，配置好的无人机进行红火蚁蚁巢检测定位时，首先对检测区域进行分析，在规避障碍物的前提下设计无人机飞行路线，设计完成后利用GPS导航飞行，飞行过程中实时扫描区域，获取扫描视频中每帧的图像，然后调用红火蚁蚁巢检测模型测每帧图像是否有红火蚁蚁巢，若有则利用红框标记处理置信度大于0.5的红火蚁蚁巢并利用GPS定位红火蚁蚁巢的位置，将红火蚁蚁巢图像和位置信息传递给后台模块进行处理；若不存在红火蚁蚁巢，则不用红框标记并反馈给后台模块进行处理。最后后台计算机根据无人机所输出的位置信息实时标定扫描的地图，获得红火蚁蚁巢位置信息和分布图。[0072] 以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

专利地区：广东

专利申请日期：2022-04-12

专利公开日期：2024-07-26

专利公告号：CN114708538B