专利名称:基于拉普拉斯和相似度的河湖管理违规问题遥感监测方法
专利类型:发明专利
专利申请号:CN202410666206.1
专利申请(专利权)人:山东锋士信息技术有限公司
权利人地址:山东省济南市高新区遥墙街道明远街2号中欧智造港18号多层厂房1单元101室、102室
专利发明(设计)人:刘玉峰,孙启玉,杨公平,孙平,崔苗苗
专利摘要:本发明涉及基于拉普拉斯和相似度的河湖管理违规问题遥感监测方法,属于遥感图像处理技术领域。在编码器阶段用拉普拉斯金字塔中与各层提取的特征图尺寸大小相同的高频分量进行各层提取特征的特征增强;解码器阶段,对不同尺度的增强后的特征分别应用相似度注意力,使用跳跃连接来实现多尺度特征融合;对各层相似度注意力模块解码的特征进行相同尺寸拼接得到最终特征图,用该图完成结果预测。本发明将拉普拉斯金字塔和余弦相似度应用到遥感分割领域,提高了模型的检测效率和识别精度。
主权利要求:
1.基于拉普拉斯和相似度的河湖管理违规问题遥感监测方法,其特征是,包括步骤如下:
S1.获取河湖周边的遥感影像,划分数据集并预处理;
S2.编码器阶段,将预处理后的遥感图像送入特征提取网络提取多层特征,利用预处理的遥感图像构建拉普拉斯金字塔LP得到一系列低频和高频分量,选择LP中与各层提取的特征图尺寸大小相同的高频分量进行各层提取特征的特征增强;
特征增强过程为:将LP的各级高频分量首先通过1×1卷积来将通道维度压缩至1,随后与一个可学习参数进行乘积,最后将得到的高频分量与尺寸大小相同的提取特征图进行元素相加操作;
S3.解码器阶段,对不同尺度的增强后的特征分别应用相似度注意力,高层提取的特征增强后经过相似度注意力模块然后进行上采样,再与次级层提取的特征增强后特征进行元素相加,然后作为次级层对应相似度注意力模块的输入,使用跳跃连接来实现多尺度特征融合;
所述的相似度注意力模块中,输入的特征F首先会通过空间注意力来初步突出违规区域,并抑制正常区域得到初步增强特征F’,对初步增强特征F’分别进行全局最大池化和全局平均池化操作,该步提取到了违规区域的显著特征,随后使用余弦相似度来计算两种操作的显著特征与F’的相似性,将两个相似性结果分别通过softmax函数进行归一化,并将二者按照λ和1‑λ的参数比例进行融合,得到加权相似性权重图,该权重图与初步增强特征F’进行点积操作,并添加残差分支,让点积后的特征与F’再进行元素相加,获得输出;
S4.解码器阶段末,对各层相似度注意力模块解码的特征进行统一通道压缩并上采样操作至相同尺寸,然后拼接,得到最终特征图,利用该图获得预测掩码,完成结果预测;
S5.利用训练集迭代更新获得训练好的模型,将测试集图像送入训练好的模型完成预测。
2.根据权利要求1所述的基于拉普拉斯和相似度的河湖管理违规问题遥感监测方法,其特征是,步骤S1中所述的预处理包括图像裁剪、形成标签、缩放、数据增强和标准化处理。
3.根据权利要求1所述的基于拉普拉斯和相似度的河湖管理违规问题遥感监测方法,其特征是,步骤S2使用的特征提取网络是ResNet‑18。
4.根据权利要求1所述的基于拉普拉斯和相似度的河湖管理违规问题遥感监测方法,其特征是,步骤S3中所述的空间注意力是将初始特征通过通道级的平均池化和最大池化操作获得两组通道描述,再将二者拼接后通过卷积和sigmoid激活,得到空间注意力权重图,利用权重图对初始特征进行加权,得到初步增强特征F’。
5.根据权利要求1所述的基于拉普拉斯和相似度的河湖管理违规问题遥感监测方法,其特征是,步骤S3中所述的相似性具体计算公式如下:,
其中,Si,j表示在坐标(i,j)处的相似性结果,x表示全局最大池化或全局平均池化提取的显著特征,F’i,j表示F’在坐标(i,j)处的特征向量, 代表L2距离。
6.基于拉普拉斯和相似度的河湖管理违规问题遥感监测系统,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征是,所述处理器执行所述程序时实现如权利要求1‑5任一项所述的基于拉普拉斯和相似度的河湖管理违规问题遥感监测方法。 说明书 : 基于拉普拉斯和相似度的河湖管理违规问题遥感监测方法技术领域[0001] 本发明涉及一种基于拉普拉斯和相似度的河湖管理违规问题遥感监测方法,通过拉普拉斯金字塔特征增强和相似度注意力实现对河湖周边地面物体进行分割,从而实现对违规问题的快速、准确检测,属于深度学习、遥感图像处理和河湖监督监测技术领域。背景技术[0002] 河湖资源在维护生态平衡、保护水环境以及促进可持续发展方面具有至关重要的作用。传统的河湖管理依赖于人工巡查和常规调查,这些方法不仅耗费大量人力,而且效率低下,覆盖范围有限。为了提升河湖管理的效率和准确性,遥感技术提供了一种有效的解决方案。这项技术通过在卫星、航空器或无人机平台上安装的传感器,捕获地面、大气和水体的信息,从而获取高分辨率且覆盖范围广泛的图像数据。利用这些遥感图像,我们能够详细了解河湖资源的情况,如水体边界、水质状况和岸线变化等。此外,结合地理信息系统(GIS)和全球定位系统(GPS),可以实现河湖资源的精准定位和实时监控。尽管遥感图像分辨率高、信息量大,但其处理通常依赖于耗时的人工解读。因此,如何在处理大量河湖遥感图像时,快速且自动地监测河湖违规行为,依然是一个重大挑战。[0003] 目前,许多遥感分割方法采用深度学习技术来提取河湖影像中的深层语义特征。然而,深度学习模型在提取特征时往往会减小特征图的尺寸,考虑到河湖影像通常具有高分辨率和丰富的细节,河湖违规问题往往涉及小尺寸地面物体,特征图尺寸的缩小可能导致这些小尺寸物体的特征丢失,进而影响了河湖违规问题检测的准确性。其次,尽管现有的方法具有强大的特征提取能力,但它们在有效利用这些提取的特征来准确识别目标对象语义并滤除不相关信息方面遇到了困难。提取的特征往往对来自遥感图像的照明、噪声和季节等因素引起的几何错位和光谱差异缺乏鲁棒性。因此,使用更有效的技术来增强具有区分性信息的特征对于准确识别违规区域是很有必要的。河湖资源在维护生态平衡、保护水环境以及促进可持续发展方面具有至关重要的作用。然而,在河湖管理中存在着乱建、乱占、乱采、乱堆等违规问题,这些问题严重破坏了河湖生态系统,导致水资源过度开采、水污染加剧以及生态环境恶化。因此,治理河湖违规问题迫在眉睫,关乎环境保护和可持续发展。发明内容[0004] 本发明的目的是克服现有技术不足,而提供一种基于拉普拉斯和相似度的河湖管理违规问题遥感监测方法,该方法能够对像素级的显著性特征进行增强,并通过相似度来突出违规区域,实现精确的分割结果。[0005] 本发明采取的技术方案为:[0006] 基于拉普拉斯和相似度的河湖管理违规问题遥感监测方法,包括步骤如下:[0007] S1.获取河湖周边的遥感影像,划分数据集并预处理;[0008] S2.编码器阶段,将预处理后的遥感图像送入特征提取网络提取多层特征,利用预处理的遥感图像构建拉普拉斯金字塔LP得到一系列低频和高频分量,选择LP中与各层提取的特征图尺寸大小相同的高频分量进行各层提取特征的特征增强;[0009] S3.解码器阶段,对不同尺度的增强后的特征分别应用相似度注意力,高层(后提取层)提取的特征增强后经过相似度注意力模块然后进行上采样,再与次级层(前一提取层)提取的特征增强后特征进行元素相加,然后作为次级层对应相似度注意力模块的输入,使用跳跃连接来实现多尺度特征融合;[0010] S4.解码器阶段末,对各层相似度注意力模块解码的特征进行统一通道压缩并上采样操作至相同尺寸,然后拼接,得到最终特征图,利用该图获得预测掩码,完成结果预测;[0011] S5.利用训练集迭代更新获得训练好的模型,将测试集图像送入训练好的模型完成预测。[0012] 上述方法中,步骤S1中所述的预处理包括图像裁剪、形成标签、缩放、数据增强和标准化处理。[0013] 步骤S2使用的特征提取网络是ResNet‑18,优选ResNet‑18总共有四层。[0014] 步骤S2中所述的特征增强过程为:将LP的各级高频分量首先通过1×1卷积来将通道维度压缩至1,随后与一个可学习参数进行乘积,最后将得到的高频分量与尺寸大小相同的提取特征图进行元素相加操作。[0015] 步骤S3中所述的相似度注意力模块,输入的特征F首先会通过空间注意力来初步突出违规区域,并抑制正常区域得到初步增强特征F’,对初步增强特征F’分别进行全局最大池化和全局平均池化操作,该步提取到了违规区域的显著特征,随后使用余弦相似度来计算两种操作的显著特征与F’的相似性,将两个相似性结果分别通过softmax函数进行归一化,并将二者按照λ和1‑λ的参数比例进行融合,得到加权相似性权重图,该权重图与初步增强特征F’进行点积操作,并添加残差分支,让点积后的特征与F’再进行元素相加,获得输出。[0016] 步骤S3中所述的空间注意力是将初始特征通过通道级的平均池化和最大池化操作获得两组通道描述,再将二者拼接后通过卷积和sigmoid激活,得到空间注意力权重图,利用权重图对初始特征进行加权,得到初步增强特征F’。[0017] 步骤S3中所述的相似性具体计算公式如下:[0018] ,[0019] 其中,Si,j表示在坐标(i,j)处的相似性结果,x表示全局最大池化或全局平均池化提取的显著特征,F’i,j表示F’在坐标(i,j)处的特征向量, 代表L2距离。[0020] 本发明的另一目的是提供一种基于拉普拉斯和相似度的河湖管理违规问题遥感监测系统,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上所述的基于拉普拉斯和相似度的河湖管理违规问题遥感监测方法。[0021] 本发明的有益效果是:[0022] 本发明利用了拉普拉斯金字塔中具有丰富内容细节的高频分量,高频分量包含了像素级的显著性特征,其能够用来补充特征提取阶段损失的细节信息,进而提高违规区域的检测精度;相似度注意力则能够让模型聚焦,通过余弦相似度的计算来突出违规区域,抑制正常区域,增大二者之间的差异程度,提高了模型在河湖管理违规问题监测中的鲁棒性和预测精度。[0023] 本发明将拉普拉斯金字塔和余弦相似度应用到河湖管理违规问题监测的遥感分割领域,提高了模型的检测效率和识别精度。附图说明[0024] 图1为本发明方法的流程图;[0025] 图2为本发明方法的网络结构示意图;[0026] 图3为本发明方法中相似度注意力模块结构示意图。具体实施方式[0027] 下面结合具体实施例进一步说明。[0028] 实施例1:基于拉普拉斯和相似度的河湖管理违规问题遥感监测方法,包括步骤(如图1)如下:[0029] S1.获取河湖周边的遥感影像,划分数据集并预处理:[0030] 从现有遥感图像中裁剪出河湖周边的图像,并对裁剪出的一部分河湖遥感图像进行目视解译,形成标签数据;划分数据集,将裁剪出的河湖遥感图像及其标签进行缩放,得到1024×1024的图块;选择随机数量的图像进行随机水平、垂直翻转以及随机旋转90度的数据增强操作;计算RGB三通道的均值和标准差,对图块进行标准化处理。[0031] S2.编码器阶段,将预处理后的遥感图像送入特征提取网络提取多层特征,利用预处理的遥感图像构建拉普拉斯金字塔LP得到一系列低频和高频分量,选择LP中与各层提取的特征图尺寸大小相同的高频分量进行各层提取特征的特征增强:[0032] 为了降低模型的复杂度,本发明使用的特征提取网络是ResNet‑18,其引入了残差模块,构建输入输出的残差函数,使得参数更加容易优化,在增加网络深度的同时避免过拟合。ResNet‑18总共有四层,其中每层分别包含2,2,2,2个残差块,每层的嵌入维度分别为64,128,256,512。以输入图像的维度为3×1024×1024为例,图像在经过ResNet‑18的每一层后分别得到的特征图形状为:(64,256,256)、(128,128,128)、(256,64,64)和(512,32,32)。[0033] 拉普拉斯金字塔(LP)是图像处理领域中一个成熟的技术。LP方法的核心概念是将图像线性分解为一系列高频和低频带,从而能够精确地重构原始图像。假设输入尺寸为1024×1024的图像I0,LP的初始化是计算一个低通预测I1,其尺寸为512×512。在这个计算中,每个像素表示其邻域像素的加权平均值,这些权重由一个固定核来决定。为了实现可逆重构,LP记录了高频残差 ,其中 是由I1上采样得到的图像。为了进一步降低采样率和图像分辨率,LP将这些操作迭代地应用到I1上,得到一系列低频和高频分量。[0034] 一般情况下,图像的亮度和颜色信息体现在低频分量中,而内容细节则与高频分量相关。在河湖管理违规问题监测中,违规问题与图像内容细节的关系更为密切,而亮度和颜色所包含的信息较少,对检测的影响有限。因此,我们选择LP中与各层提取的特征图尺寸大小相同的高频分量作为特征增强权重,如图2所示。在拉普拉斯金字塔中,只有最后一层不经过残差操作的分量是低频分量,其余层记录的都是高频分量。在特征提取阶段,最后一层特征尺寸为(512,32,32),因此我们选择构建一个7层的拉普拉斯金字塔,分量尺寸从(3,1024,1024)到(3,16,16),我们从这7层中选择与四个特征提取阶段相对应的高频分量,即尺寸为(3,256,256)、(3,128,128)、(3,64,64)和(3,32,32)的高频分量。[0035] LP的高频分量拥有像素级的显著性特征,因此能够弥补特征提取中损失的细节信息,让检测更加准确。在选择好高频分量后,接下来利用分量来对提取特征进行特征增强。由于高频分量仍为RGB三通道,因此各级分量首先通过1×1卷积来将通道维度压缩至1,随后与一个可学习参数进行乘积,其目的是调节高频分量与特征的融合比重。最后分量与尺寸大小相同的特征图进行元素相加操作。特征提取是由上而下顺序进行的,每阶段提取的特征尺寸分别为(64,256,256)、(128,128,128)、(256,64,64)和(512,32,32),我们选择的高频分量尺寸与特征图对应,在每个阶段特征提取完毕后,让分量与特征图进行元素相加操作,实现了特征的增强。[0036] S3.解码器阶段,对不同尺度的增强后的特征分别应用相似度注意力,高层提取的特征增强后经过相似度注意力模块然后进行上采样,再与次级层(前一提取层)提取的特征增强后特征进行元素相加,然后作为次级层对应相似度注意力模块的输入,使用跳跃连接来实现多尺度特征融合:[0037] 解码器阶段使用跳跃连接来实现多尺度特征融合,高层提取的特征增强后经过相似度注意力模块然后进行上采样与次级层提取的特征增强后的特征进行元素相加,然后作为次级层对应相似度注意力模块的输入。[0038] 图3展示了相似度注意力模块的具体结构。输入的特征F首先会通过空间注意力来初步突出违规区域,并抑制正常区域。空间注意力处理过程如下:首先,初始特征会通过通道级的平均池化和最大池化操作获得两组通道描述,将二者拼接后通过卷积和sigmoid激活,得到空间注意力权重图,最后利用权重图对初始特征进行加权,得到初步增强特征F’。[0039] 接下来对初步增强特征F’分别进行全局最大池化和全局平均池化操作,该步提取到了违规区域的显著特征。随后使用余弦相似度来计算两种操作的显著特征与F’[0040] 的相似性。具体计算公式如下:[0041] ,[0042] 其中,Si,j表示在坐标(i,j)处的相似性结果,x表示全局最大池化或全局平均池化提取的显著特征,F’i,j表示F’在坐标(i,j)处的特征向量, 代表L2距离。[0043] 随后,两个相似性结果分别通过softmax函数进行归一化,并将二者按照λ和1‑λ的参数比例进行融合,得到加权相似性权重图,该权重图能够显著增强违规区域,并抑制正常区域。最终,该权重图与初步增强特征F’进行点积操作,并添加残差分支,让点积后的特征与F’再进行元素相加,以此来避免梯度消失问题。[0044] 从相似度注意力模块出来的特征有两个分支,其中一个分支是上采样到次级层特征的大小,融合后送入次级层对应的相似度注意力模块。另一个分支则是不同层相似度注意力模块的输出特征统一通道压缩并上采样到最后一个相似度注意力模块输出特征的尺寸,然后统一拼接,得到最后的特征图,第二个分支在下面步骤中有描述。[0045] S4.解码器阶段末,对各层相似度注意力模块解码的特征进行统一通道压缩并上采样操作至相同尺寸,然后拼接,得到最终特征图,利用该图获得预测掩码,完成结果预测:[0046] 在解码器阶段末端,对各层相似度注意力模块解码的特征进行统一通道压缩并上采样操作至相同尺寸(最后一层相似度注意力模块输出特征的尺寸),然后将四层特征进行拼接,得到最终特征图,该特征图会进一步上采样至原图大小并使用sigmoid函数得到最终的预测掩码,完成结果预测。[0047] S5.利用训练集迭代更新网络获得训练好的模型,将测试集图像送入训练好的模型完成预测:[0048] 得到训练好的权重后,将测试集送入模型,此时模型将加载权重进行图像分割,最终得到河湖管理违规问题的检测图。[0049] 实施例2:基于拉普拉斯和相似度的河湖管理违规问题遥感监测系统,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上实施例1所述的基于拉普拉斯和相似度的河湖管理违规问题遥感监测方法。[0050] 以上是结合实施例对本发明技术方案的进一步描述,本发明的保护范围不限于此。
专利地区:山东
专利申请日期:2024-05-28
专利公开日期:2024-09-03
专利公告号:CN118262245B