基于深度学习语义分割的遥感影像水上桥梁检测方法

专利名称：基于深度学习语义分割的遥感影像水上桥梁检测方法

专利类型：发明专利

专利申请号：CN202411225521.7

专利申请（专利权）人：环天智慧科技股份有限公司
权利人地址：四川省眉山市仁寿县视高街道中粮加州智慧城B座2层

专利发明（设计）人：周旷,杨坤,黄少华,刘涛,张焰

专利摘要：本发明公开了基于深度学习语义分割的遥感影像水上桥梁检测方法，包括以下步骤：步骤S1，影像数据收集，将收集的影像数据用作训练集，并通过语义分割模型对采集的影像数据进行分割；步骤S2，水域分割图斑的形态学处理；影像数据经过语义分割模型分割后，得到水域的二值化提取结果，步骤S3，双重语义分割图斑结合；将道路和水域的提取结果进行取交集得到桥梁的二值化提取区域，再通过对其数据处理最终将桥梁提取为矢量。本发明中，使用深度学习模型LSKNet进行分割，能够适应不同区域和不同时期的遥感影像，具有较强的泛化能力。通过形态学处理对水域进行膨胀和腐蚀操作，不需要复杂的知识规则处理，降低了处理复杂度。

主权利要求：
1.基于深度学习语义分割的遥感影像水上桥梁检测方法，其特征在于：包括以下步骤：步骤S1，影像数据收集，将收集的影像数据用作训练集，并通过语义分割模型对采集的影像数据进行分割；收集的影像数据包括水域和道路；语义分割模型选用Adam优化器，使用收集的数据集迭代12epochs，得到水域分割模型和道路分割模型；
步骤S2，水域分割图斑的形态学处理；影像数据经过语义分割模型分割后，得到水域的二值化提取结果，对水域先进行膨胀操作，使得分裂的水域连通，再使用腐蚀操作，将膨胀的水体还原为初始大小；
步骤S3，双重语义分割图斑结合；将道路和水域的提取结果进行取交集得到桥梁的二值化提取区域，再通过对其数据处理最终将桥梁提取为矢量；步骤S2的膨胀操作通过如下式进行计算：式中，B表示结构元素，A表示影像数据；只要B中包含的元素与A中对应位置的元素有重叠，A中该位置的元素就被标记为1；
步骤S2的腐蚀操作具体通过如下式进行计算：
式中，B表示结构元素，A表示影像数据；只要B中包含的元素完全包含在A中对应位置的元素内，A中该位置的元素就被标记为1。
2.根据权利要求1所述的基于深度学习语义分割的遥感影像水上桥梁检测方法，其特征在于：步骤S1中，水域的影像数据包括河流以及库塘，道路的影像数据包括硬质化道路。
3.根据权利要求1所述的基于深度学习语义分割的遥感影像水上桥梁检测方法，其特征在于：步骤S1中，语义分割模型采用LSKNet语义分割模型，通过Adam优化器，使用收集的影像数据迭代12epochs，得到水域分割模型和道路分割模型。
4.根据权利要求1所述的基于深度学习语义分割的遥感影像水上桥梁检测方法，其特征在于：步骤S3中，将桥梁提取为矢量具体步骤包括开运算去噪点、边缘提取以及矢量化处理。
5.根据权利要求4所述的基于深度学习语义分割的遥感影像水上桥梁检测方法，其特征在于：开运算去噪点具体步骤为：式中，B表示结构元素，A表示影像数据。
6.根据权利要求4所述的基于深度学习语义分割的遥感影像水上桥梁检测方法，其特征在于：边缘提取具体为：使用Canny算子对分割结果进行边缘提取，得到桥梁的边缘信息；
Canny算子的原理包括高斯滤波、计算梯度幅值和方向、非极大值抑制、双阈值检测和边缘连接。
7.根据权利要求4所述的基于深度学习语义分割的遥感影像水上桥梁检测方法，其特征在于：矢量化处理具体为：将边缘提取的结果进行矢量化处理，得到最终的桥梁矢量图。 说明书 : 基于深度学习语义分割的遥感影像水上桥梁检测方法技术领域[0001] 本发明属于遥感影像处理技术领域，具体为基于深度学习语义分割的遥感影像水上桥梁检测方法。背景技术[0002] 桥梁是河流的重要交通设施，其结构和位置信息对于城市规划、交通管理、灾害评估和基础建设维护等方面具有重要意义。随着遥感技术的发展，利用遥感影像进行桥梁检测和分析成为了一个有效的手段。遥感影像可以提供大范围、高分辨率的地表信息，使得从空中对桥梁进行识别和监测成为可能。然而，由于桥梁与周围环境的复杂性，如何准、高效地从遥感影像中分割出桥梁，一直是遥感领域中的一个挑战。[0003] 现有的水上桥梁分割主要手段是，在影像中分割出河流和陆地，将分割结果二值化，再经过形态学处理将河流连通，最后通过河流与陆地求交得到桥梁检测结果。不过目前方案有以下缺点： 1、传统方法分割水域的局限性。上述方案对水域的分割使用FCM聚类，水域指数，光谱特征等传统手段。这些手段需要多光谱协同，对影像数据要求高。同时由于各不同区域或者各不同时期，光谱存在偏差，造成水域分割方案的泛化性弱。[0004] 2、陆地分割的准确性。专利CN115661660A中直接将水域分割后的背景当做陆地，这种处理方式会受到很多干扰，比如横跨水域的云、船体等会被当做陆地，同时因为他们横跨水域，后续处理会将它们当做桥梁。发明内容[0005] 本发明的目的在于提供基于深度学习语义分割的遥感影像水上桥梁检测方法，以解决背景技术中提出的现有技术中，对水域的分割需要多光谱协同，对影像数据要求高的问题。[0006] 为解决上述技术问题，本发明所采用的技术方案是：[0007] 基于深度学习语义分割的遥感影像水上桥梁检测方法，包括以下步骤：[0008] 步骤S1，影像数据收集，将收集的影像数据用作训练集，并通过语义分割模型对采集的影像数据进行分割；收集的影像数据包括水域和道路；[0009] 步骤S2，水域分割图斑的形态学处理；影像数据经过语义分割模型分割后，得到水域的二值化提取结果，对水域先进行膨胀操作，使得分裂的水域连通，再使用腐蚀操作，将膨胀的水体还原为初始大小；[0010] 步骤S3，双重语义分割图斑结合；将道路和水域的提取结果进行取交集得到桥梁的二值化提取区域，再通过对其数据处理最终将桥梁提取为矢量。[0011] 根据上述技术方案，步骤S1中，水域的影像数据包括河流以及库塘，道路的影像数据包括硬质化道路。[0012] 根据上述技术方案，步骤S1中，语义分割模型采用LSKNet语义分割模型，通过Adam优化器，使用收集的影像数据迭代12epochs，得到水域分割模型和道路分割模型。[0013] 根据上述技术方案，步骤S2的膨胀操作通过如下式进行计算：[0014][0015] 式中，B表示结构元素，A表示要进行膨胀的图像，Z是位置向量，(B)Z表示结构元素B在Z位置的平移；只要B中包含的元素与A中对应位置的元素有重叠，A中该重叠位置的元素就被标记为1，式中， 代表膨胀操作。[0016] 根据上述技术方案，步骤S2的腐蚀操作具体通过如下式进行计算：[0017][0018] 式中，B表示结构元素，A表示要进行膨胀的图像，Z是位置向量， 表示结构元素B在Z位置的平移；只要B中包含的元素完全包含在A中对应位置的元素内，A中该重叠位置的元素就被标记为1， 表腐蚀操作。[0019] 根据上述技术方案，步骤S3中，将桥梁提取为矢量具体步骤包括开运算去噪点、边缘提取以及矢量化处理。[0020] 根据上述技术方案，开运算去噪点具体步骤为：[0021][0022] 式中，B表示结构元素，A表示影像数据，表示开运算， 示腐蚀操作， 表示膨胀操作。[0023] 根据上述技术方案，边缘提取具体为：使用Canny算子对分割结果进行边缘提取，得到桥梁的边缘信息；Canny算子的原理包括高斯滤波、计算梯度幅值和方向、非极大值抑制、双阈值检测和边缘连接。[0024] 根据上述技术方案，矢量化处理具体为：将边缘提取的结果进行矢量化处理，得到最终的桥梁矢量图。[0025] 与现有技术相比，本发明具有以下有益效果：[0026] 本发明中使用深度学习模型LSKNet进行分割，能够适应不同区域和不同时期的遥感影像，具有较强的泛化能力。通过形态学处理对水域进行膨胀和腐蚀操作，不需要复杂的知识规则处理，降低了处理复杂度。分割目标包括水域和硬质化道路，避免了干扰物对分割结果的影响，提高了桥梁检测的准确性。附图说明[0027] 图1为本发明桥梁检测流程图。具体实施方式[0028] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。[0029] 实施例一[0030] 如图1所示，基于深度学习语义分割的遥感影像水上桥梁检测方法，包括以下步骤：[0031] 步骤S1，影像数据收集，将收集的影像数据用作训练集，并通过语义分割模型对采集的影像数据进行分割；收集的影像数据包括水域和道路；[0032] 步骤S2，水域分割图斑的形态学处理；影像数据经过语义分割模型分割后，得到水域的二值化提取结果，对水域先进行膨胀操作，使得分裂的水域连通，再使用腐蚀操作，将膨胀的水体还原为初始大小；[0033] 步骤S3，双重语义分割图斑结合；将道路和水域的提取结果进行取交集得到桥梁的二值化提取区域，再通过对其数据处理最终将桥梁提取为矢量。[0034] 本发明中使用深度学习模型LSKNet进行分割，能够适应不同区域和不同时期的遥感影像，具有较强的泛化能力。通过形态学处理对水域进行膨胀和腐蚀操作，不需要复杂的知识规则处理，降低了处理复杂度。分割目标包括水域和硬质化道路，避免了干扰物对分割结果的影响，提高了桥梁检测的准确性。[0035] 实施例二[0036] 本实施例为实施例一的进一步细化。[0037] 步骤S1中，水域的影像数据包括河流以及库塘，道路的影像数据包括硬质化道路。[0038] 步骤S1中，语义分割模型采用LSKNet语义分割模型，通过Adam优化器，使用收集的影像数据迭代12epochs，得到水域分割模型和道路分割模型。[0039] 步骤S2的膨胀操作通过如下式进行计算：[0040][0041] 式中，B表示结构元素，A表示要进行膨胀的图像，Z是位置向量， 表示结构元素B在Z位置的平移；只要B中包含的元素与A中对应位置的元素有重叠，A中该重叠位置的元素就被标记为1，式中， 代表膨胀操作。[0042] 该公式的意思是：结构元素B在某一位置Z下，如果结构元素B与图像A的交集不为空（即至少有一个像素重合），则该位置Z会被包含在膨胀后的结果图像中。[0043] 步骤S2的腐蚀操作具体通过如下式进行计算：[0044][0045] 式中，B表示结构元素，A表示要进行膨胀的图像，Z是位置向量， 表示结构元素B在Z位置的平移；只要B中包含的元素完全包含在A中对应位置的元素内，A中该重叠位置的元素就被标记为1， 代表腐蚀操作。[0046] 腐蚀操作的结果 是由所有满足 的位置Z构成的集合。这意味着，在这些位置Z上，结构元素B完全被包含在膨胀的图像A的前景区域内。[0047] 步骤S3中，将桥梁提取为矢量具体步骤包括开运算去噪点、边缘提取以及矢量化处理。[0048] 开运算去噪点具体步骤为：[0049][0050] 式中，B表示结构元素，A表示影像数据，表示开运算， 表示腐蚀操作， 表示膨胀操作。[0051] 边缘提取具体为：使用Canny算子对分割结果进行边缘提取，得到桥梁的边缘信息；Canny算子的原理包括高斯滤波、计算梯度幅值和方向、非极大值抑制、双阈值检测和边缘连接。[0052] 1.高斯滤波：[0053] 目的：平滑图像，减少噪声对边缘检测的影响。[0054] 操作：使用一个高斯滤波器对图像进行卷积运算。高斯滤波器是一个具有高斯分布特性的滤波器，可以有效地减少高频噪声，同时保持图像的整体结构。其公式为：[0055][0056] 其中，x和y是相对于滤波器中心的坐标。x表示水平方向上的距离，以像素为单位。y表示垂直方向上的距离，以像素为单位。 表示在位置 处的权重。上式生成的权重矩阵为高斯核，用于对图像进行卷积，以实现平滑或模糊效果。 表示滤波器的标准差，控制平滑程度。[0057] 2.计算梯度幅值和方向：[0058] 目的：检测图像中灰度变化的方向和幅度，这些变化通常对应于图像中的边缘。[0059] 操作：通过应用Sobel算子计算图像在水平方向 和垂直方向 的梯度。然后，计算梯度幅值 和方向 ：[0060][0061] 式中，G表示梯度幅值， 表示方向。[0062] 3.非极大值抑制：[0063] 目的：精确定位边缘，减少模糊效应。[0064] 操作：沿梯度方向扫描图像，保留梯度幅值最大的像素，抑制非局部最大值的像素。这样可以确保只有真正的边缘像素被标记为边缘。[0065] 4.双阈值检测：[0066] 目的：区分强边缘、弱边缘和非边缘区域。[0067] 操作：设定两个阈值，低阈值和高阈值。梯度幅值高于高阈值的像素被认为是“强边缘”；低于低阈值的像素被忽略；介于两者之间的像素被认为是“弱边缘”。[0068] 5.边缘连接：[0069] 目的：将弱边缘像素连接到强边缘，形成连续的边缘。[0070] 操作：通过滞后阈值法连接弱边缘到强边缘。如果一个弱边缘像素连接到一个强边缘像素，它被保留为边缘；否则，它被丢弃。[0071] 通过上面的处理得到代表边缘的二值图像，即边缘像素的值设为1，非边缘像素设为0。[0072] 矢量化处理具体为：将边缘提取的结果进行矢量化处理，得到最终的桥梁矢量图。[0073] 上述得到的二值图像，进行矢量化处理，详细步骤为：[0074] 1、栅格矢量化：[0075] 使用轮廓检测算法（OpenCV中的findContours函数）提取二值图像中的轮廓。每个轮廓是一系列连接的像素点，代表边缘的路径。[0076] 2、轮廓简化：[0077] 应用多边形逼近算法（Douglas‑Peucker算法）对轮廓进行简化。该算法通过设定一个容差，将轮廓近似为由较少顶点组成的多边形。从而减少轮廓点的数量，简化路径。[0078] 3、矢量格式转换：[0079] 操作：将简化后的多边形轮廓点转换为矢量图的多边形。并使用遥感领域通用矢量文件格式SHP进行保存。[0080] 实施例三[0081] 本发明的发明构思为：[0082] 训练水域和道路分割模型：[0083] 数据收集：本发明使用两个语义分割模型，所以需要水域和道路的训练集。水域包括河流、库塘，道路选择硬质化道路，为了增加模型的泛化能力，训练集需要尽可能选用不同来源不同地区的遥感影像。除了自己标注数据，推荐在训练集中融合公开数据集，如：DeepGlobeRoadDetectionChallenge。[0084] 模型选择：遥感影像中目标识别往往需要大范围的背景信息，本发明选用LSKNet作为语义分割模型，与一般的语义分割模型相比，LSKNet模型使用解耦卷积的方式，使用多个小卷积核来替代大的卷积核。使得LSKNet在分割遥感影像时拥有足够视野，能更好的满足遥感分割的需求。[0085] 训练方法：模型选用Adam优化器，使用收集的数据集迭代12epochs，得到水域分割模型和道路分割模型。[0086] 水域分割图斑的形态学处理：[0087] 影像经过水域分割模型后，可以得到水域的二值化提取结果。对水域先进行膨胀操作，使得分裂的水域连通，再使用腐蚀操作，将膨胀的水体还原为初始大小。具体步骤如下：[0088] 膨胀操作：膨胀操作是形态学处理中的一种，通过对图像中每一个像素进行扩展，能够使得图像中的小孔填补、断裂部分连接。其原理是利用结构元素B在图像A上进行移动，只要B中包含的元素与A中对应位置的元素有重叠，A中该位置的元素就被标记为1。膨胀操作的公式如下：[0089][0090] 腐蚀操作：式中，B表示结构元素，A表示要进行膨胀的图像，Z是位置向量， 表示结构元素B在Z位置的平移；只要B中包含的元素与A中对应位置的元素有重叠，A中该重叠位置的元素就被标记为1，式中， 代表膨胀操作。[0091] 腐蚀操作是膨胀操作的逆操作，通过对图像中每一个像素进行收缩，能够使得图像中的小物体消失，断裂部分分离。其原理是利用结构元素B在图像A上进行移动，只要B中包含的元素完全包含在A中对应位置的元素内，A中该位置的元素就被标记为1。腐蚀操作的公式如下：[0092][0093] 双重语义分割图斑结合以及后处理：[0094] 式中，B表示结构元素，A表示要进行膨胀的图像，Z是位置向量， 表示结构元素B在Z位置的平移；只要B中包含的元素完全包含在A中对应位置的元素内，A中该重叠位置的元素就被标记为1， 代表腐蚀操作。[0095] 将道路和水域的提取结果进行取交集得到桥梁的二值化提取区域，对这个结果进行一些后处理，包括开运算去噪点，并使用边缘提取最终将桥梁提取为矢量。具体步骤如下：[0096] 开运算去噪点：利用开运算去除分割结果中的小噪点。开运算公式如下：[0097][0098] 中，B表示结构元素，A表示影像数据，表示开运算， 表示腐蚀操作， 表示膨胀操作。[0099] 边缘提取：使用Canny算子对分割结果进行边缘提取，得到桥梁的边缘信息。Canny算子的原理包括高斯滤波、计算梯度幅值和方向、非极大值抑制、双阈值检测和边缘连接。[0100] 矢量化处理：将边缘提取的结果进行矢量化处理，得到最终的桥梁矢量图。[0101] 需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。[0102] 最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

专利地区：四川

专利申请日期：2024-09-03

专利公开日期：2024-11-19

专利公告号：CN118732987B