一种基于质量分级和时空约束的全覆盖遥感影像筛选方法

专利名称：一种基于质量分级和时空约束的全覆盖遥感影像筛选方法

专利类型：发明专利

专利申请号：CN202210233371.9

专利申请（专利权）人：武汉大学
权利人地址：湖北省武汉市武昌区珞珈山武汉大学

专利发明（设计）人：潘俊,陈良宇,王密

专利摘要：本发明提出了一种基于质量分级和时空约束的全覆盖遥感影像筛选方法。首先基于深度学习的质量分级模型，以块为单位按确定的质量等级对影像进行质量分级；然后对质量分级后的影像中具有相同质量等级的相邻影像块进行合并组成区域影像块集；通过考虑感兴趣时刻的搜索算法确定满足目标区域全覆盖的最短时间跨度，并基于确定的最短时间跨度进行约束，在区域影像块集中选取成像时间在最短时间跨度内的区域影像块构建候选数据集；最后在建立的空间连续性约束下，优选候选数据集中质量更好、面积更大的数据，得到最终筛选结果。本发明适用于全覆盖遥感影像生成，提高了遥感影像的利用率，缩短了筛选结果的成像时间跨度，保证了结果中地物的辐射连续性。

主权利要求：
1.一种基于质量分级和时空约束的全覆盖遥感影像筛选方法，其特征在于，包括如下步骤：
步骤1，确定遥感影像质量等级，对待筛选遥感影像进行分块，以块为单位按确定的质量等级进行质量分级，确定遥感影像中各影像块的质量等级；
步骤2，以步骤1中质量分级结果为基础，将影像块逐一作为种子点，搜索邻域中具有相同质量等级的影像块进行合并，按设置的最小面积阈值选取面积大于阈值的区域影像块组成区域影像块集；
步骤3，计算目标区域的外接矩形，对外接矩形划分格网，标记目标区域内的所有网格，将标记的格网作为目标区域的覆盖范围；基于设定的感兴趣时刻将区域影像块集中的区域影像块按成像时间差规则排序，循环遍历并记录覆盖目标的区域影像块，当目标被区域影像块全覆盖时停止遍历，计算所有记录的区域影像块的成像时间跨度，将其作为最短时间跨度；基于确定的最短时间跨度进行约束，在步骤2得到的区域影像块集中选取成像时间在最短时间跨度内的区域影像块，构建候选数据集；
步骤4，建立空间连续性约束，并基于该约束对步骤3中的候选数据集进行进一步筛选，得到最终结果。
2.如权利要求1所述的一种基于质量分级和时空约束的全覆盖遥感影像筛选方法，其特征在于：步骤1的具体实现包含以下子步骤：步骤1.1，确定遥感影像质量等级，根据确定的遥感影像质量等级建立遥感影像质量评价样本数据集，采用基于深度学习的方法结合遥感影像质量评价样本数据集进行训练，得到遥感影像质量分级模型；
步骤1.2，对待筛选的遥感影像，按一定大小进行分块，基于建立的质量分级模型对其以块为单位进行质量分级，确定遥感影像中各影像块的质量等级。
3.如权利要求1所述的一种基于质量分级和时空约束的全覆盖遥感影像筛选方法，其特征在于：步骤2中使用区域生长算法将遥感影像中具有相同质量等级的相邻影像块合并，即循环遍历所有影像块，将影像块依次作为种子点，搜索邻域中具有相同质量等级的影像块进行合并，形成具有同一质量等级且面积较大的区域影像块。
4.如权利要求1所述的一种基于质量分级和时空约束的全覆盖遥感影像筛选方法，其特征在于：步骤2中最小面积阈值设置为原始块面积的2倍。
5.如权利要求1所述的一种基于质量分级和时空约束的全覆盖遥感影像筛选方法，其特征在于：步骤3的具体实现包含以下子步骤：步骤3.1，计算目标区域的外接矩形，将外接矩形等间隔划分成格网，并根据网格的坐标判断其是否在目标区域内，标记目标区域内的网格，将标记的格网作为目标区域的覆盖范围；
步骤3.2，根据实际应用需求确定感兴趣时刻，以感兴趣时刻为时间种子，计算步骤2得到的区域影像块集中的各区域影像块的成像时间与时间种子的差值，将区域影像块以成像时间差值从小到大为条件进行排序，按照排序结果依次遍历区域影像块，结合当前区域影像块坐标计算其覆盖的所有网格，判断这些网格中是否存在已标记的网格，若存在则对这些已标记的网格进行二次标记，同时对当前区域影像块进行记录，若不存在则继续遍历下一个影像块；当目标覆盖范围内的网格被全部二次标记时停止遍历，计算所有记录的区域影像块的成像时间跨度，将其作为满足目标全覆盖的最短时间跨度；
步骤3.3，基于步骤3.2得到的最短时间跨度，输入步骤2得到的区域影像块集，选取区域影像块集中成像时间在最短时间跨度内的区域影像块，构建候选数据集。
6.如权利要求1所述的一种基于质量分级和时空约束的全覆盖遥感影像筛选方法，其特征在于：步骤4的具体实现包含以下子步骤：步骤4.1，建立空间连续性约束，约束条件如下所示；
其中第一个约束条件 表示最小化总路径消耗的累积，xpq×
Cost(xpq)表示从影像p到影像q的路径损失，Q代表影像集，p,q和s表示不同的遥感影像，xpq是一个布尔值，是影像p到影像q的路径是否存在的标志；第二个约束条件限制了最终结果必须实现对目标区域的全覆盖，Coverage(q)表示影像q的覆盖区域，L表示目标区域的覆盖范围；第三个约束条件xsq＝1,xqs＝0表示的是影像选择具有方向性，xsq＝1表示从影像s向影像q方向进行计算，xqs＝0表示从影像q不会向到影像s方向进行计算；
步骤4.2，以感兴趣时刻为时间种子，计算步骤3中所获取候选数据集中的各候选数据与时间种子间的路径损失，按照损失值从小到大的顺序对候选数据排序，循环遍历候选数据集并参照步骤3.2判断当前候选数据是否在目标区域覆盖范围内，并对在目标区域覆盖范围内的候选数据进行记录，最终所有被记录的数据即为最终选取的影像数据集，可用于全覆盖影像的生成。
7.如权利要求6所述的一种基于质量分级和时空约束的全覆盖遥感影像筛选方法，其特征在于：xpq的路径损失Cost(xpq)由下式计算可得；
Cost(xsq)＝α·T(xsq)+β·A(xsq)
其中，xpq是一个布尔值，是影像p到影像q的路径是否存在的标志；T(xsq)表示时间维函数，A(xsq)表示空间维函数；α和β分别表示时间维和空间维的权重，考虑到时间维和空间维同等重要，因此权重取同值；时间维函数和空间维函数的计算公式分别如下所示；
其中，ts和tq分别表示影像s和q的成像时间，tspan表示最短时间跨度，areaMax表示全部影像数据中的最大面积，areaq表示影像q的面积，n是大于1的自然数。
8.如权利要求2所述的一种基于质量分级和时空约束的全覆盖遥感影像筛选方法，其特征在于：基于深度学习的方法为ResNeXt‑101网络模型。 说明书 : 一种基于质量分级和时空约束的全覆盖遥感影像筛选方法技术领域[0001] 本发明属于遥感图像处理与分析领域，涉及一种全覆盖遥感影像生成的影像筛选方法。背景技术[0002] 环境监测、农业估算以及资源调查等诸多领域均需将遥感影像合并成更大的影像以进行大面积应用分析。然而遥感影像成像时由于云的影响，影像中不可避免存在云覆盖区域；同时为了保证合成影像满足全覆盖要求，合成影像的成像时间跨度通常很长；这些问题均可能导致合成影像无法满足实际应用需求。因此，以提升合成影像质量和时效性为目标展开影像筛选研究十分必要。[0003] 目前已有的影像筛选方法主要包括基于影像的方法，基于瓦片的方法和基于像素的方法等。由于在实际应用中，完全无云的遥感影像数量较少，大多数遥感影像都或多或少存在云覆盖区，因此采用基于影像的方法会造成影像利用率低且合成影像会具有较长的时间跨度；尤其对于多云多雨区域，这种现象更为严重。基于瓦片的方法大多没有在局部区域内最大程度地使用同一影像的瓦片数据，因此可能会造成最终全覆盖合成图像中地物不连续的现象。基于像素的方法以像素为单位生成全覆盖整个区域的影像，由于实践中相邻像素的值可能来自不同的影像，这可能会导致最终全覆盖影像中出现许多不连续的部分；而且这类方法生成的最终全覆盖影像的成像时间跨度也没有得到优化。发明内容[0004] 本发明的目的在于针对现有技术的缺点和不足，提出了一种基于质量分级和时空约束的全覆盖遥感影像筛选方法。该方法通过质量分级算法对遥感影像以块为单位确定质量等级；同时一方面考虑感兴趣时刻因素，采用一定的策略尽可能缩短筛选结果的成像时间跨度；另一方面，尽可能保证质量较好、面积较大的数据被优先选择，以提高结果的辐射连续性。[0005] 根据上述分析，本发明提出的基于质量分级和时空约束的全覆盖遥感影像筛选方法，采用质量分级算法以块为单位对遥感影像进行质量分级；在此基础上，利用最短时间跨度约束和空间连续性约束，提高影像筛选结果的时效性和辐射连续性，从而为全覆盖影像生成提供质量更好和时间跨度更短的数据。[0006] 本发明采用如下技术方案：[0007] 一种基于质量分级和时空约束的全覆盖遥感影像筛选方法，包括以下步骤：[0008] 步骤1，确定遥感影像质量等级，对待筛选遥感影像进行分块，以块为单位按确定的质量等级进行质量分级，确定遥感影像中各影像块的质量等级。包含以下子步骤：[0009] 步骤1.1，确定遥感影像质量等级，根据确定的遥感影像质量等级建立遥感影像质量评价样本数据集，采用基于深度学习的方法结合遥感影像质量评价样本数据集进行训练，得到遥感影像质量分级模型；[0010] 步骤1.2，对待筛选的遥感影像，按一定大小进行分块，基于建立的质量分级模型对其以块为单位进行质量分级，确定遥感影像中各影像块的质量等级。[0011] 步骤2，以步骤1中质量分级结果为基础，使用区域生长算法[1]将影像块逐一作为种子点，搜索邻域中具有相同质量等级的影像块进行合并；按设置的最小面积阈值选取面积大于阈值的区域影像块组成区域影像块集。[0012] 步骤3，计算目标区域的外接矩形，对外接矩形划分格网，标记目标区域内的所有网格，将标记的格网作为目标区域的覆盖范围；基于设定的感兴趣时刻将区域影像块集中的区域影像块按成像时间差规则排序，循环遍历并记录覆盖目标的区域影像块，当目标被区域影像块全覆盖时停止遍历，计算所有记录的区域影像块的成像时间跨度，将其作为最短时间跨度；基于确定的最短时间跨度进行约束，在步骤2得到的区域影像块集中选取成像时间在最短时间跨度内的区域影像块，构建候选数据集。包含以下子步骤：[0013] 步骤3.1，计算目标区域的外接矩形，将外接矩形等间隔划分成格网，并根据网格的坐标判断其是否在目标区域内，标记目标区域内的网格，将标记的格网作为目标区域的覆盖范围。[0014] 步骤3.2，根据实际应用需求确定感兴趣时刻，以感兴趣时刻为时间种子，计算步骤2得到的区域影像块集中的各区域影像块的成像时间与时间种子的差值，将区域影像块以成像时间差值从小到大为条件进行排序，按照排序结果依次遍历区域影像块，结合当前区域影像块坐标计算其覆盖的所有网格，判断这些网格中是否存在已标记的网格，若存在则对这些已标记的网格进行二次标记，同时对当前区域影像块进行记录，若不存在则继续遍历下一个影像块；当目标覆盖范围内的网格被全部二次标记时停止遍历，计算所有记录的区域影像块的成像时间跨度，将其作为满足目标全覆盖的最短时间跨度。[0015] 步骤3.3，基于步骤3.2得到的最短时间跨度，输入步骤2得到的区域影像块集，选取区域影像块集中成像时间在最短时间跨度内的区域影像块，构建候选数据集。[0016] 步骤4，建立空间连续性约束，并基于该约束对步骤3中的候选数据集进行进一步筛选，得到最终结果。包含以下子步骤：[0017] 步骤4.1，建立空间连续性约束，约束条件如下所示；[0018][0019] 其中第一个约束条件 表示最小化总路径消耗的累积，xpq×cost(xpq)表示从影像p到影像q的路径损失，Q代表影像集，p,q和s表示不同的遥感影像，xpq是一个布尔值，是影像p到影像q的路径是否存在的标志；第二个约束条件限制了最终结果必须实现对目标区域的全覆盖，Coverage(q)表示影像q的覆盖区域，L表示目标区域的覆盖范围；第三个约束条件xsq＝1,xqs＝0表示的是影像选择具有方向性，xsq＝1表示从影像s向影像q方向进行计算，xqs＝0表示从影像q不会向到影像s方向进行计算。[0020] 步骤4.2，以感兴趣时刻为时间种子，计算步骤3中所获取候选数据集中的各候选数据与时间种子间的路径损失，按照损失值从小到大的顺序对候选数据排序，循环遍历候选数据集并参照步骤3.2判断当前候选数据是否在目标区域覆盖范围内，并对在目标区域覆盖范围内的候选数据进行记录，最终所有被记录的数据即为最终选取的影像数据集，可用于全覆盖影像的生成。[0021] 进一步的，xpq的路径损失cost(xpq)由下式计算可得；[0022] Cost(xsq)＝α·T(xsq)+β·A(xsq)[0023] 其中，xpq是一个布尔值，是影像p到影像q的路径是否存在的标志；T(xsq)表示时间维函数，A(xsq)表示空间维函数；α和β分别表示时间维和空间维的权重，考虑到时间维和空间维同等重要，因此权重取同值；时间维函数和空间维函数的计算公式分别如下所示；[0024][0025] 其中，ts和tq分别表示影像s和q的成像时间，tSpan表示最短时间跨度，areaMax表示全部影像数据中的最大面积，areaq表示影像q的面积，n是大于1的自然数。[0026] 与现有技术相比，本发明具有如下特点：[0027] 本发明适用于全覆盖遥感影像生成，与已有方法相比，本发明提供了一种全覆盖遥感影像生成数据筛选方法，利用深度学习方法确定影像中各区域的质量等级；同时，通过时空约束缩短所选数据的成像时间跨度并且提高结果的辐射连续性；通过对遥感影像(特别是云覆盖率较大的遥感影像)中无云高质量区域的有效利用，克服了已有方法中遥感影像利用率低、成像时间跨度大的问题，为大面积全覆盖影像生成高效提供数据支撑。附图说明[0028] 图1：为本发明实施例的流程图。具体实施方式[0029] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。[0030] 图1表示的是一种基于质量分级和时空约束的全覆盖遥感影像筛选方法流程图，以下针对实施例流程中的各步骤，对本发明方法做进一步详细描述。[0031] 本发明具体选取的是具有多个波段的高分辨率遥感影像。[0032] 步骤1，确定遥感影像质量等级，对待处理遥感影像进行分块，以块为单位按确定的质量等级进行质量分级，确定遥感影像中各影像块的质量等级。[0033] 该步骤进一步包括如下子步骤：[0034] 步骤1.1，建立遥感影像质量等级(例如构建一个包含薄雾、厚云、背景和优质区四个级别的遥感影像质量等级)，根据确定的遥感影像质量等级建立遥感影像质量评价样本数据集(例如可将遥感影像数据裁剪成一定大小，附上质量等级标签，构建成一个包含薄雾、厚云、背景和优质区四个级别的样本数据集)，采用基于深度学习的方法(例如采用ResNeXt‑101网络模型)结合遥感影像质量评价样本数据集进行训练，得到遥感影像质量分级模型。[0035] 步骤1.2，对待处理的遥感影像，按一定大小进行分块，使用遥感影像质量分级模型对其以块为单位按确定的质量等级进行质量分级；得到包含不同质量级别的分级结果(例如分级为质量等级包括薄雾、厚云、背景和优质区的结果)。[0036] 步骤2，以步骤1中影像分级结果为基础，使用区域生长算法[1]将遥感影像中具有相同质量等级的相邻影像块合并，即循环遍历所有影像块，将影像块依次作为种子点，搜索邻域中具有相同质量等级的影像块进行合并，形成具有同一质量等级且面积较大的区域影像块；设置最小面积阈值(例如最小面积阈值设置为原始块面积的2倍)，选取面积大于最小面积阈值的区域影像块组成区域影像块集。[0037] 步骤3，计算目标区域的外接矩形，对外接矩形划分格网，标记目标区域内的所有网格，将标记的格网作为目标区域的覆盖范围；基于设定的感兴趣时刻将区域影像块集中的区域影像块按成像时间差规则排序，循环遍历并记录覆盖目标的区域影像块，当目标被区域影像块全覆盖时停止遍历，计算所有记录的区域影像块的成像时间跨度，将其作为最短时间跨度；基于确定的最短时间跨度进行约束，在步骤2得到的区域影像块集中选取成像时间在最短时间跨度内的区域影像块，构建候选数据集；[0038] 该步骤进一步包括如下子步骤：[0039] 步骤3.1，计算目标区域的外接矩形，将外接矩形等间隔划分成格网，并根据网格的坐标判断其是否在目标区域内，标记目标区域内的网格(例如标记为1)，将标记的格网作为目标区域的覆盖范围。[0040] 步骤3.2，根据实际应用需求确定感兴趣时刻，以感兴趣时刻为时间种子，计算步骤2得到的区域影像块集中的各区域影像块的成像时间与时间种子的差值，将区域影像块以成像时间差值从小到大为条件进行排序，按照排序结果依次遍历，结合当前区域影像块坐标计算其覆盖的所有网格，判断这些网格中是否存在已标记的网格，若存在则对这些已标记的网格进行二次标记，同时对当前区域影像块进行记录，若不存在则继续遍历下一个影像块；当目标覆盖范围内的网格被全部二次标记时停止遍历，计算所有记录的区域影像块的成像时间跨度，将其作为满足目标全覆盖的最短时间跨度。[0041] 具体的，充分考虑感兴趣时刻因子的影响，根据实际应用需求确定感兴趣时刻(可结合实际应用需求确定，例如确定T时刻为感兴趣时刻)，以感兴趣时刻为时间种子(起点)，计算区域影像块集中的各区域影像块的成像时间与时间种子的差值并将其作为路径消耗值，对区域影像块集中的区域影像块以路径消耗值从小到大为条件进行排序，按照排序结果依次遍历(例如区域影像块L1具有最小的路径消耗，则L1将被第一个遍历)，结合当前影像块坐标计算其覆盖的所有网格(例如第一个遍历的影像块L1，根据其坐标计算覆盖的网格为N1,N2,…,Nm)，判断这些网格中是否存在已标记的网格，若存在则对这些已标记的网格进行二次标记，同时对当前区域影像块进行记录，若不存在则继续遍历下一个影像块(例如上述网格N1,N2,…,Nm中的Ni,Ni+1,…,Nj是已经标记为1的网格，则将这些网格再次标记为2，同时对当前区域影像块进行记录)；以此类推，按顺序遍历步骤2得到的区域影像块集中的各区域影像块，当满足目标区域全覆盖(即目标区域覆盖范围内的网格全部被标记为2)时停止操作；计算此时被记录的所有区域影像块的成像时间跨度(例如计算得到的成像时间跨度为S)，将S作为满足目标区域全覆盖的最短时间跨度。[0042] 步骤3.3，基于步骤3.2得到的最短时间跨度(例如，在感兴趣时刻为T时，依据步骤3.2得到的满足目标区域全覆盖的最短时间跨度为S)，输入步骤2得到的区域影像块集，选取成像时间在最短时间跨度(即[T‑S/2,T+S/2])内的区域影像块，提取这些区域影像块构建候选数据集。[0043] 步骤4，建立空间连续性约束，并基于该约束对步骤3中的候选数据集进行进一步筛选，得到最终筛选结果。[0044] 该步骤进一步包括如下子步骤：[0045] 步骤4.1，建立空间连续性约束，约束条件如下所示；[0046][0047] 其中第一个约束条件 表示最小化总路径消耗的累积，xpq×cost(xpq)表示从影像p到影像q的路径损失，Q代表影像集，p,q和s表示不同的遥感影像，xpq是一个布尔值，是影像p到影像q的路径是否存在的标志；第二个约束条件限制了最终结果必须实现对目标区域的全覆盖，Coverage(q)表示影像q的覆盖区域，L表示目标区域的覆盖范围；第三个约束条件xsq＝1,xqs＝0表示的是影像选择具有方向性，xsq＝1表示从影像s向影像q方向进行计算，xqs＝0表示从影像q不会向到影像s方向进行计算。[0048] 步骤4.2，输入步骤3中获取的候选数据集，基于建立的空间连续性约束算法对候选数据集进行筛选。即首先设置感兴趣时刻(可结合实际应用需求确定，例如确定T时刻为感兴趣时刻)为时间种子，计算各候选数据与时间种子间的路径损失cost(xpq)，以影像p和影像q为例，其路径损失cost(xpq)由下式计算可得；[0049] Cost(xsq)＝α·T(xsq)+β·A(xsq)[0050] 其中，xpq是一个布尔值，是影像p到影像q的路径是否存在的标志；T(xsq)表示时间维函数，A(xsq)表示空间维函数；α和β分别表示时间维和空间维的权重，考虑到时间维和空间维同等重要，因此权重取同值(例如将权重均设置为0.5)；时间维函数和空间维函数的计算公式分别如下所示；[0051][0052] 其中，ts和tq分别表示影像s和q的成像时间，tSpan表示最短时间跨度，areaMax表示全部影像数据中的最大面积，areaq表示影像q的面积，n是大于1的自然数(例如可基于经验值在计算中将其取值为2)。[0053] 按照损失值从小到大的顺序依次遍历候选数据(例如如果影像M1的计算损失值最小，表示该影像相对其他影像质量较好且面积较大，则被第一个遍历)；然后进行目标区域覆盖判断(具体做法参见步骤3.2)；依次循环遍历候选数据集，当满足目标区域全覆盖(如步骤3.2所述，即目标区域覆盖范围内的网格全部被标记为2)时停止操作；此时标记的数据所组成的数据集即为最终结果，该结果可满足全覆盖影像生成的高质量高时效性需求。[0054] 应当理解的是，本说明书未详细阐述的部分均属于现有技术。[0055] 应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。[0056] [1]谢理训,杨宜民.基于改进区域生长算法的彩色图像分割[J].微计算机信息,2009(18):3。

专利地区：湖北

专利申请日期：2022-03-10

专利公开日期：2024-07-26

专利公告号：CN114842184B