一种基于北斗定位及融合视觉的GNSS大坝位移监测方法及系统

专利名称：一种基于北斗定位及融合视觉的GNSS大坝位移监测方法及系统

专利类型：实用新型专利

专利申请号：CN202410684671.8

专利申请（专利权）人：湖北亿立能科技股份有限公司
权利人地址：湖北省宜昌市高新区兰台路13号中试车间8幢

专利发明（设计）人：张新强,张普,王志强,盛李立,龚华斌,熊涛,李俊杰,周静

专利摘要：本申请公开了一种基于北斗定位及融合视觉的GNSS大坝位移监测方法及系统，涉及位移监测技术领域，其方法包括：通过北斗定位接收器采集每个监测区域中每个监测点的第一位置数据，通过雷达获取每个监测区域中每个监测点的大坝表面数据，以及通过摄像头采集每个监测区域的不同时间点的连续图像；结合每个监测区域中每个监测点的大坝表面数据和每个监测区域中每个监测点的第一位置数据，确定每个监测区域的第一位移；对每个监测区域的不同时间点的连续图像进行图像配准，以将不同时间点的连续图像在相同的空间坐标系下具有一致的位置和方向；提取图像配准后的连续图像的特征点，并对每个特征点进行特征跟踪，确定每个监测区域的第二位移；采用卷积神经网络对每个监测区域的第一位移与第二位移进行视觉融合，确定大坝整体位移。本申请可以有效提高大坝位移的监测准确性。

主权利要求：
1.一种基于北斗定位及融合视觉的GNSS大坝位移监测方法，其特征在于，大坝所在区域包括至少两个监测区域，每个所述监测区域设有监测系统，所述监测系统包括北斗定位接收器、雷达和摄像头，每个所述监测区域包括至少两个监测点，所述方法包括：通过所述北斗定位接收器采集每个所述监测区域中每个所述监测点的第一位置数据，通过所述雷达获取每个所述监测区域中每个所述监测点的大坝表面数据，以及通过所述摄像头采集每个所述监测区域的不同时间点的连续图像；
结合每个所述监测区域中每个所述监测点的大坝表面数据和每个所述监测区域中每个监测点的第一位置数据，确定每个所述监测区域的第一位移；
对每个所述监测区域的不同时间点的所述连续图像进行图像配准，以将不同时间点的所述连续图像在相同的空间坐标系下具有一致的位置和方向；
提取图像配准后的连续图像的特征点，并对每个所述特征点进行特征跟踪，确定每个所述监测区域的第二位移；
采用卷积神经网络对每个所述监测区域的所述第一位移与所述第二位移进行视觉融合，确定大坝整体位移。
2.根据权利要求1所述的方法，其特征在于，每个所述监测区域的所述监测点包括已知监测点和待测关键监测点，所述监测区域包括位于大坝表面的第一监测区域和位于大坝周围高地上的第二监测区域，所述雷达包括合成孔径雷达和地基雷达，所述合成孔径雷达用于采集所述第一监测区域和所述第二监测区域中的每个已知监测点的大坝表面数据，所述地基雷达用于采集所述第二监测区域中的每个已知监测点的大坝地面数据；
所述通过所述雷达获取每个所述监测区域中每个所述监测点的大坝表面数据，包括：通过所述合成孔径雷达采集所述第一监测区域与所述第二监测区域中的每个已知监测点的大坝表面数据，以及通过所述地基雷达采集所述第二监测区域中的每个已知监测点的大坝地面数据；
对于所述第一监测区域与所述第二监测区域中的每个所述待测关键监测点，通过所述大坝表面数据和所述大坝地面数据，将每个所述待测关键监测点的大坝表面数据进行插值，得到每个所述待测关键监测点的插值数据；
根据所述大坝表面数据和所述插值数据，得到每个所述监测区域中每个所述监测点的大坝表面数据。
3.根据权利要求2所述的方法，其特征在于，所述对于所述第一监测区域与所述第二监测区域中的每个所述待测关键监测点，通过所述大坝表面数据和所述大坝地面数据，将每个所述待测关键监测点的大坝表面数据进行插值，得到每个所述待测关键监测点的插值数据，包括：根据所述北斗定位接收器采集的每个所述监测点的第一位置数据，确定所述第一监测区域与所述第二监测区域中的每个所述已知监测点和每个所述待测关键监测点的定位坐标；
根据每个所述待测关键监测点的定位坐标和每个所述已知监测点的定位坐标，计算每个所述待测关键监测点到所有所述已知监测点的距离di；
根据所述距离di计算权重wi；
采用空间插值计算公式，根据每个所述已知监测点的所述大坝表面数据和所述大坝地面数据和所述权重wi，计算得到每个所述待测关键监测点的插值数据；
其中，所述空间插值计算公式包括：
式中，Z(Pu)为待测关键监测点的插值数据，Zi为第i个已知监测点的大坝表面数据，ωi为距离di的权重， p为幂参数。
4.根据权利要求1所述的方法，其特征在于，每个所述监测区域还包括待测未知点，所述结合每个所述监测区域中每个所述监测点的大坝表面数据和每个所述监测区域中每个监测点的第一位置数据，确定每个所述监测区域的第一位移，包括：对于每个所述监测点，根据当前时间的所述大坝表面数据和基准时间的表面数据，计算形变数据，得到每个所述监测点的形变数据；
根据每个所述监测区域的每个所述监测点的形变数据和所述第一位置数据，确定关联函数，其中，所述关联函数用于表征形变数据与所述第一位置数据之间的关联关系；
通过所述北斗定位接收器采集每个所述监测区域中每个所述待测未知点的第二位置数据；
根据所述关联函数和每个所述待测未知点的第二位置数据，确定每个所述待测未知点的形变数据，其中，每个所述监测区域中的所有所述监测点的形变数据和所有所述待测未知点的形变数据构成所述监测区域的位移场；
根据每个所述监测区域的所述位移场，确定每个所述监测区域的第一位移。
5.根据权利要求1所述的方法，其特征在于，所述提取图像配准后的连续图像的特征点，并对每个所述特征点进行特征跟踪，确定每个所述监测区域的第二位移，包括：提取图像配准后的连续图像的特征点，并计算每个所述特征点的描述符；
根据每个所述特征点的描述符，将每个所述监测区域的所述连续图像的第一张图像中的每个特征点与最后一张图像中的每个特征点进行匹配，确定匹配特征对；
根据每个所述匹配特征对中的每个特征点的坐标，计算每个所述监测区域的每个所述匹配特征对的位移向量，并根据每个所述监测区域的所有所述匹配特征对的位移向量，确定每个所述监测区域的第一张图像与最后一张图像的位移量，其中，每个所述监测区域的所述第一张图像与最后一张图像的位移量用于表征每个所述监测区域的第二位移。
6.根据权利要求2所述的方法，其特征在于，所述采用卷积神经网络对每个所述监测区域的所述第一位移与所述第二位移进行视觉融合，确定大坝整体位移，包括：将所述第一监测区域的所述第一位移与所述第二位移输入预训练的卷积神经网络模型的第一输入层，得到所述第一监测区域的第一输出位移；
将所述第二监测区域的所述第一位移与所述第二位移输入所述卷积神经网络模型的第二输入层，得到所述第二监测区域的第二输出位移；
将所述第一输出位移与所述第二输出位移输入所述卷积神经网络的融合层，得到大坝整体位移。
7.根据权利要求6所述的方法，其特征在于，所述卷积神经网络模型的架构包括第一输入层、第一卷积层、第一池化层、第一全连接层、第二输入层、第二卷积层、第二池化层、第二全连接层、第一输出层、第二输出层、融合层、第三输出层；
其中，所述第一输入层用于传递所述第一监测区域的所述第一位移和所述第二位移，所述第一卷积层和所述第一池化层用于提取所述第一位移和所述第二位移的特征向量，所述第一全连接层用于融合所述第一位移和所述第二位移的特征向量，得到第一融合特征向量，所述第一输出层用于输出所述第一融合特征向量；所述第二输入层用于传递所述第二监测区域的所述第一位移和所述第二位移，所述第二卷积层和所述第二池化层用于提取所述第一位移和所述第二位移的特征向量，所述第二全连接层用于融合所述第一位移和所述第二位移的特征向量，得到第二融合特征向量，所述第二输出层用于输出所述第二融合特征向量；所述融合层用于融合所述第一融合特征向量和所述第二融合特征向量，得到位移向量；所述第三输出层用于输出所述位移向量，所述位移向量用于表征所述大坝整体位移。
8.根据权利要求7所述的方法，其特征在于，所述卷积神经网络模型的训练步骤包括：获取所述第一监测区域的第一训练集和所述第二监测区域的第二训练集；
执行循环步骤，至根据所述位移向量计算得到的损失值小于预设值；
其中，所述循环步骤包括：
设置所述卷积神经网络模型的初始参数
将所述第一训练集输入所述第一输入层，得到第一输出位移，以及将所述第二训练集输入所述第二输入层，得到第二输出位移；
将所述第一输出位移和所述第二输出位移输入所述融合层，得到位移向量；
采用损失函数，根据所述位移向量与对应的真实位移向量计算损失值；
在所述损失值大于或等于预设值的情况下，通过反向传播算法，计算每个所述初始参数对损失的梯度，并沿所述梯度的反方向更新所述初始参数，得到更新后的参数；
采用所述更新后的参数作为所述卷积神经网络模型的初始参数。
9.根据权利要求4所述的方法，其特征在于，所述根据每个所述监测区域的所述位移场，确定每个所述监测区域的第一位移，包括：将每个所述监测区域的所述位移场中的每个所述监测点和每个所述待测未知点的形变数据进行加权平均，得到每个所述监测区域的第一位移。
10.一种基于北斗定位及融合视觉的GNSS大坝位移监测系统，其特征在于，包括控制终端、北斗定位接收器、雷达和摄像头，所述北斗定位接收器、所述雷达和所述摄像头分别与所述控制终端连接，所述控制终端用于执行根据权利要求1至9中任一项所述的基于北斗定位及融合视觉的GNSS大坝位移监测方法。 说明书 : 一种基于北斗定位及融合视觉的GNSS大坝位移监测方法及
系统技术领域[0001] 本申请实施例涉及位移监测技术领域，尤其涉及一种基于北斗定位及融合视觉的GNSS大坝位移监测方法及系统。背景技术[0002] 大坝作为水利工程的重要组成部分，承担着调节水文、防洪、发电等多种功能，若大坝产生位移，可能导致大坝结构不稳定，从而引发破坏性洪水等灾害，因此为了确保大坝的安全性和稳定性，需要及时对大坝进行位移监测。[0003] 目前可以通过水平位移传感器和竖向位移传感器检测大坝的位移情况，其中，可以将水平位移传感器安装在大坝的水平方向，用于测量大坝在水平方向上的位移情况；将竖向位移传感器安装在大坝的竖直方向，用于测量大坝在竖直方向上的位移情况。然而实际情况中，大坝若产生位移，不仅存在沿水平和竖直方向的位移，还可能存在变形、扭转等多维位移情况，仅仅通过上述水平位移传感器和竖向位移传感器无法全面捕捉到大坝复杂的变形情况，导致大坝位移的监测准确性不高。[0004] 针对上述问题，目前并无有效的解决手段。发明内容[0005] 本申请实施例提供一种基于北斗定位及融合视觉的GNSS大坝位移监测方法及系统，用于有效提高大坝位移的监测准确性。[0006] 为达到上述目的，本申请的实施例采用如下技术方案：[0007] 第一方面，提供了一种基于北斗定位及融合视觉的大坝位移监测方法，大坝所在区域包括至少两个监测区域，每个所述监测区域设有监测系统，所述监测系统包括北斗定位接收器、雷达和摄像头，每个所述监测区域包括至少两个监测点，该方法包括：[0008] 通过所述北斗定位接收器采集每个所述监测区域中每个所述监测点的第一位置数据，通过所述雷达获取每个所述监测区域中每个所述监测点的大坝表面数据，以及通过所述摄像头采集每个所述监测区域的不同时间点的连续图像；[0009] 结合每个所述监测区域中每个所述监测点的大坝表面数据和每个所述监测区域中每个监测点的第一位置数据，确定每个所述监测区域的第一位移；[0010] 对每个所述监测区域的不同时间点的所述连续图像进行图像配准，以将不同时间点的所述连续图像在相同的空间坐标系下具有一致的位置和方向；[0011] 提取图像配准后的连续图像的特征点，并对每个所述特征点进行特征跟踪，确定每个所述监测区域的第二位移；[0012] 采用卷积神经网络对每个所述监测区域的所述第一位移与所述第二位移进行视觉融合，确定大坝整体位移。[0013] 在第一方面的一种可能的实现方式中，每个所述监测区域的所述监测点包括已知监测点和待测关键监测点，所述监测区域包括位于大坝表面的第一监测区域和位于大坝周围高地上的第二监测区域，所述雷达包括合成孔径雷达和地基雷达，所述合成孔径雷达用于采集所述第一监测区域和所述第二监测区域中的每个已知监测点的大坝表面数据，所述地基雷达用于采集所述第二监测区域中的每个已知监测点的大坝地面数据；[0014] 所述通过所述雷达获取每个所述监测区域中每个所述监测点的大坝表面数据，包括：[0015] 通过所述合成孔径雷达采集所述第一监测区域与所述第二监测区域中的每个已知监测点的大坝表面数据，以及通过所述地基雷达采集所述第二监测区域中的每个已知监测点的大坝地面数据；[0016] 对于所述第一监测区域与所述第二监测区域中的每个所述待测关键监测点，通过所述大坝表面数据和所述大坝地面数据，将每个所述待测关键监测点的大坝表面数据进行插值，得到每个所述待测关键监测点的插值数据；[0017] 根据所述大坝表面数据和所述插值数据，得到每个所述监测区域中每个所述监测点的大坝表面数据。[0018] 在第一方面的另一种可能的实现方式中，所述对于所述第一监测区域与所述第二监测区域中的每个所述待测关键监测点，通过所述大坝表面数据和所述大坝地面数据，将每个所述待测关键监测点的大坝表面数据进行插值，得到每个所述待测关键监测点的插值数据，包括：[0019] 根据所述北斗定位接收器采集的每个所述监测点的第一位置数据，确定所述第一监测区域与所述第二监测区域中的每个所述已知监测点和每个所述待测关键监测点的定位坐标；[0020] 根据每个所述待测关键监测点的定位坐标和每个所述已知监测点的定位坐标，计算每个所述待测关键监测点到所有所述已知监测点的距离di；[0021] 根据所述距离di计算权重wi；[0022] 采用空间插值计算公式，根据每个所述已知监测点的所述大坝表面数据和所述大坝地面数据和所述权重wi，计算得到每个所述待测关键监测点的插值数据；[0023] 其中，所述空间插值计算公式包括：[0024][0025] 式中，Z(Pu)为待测关键监测点的插值数据，Zi为第i个已知监测点的大坝表面数据，ωi为距离di的权重， p为幂参数。[0026] 在第一方面的另一种可能的实现方式中，每个所述监测区域还包括待测未知点，所述结合每个所述监测区域中每个所述监测点的大坝表面数据和每个所述监测区域中每个监测点的第一位置数据，确定每个所述监测区域的第一位移，包括：[0027] 对于每个所述监测点，根据当前时间的所述大坝表面数据和基准时间的表面数据，计算形变数据，得到每个所述监测点的形变数据；[0028] 根据每个所述监测区域的每个所述监测点的形变数据和所述第一位置数据，确定关联函数，其中，所述关联函数用于表征形变数据与所述第一位置数据之间的关联关系；[0029] 通过所述北斗定位接收器采集每个所述监测区域中每个所述待测未知点的第二位置数据；[0030] 根据所述关联函数和每个所述待测未知点的第二位置数据，确定每个所述待测未知点的形变数据，其中，每个所述监测区域中的所有所述监测点的形变数据和所有所述待测未知点的形变数据构成所述监测区域的位移场；[0031] 根据每个所述监测区域的所述位移场，确定每个所述监测区域的第一位移。[0032] 在第一方面的另一种可能的实现方式中，所述提取图像配准后的连续图像的特征点，并对每个所述特征点进行特征跟踪，确定每个所述监测区域的第二位移，包括：[0033] 提取图像配准后的连续图像的特征点，并计算每个所述特征点的描述符；[0034] 根据每个所述特征点的描述符，将每个所述监测区域的所述连续图像的第一张图像中的每个特征点与最后一张图像中的每个特征点进行匹配，确定匹配特征对；[0035] 根据每个所述匹配特征对中的每个特征点的坐标，计算每个所述监测区域的每个所述匹配特征对的位移向量，并根据每个所述监测区域的所有所述匹配特征对的位移向量，确定每个所述监测区域的第一张图像与最后一张图像的位移量，其中，每个所述监测区域的所述第一张图像与最后一张图像的位移量用于表征每个所述监测区域的第二位移。[0036] 在第一方面的另一种可能的实现方式中，所述采用卷积神经网络对每个所述监测区域的所述第一位移与所述第二位移进行视觉融合，确定大坝整体位移，包括：[0037] 将所述第一监测区域的所述第一位移与所述第二位移输入预训练的卷积神经网络模型的第一输入层，得到所述第一监测区域的第一输出位移；[0038] 将所述第二监测区域的所述第一位移与所述第二位移输入所述卷积神经网络模型的第二输入层，得到所述第二监测区域的第二输出位移；[0039] 将所述第一输出位移与所述第二输出位移输入所述卷积神经网络的融合层，得到大坝整体位移。[0040] 在第一方面的另一种可能的实现方式中，所述卷积神经网络模型的架构包括第一输入层、第一卷积层、第一池化层、第一全连接层、第二输入层、第二卷积层、第二池化层、第二全连接层、第一输出层、第二输出层、融合层、第三输出层；[0041] 其中，所述第一输入层用于传递所述第一监测区域的所述第一位移和所述第二位移，所述第一卷积层和所述第一池化层用于提取所述第一位移和所述第二位移的特征向量，所述第一全连接层用于融合所述第一位移和所述第二位移的特征向量，得到第一融合特征向量，所述第一输出层用于输出所述第一融合特征向量；所述第二输入层用于传递所述第二监测区域的所述第一位移和所述第二位移，所述第二卷积层和所述第二池化层用于提取所述第一位移和所述第二位移的特征向量，所述第二全连接层用于融合所述第一位移和所述第二位移的特征向量，得到第二融合特征向量，所述第二输出层用于输出所述第二融合特征向量；所述融合层用于融合所述第一融合特征向量和所述第二融合特征向量，得到位移向量；所述第三输出层用于输出所述位移向量，所述位移向量用于表征所述大坝整体位移。[0042] 在第一方面的另一种可能的实现方式中，所述卷积神经网络模型的训练步骤包括：[0043] 获取所述第一监测区域的第一训练集和所述第二监测区域的第二训练集；[0044] 执行循环步骤，至根据所述位移向量计算得到的损失值小于预设值；[0045] 其中，所述循环步骤包括：[0046] 设置所述卷积神经网络模型的初始参数[0047] 将所述第一训练集输入所述第一输入层，得到第一输出位移，以及将所述第二训练集输入所述第二输入层，得到第二输出位移；[0048] 将所述第一输出位移和所述第二输出位移输入所述融合层，得到位移向量；[0049] 采用损失函数，根据所述位移向量与对应的真实位移向量计算损失值；[0050] 在所述损失值大于或等于预设值的情况下，通过反向传播算法，计算每个所述初始参数对损失的梯度，并沿所述梯度的反方向更新所述初始参数，得到更新后的参数；[0051] 采用所述更新后的参数作为所述卷积神经网络模型的初始参数。[0052] 在第一方面的另一种可能的实现方式中，所述根据每个所述监测区域的所述位移场，确定每个所述监测区域的第一位移，包括：[0053] 将每个所述监测区域的所述位移场中的每个所述监测点和每个所述待测未知点的形变数据进行加权平均，得到每个所述监测区域的第一位移。[0054] 第二方面，本申请提供一种基于北斗定位及融合视觉的大坝位移监测系统，包括控制终端、北斗定位接收器、雷达和摄像头，所述北斗定位接收器、所述雷达和所述摄像头分别与所述控制终端连接，所述控制终端用于执行上述的基于北斗定位及融合视觉的大坝位移监测方法。[0055] 通过上述技术方案，可以结合北斗定位接收器、雷达和摄像头，实现多维数据采集，并通过结合位置数据、大坝表面数据和连续图像，可以综合考虑大坝在水平、竖直和其他维度上的位移情况，包括变形、扭转等多维位移情况，并且通过图像配准、特征点提取和特征点跟踪，结合卷积神经网络进行视觉融合，可以将不同监测手段得到的不同监测区域的位移进行综合分析，更精确地确定大坝的整体位移。[0056] 本申请实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。附图说明[0057] 图1为本申请实施例提供的一种基于北斗定位及融合视觉的GNSS大坝位移监测方法的流程框图；[0058] 图2为本申请实施例提供的一种卷积神经网络的架构示意图；[0059] 图3为本申请实施例提供的一种基于北斗定位及融合视觉的GNSS大坝位移监测系统的示意图；[0060] 图4为本申请实施例提供的一种控制终端的显示页面示意图。具体实施方式[0061] 为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，应当理解的是，此处所描述的具体实施方式仅用于说明和解释本申请实施例，并不用于限制本申请实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。[0062] 需要说明，若本申请实施例中有涉及方向性指示(诸如上、下、左、右、前、后……)，则该方向性指示仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。[0063] 另外，若本申请实施例中有涉及“第一”、“第二”等的描述，则该“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本申请要求的保护范围之内。[0064] 图1示意性示出了根据本申请实施例的一种基于北斗定位及融合视觉的GNSS大坝位移监测方法的流程示意图。如图1所示，本申请实施例提供一种基于北斗定位及融合视觉的GNSS大坝位移监测方法，大坝所在区域包括至少两个监测区域，每个监测区域设有监测系统，监测系统包括北斗定位接收器、雷达和摄像头，每个监测区域包括至少两个监测点，该方法可以包括下列步骤。[0065] S110、通过北斗定位接收器采集每个监测区域中每个监测点的第一位置数据，通过雷达获取每个监测区域中每个监测点的大坝表面数据，以及通过摄像头采集每个监测区域的不同时间点的连续图像；[0066] S120、结合每个监测区域中每个监测点的大坝表面数据和每个监测区域中每个监测点的第一位置数据，确定每个监测区域的第一位移；[0067] S130、对每个监测区域的不同时间点的连续图像进行图像配准，以将不同时间点的连续图像在相同的空间坐标系下具有一致的位置和方向；[0068] S140、提取图像配准后的连续图像的特征点，并对每个特征点进行特征跟踪，确定每个监测区域的第二位移；[0069] S150、采用卷积神经网络对每个监测区域的第一位移与第二位移进行视觉融合，确定大坝整体位移。[0070] 在本实施例中，GNSS代表全球导航卫星系统(GlobalNavigationSatelliteSystem)，是一种利用卫星进行全球定位和导航的系统，包括北斗卫星导航系统，其中北斗卫星导航系统包括北斗定位接收器。大坝所在区域指大坝所在的整个区域范围，包括大坝周围的地理区域和大坝本身；监测区域指大坝所在区域被划分的具体区域，用于监测大坝的变形和位移情况；监测点指监测区域内的具体位置点，用于监测大坝的变形和位移；大坝表面数据指大坝表面的相关数据，包括形变数据等。[0071] 首先，通过北斗定位接收器采集每个监测区域中每个监测点的第一位置数据。其中，北斗定位系统是一种卫星导航系统，可以提供高精度的位置信息。通过北斗定位接收器采集到的位置数据可以反映监测点的初始位置。同时，通过雷达获取每个监测区域中每个监测点的大坝表面数据。雷达可以探测到大坝表面的形变情况，从而可以通过雷达获取每个监测点的大坝表面数据。此外，通过摄像头采集每个监测区域的不同时间点的连续图像，用于后续的图像配准和特征提取。[0072] 其次，结合每个监测区域中每个监测点的大坝表面数据和每个监测区域中每个监测点的第一位置数据，可以确定每个监测区域的第一位移。也就是说，通过将大坝表面数据和第一位置数据进行结合分析，可以得到每个监测区域的位移情况。[0073] 在得到每个监测区域的位移情况后，对每个监测区域的不同时间点的连续图像进行图像配准。图像配准是将不同时间点的图像在相同的空间坐标系下进行对齐，使不同时间点的图像具有一致的位置和方向。本实施例通过提取图像配准后的连续图像的特征点，并对每个特征点进行特征跟踪，以确定每个监测区域的第二位移。特征点是图像中具有独特特征的点，可以用于跟踪图像的移动和变形。通过对连续图像中的特征点进行跟踪，可以计算出每个监测区域的位移变化。[0074] 最后，采用卷积神经网络对每个监测区域的第一位移和第二位移进行视觉融合，从而确定大坝的整体位移。卷积神经网络是一种深度学习模型，可以从图像数据中学习特征并进行融合。通过将第一位移和第二位移输入到卷积神经网络中，可以得到大坝整体位移的估计结果。[0075] 本实施例可以结合北斗定位接收器、雷达和摄像头，实现多维数据采集，并通过结合位置数据、大坝表面数据和连续图像，可以综合考虑大坝在水平、竖直和其他维度上的位移情况，包括变形、扭转等多维位移情况，并且通过图像配准、特征点提取和特征点跟踪，结合卷积神经网络进行视觉融合，可以将不同监测手段得到的不同监测区域的位移进行综合分析，更精确地确定大坝的整体位移。[0076] 在本实施例的其中一种实施方式中，每个监测区域的监测点包括已知监测点和待测关键监测点，监测区域包括位于大坝表面的第一监测区域和位于大坝周围高地上的第二监测区域，雷达包括合成孔径雷达和地基雷达，合成孔径雷达用于采集第一监测区域和第二监测区域中的每个已知监测点的大坝表面数据，地基雷达用于采集第二监测区域中的每个已知监测点的大坝地面数据；[0077] 通过雷达获取每个监测区域中每个监测点的大坝表面数据，包括如下步骤：[0078] S210、通过合成孔径雷达采集第一监测区域与第二监测区域中的每个已知监测点的大坝表面数据，以及通过地基雷达采集第二监测区域中的每个已知监测点的大坝地面数据；[0079] S220、对于第一监测区域与第二监测区域中的每个待测关键监测点，通过大坝表面数据和大坝地面数据，将每个待测关键监测点的大坝表面数据进行插值，得到每个待测关键监测点的插值数据；[0080] S230、根据大坝表面数据和插值数据，得到每个监测区域中每个监测点的大坝表面数据。[0081] 监测区域被划分为第一监测区域和第二监测区域，每个监测区域包含已知监测点和待测关键监测点。其中，待测关键监测点指在监测区域中需要进行监测的监测点。[0082] 第一监测区域位于大坝表面，第二监测区域位于大坝周围的高地上。为了获取监测点的大坝表面数据，使用了合成孔径雷达和地基雷达两种雷达设备。具体的，合成孔径雷达可以设在大坝表面或其周围高地的固定位置，用于通过发射和接收雷达信号测量目标物体(大坝表面)的形变。合成孔径雷达的工作原理是利用雷达波束的特性，通过发送连续的信号并接收返回的散射信号，然后根据接收到的信号进行信号处理和数据分析，从而获取目标物体的形变、位移等信息。[0083] 地基雷达可以设于大坝的周围高地上，以便更好地监测第二监测区域。与合成孔径雷达同理，地基雷达可以利用雷达波束的特性，通过发送和接收信号来测量目标物体(大坝周围高地)形变。[0084] 本实施例对于第一监测区域和第二监测区域中的每个待测关键监测点，利用大坝表面数据和大坝地面数据进行插值。通过对已知监测点的数据进行分析和处理，可以得到待测关键监测点的数据，从而填补监测点之间的数据空白，得到更完整的数据集。[0085] 在得到插值数据后，可以根据大坝表面数据和插值数据，得到每个监测区域中每个监测点的大坝表面数据。[0086] 本实施方式使用合成孔径雷达和地基雷达来采集大坝表面数据，并使用插值方法处理待测关键监测点的数据，可以有效提高监测数据的精度和准确性，从而更好地监测大坝的位移。[0087] 在本实施例的其中一种实施方式中，对于第一监测区域与第二监测区域中的每个待测关键监测点，通过大坝表面数据和大坝地面数据，将每个待测关键监测点的大坝表面数据进行插值，得到每个待测关键监测点的插值数据，包括如下步骤：[0088] S310、根据北斗定位接收器采集的每个监测点的第一位置数据，确定第一监测区域与第二监测区域中的每个已知监测点和每个待测关键监测点的定位坐标；[0089] S320、根据每个待测关键监测点的定位坐标和每个已知监测点的定位坐标，计算每个待测关键监测点到所有已知监测点的距离di；[0090] S330、根据距离di计算权重wi；[0091] S340、采用空间插值计算公式，根据每个已知监测点的大坝表面数据和大坝地面数据和权重wi，计算得到每个待测关键监测点的插值数据；[0092] 其中，空间插值计算公式包括：[0093][0094] 式中，Z(Pu)为待测关键监测点的插值数据，Zi为第i个已知监测点的大坝表面数据，ωi为距离di的权重， p为幂参数。[0095] 本实施例中，利用北斗定位接收器采集每个监测点的第一位置数据，确定第一监测区域和第二监测区域中每个已知监测点和每个待测关键监测点的定位坐标。北斗定位接收器可以通过接收卫星信号来确定监测点的位置，因此可以精确地确定每个监测点的位置坐标。在实施过程中，可以采用现场实测或者与已知的位置数据进行比较，以确保每个监测点的定位坐标准确无误。di可以通过欧几里得距离公式计算得到。[0096] 具体的，若已知监测点的定位坐标为(xA，yA，zA)，待测关键监测点的定位坐标为(xB，yB，zB)，则[0097] 对于每个待测关键监测点与所有已知监测点之间的距离计算，可以按照上述方法逐一计算，得到一组距离值d1,d2,…,di，其中i表示已知监测点的数量。[0098] 根据距离di计算权重wi,可以确定每个已知监测点对待测关键监测点的贡献程度，为后续的插值计算提供权重数据。[0099] 最后，可以采用空间插值计算公式，根据每个已知监测点的大坝表面数据和大坝地面数据以及权重wi，计算得到每个待测关键监测点的插值数据。[0100] 本实施方式可以对第一监测区域和第二监测区域中的每个待测关键监测点进行插值计算，得到每个待测关键监测点的插值数据。这种方法可以填补监测点之间的数据空白，得到更完整的数据集，为大坝监测提供更准确的数据支持。[0101] 在本实施例的其中一种实施方式中，每个监测区域还包括待测未知点，结合每个监测区域中每个监测点的大坝表面数据和每个监测区域中每个监测点的第一位置数据，确定每个监测区域的第一位移，包括如下步骤：[0102] S410、对于每个监测点，根据当前时间的大坝表面数据和基准时间的表面数据，计算形变数据，得到每个监测点的形变数据；[0103] S420、根据每个监测区域的每个监测点的形变数据和第一位置数据，确定关联函数，其中，关联函数用于表征形变数据与第一位置数据之间的关联关系；[0104] S430、通过北斗定位接收器采集每个监测区域中每个待测未知点的第二位置数据；[0105] S440、根据关联函数和每个待测未知点的第二位置数据，确定每个待测未知点的形变数据，其中，每个监测区域中的所有监测点的形变数据和所有待测未知点的形变数据构成监测区域的位移场；[0106] S450、根据每个监测区域的位移场，确定每个监测区域的第一位移。[0107] 形变数据指位移、倾斜、应变等量测数据与基准状态之间的差异。通过计算形变数据，可以确定每个监测点的变形情况。可以将当前时间的大坝表面数据与基准时间的表面数据进行比较，得到每个监测点的形变数据。[0108] 根据每个监测区域的每个监测点的形变数据和第一位置数据，确定关联函数。关联函数用于表征形变数据与第一位置数据之间的关联关系。通过确定关联函数，可以将形变数据转化为位移数据，从而得到每个监测点的位移数据。[0109] 具体的，可以首先确定二次多项式作为关联函数，即ΔZ(x,y)＝a0+a1x+a2y+a3x2+2a4y+a5xy。并将每个监测点的形变数据和第一位置数据代入关联函数，形成线性方程组，并使用最小二乘法求解线性方程组，得到系数a0，a1，a2，a3，a4，a5，即可得到关联函数。[0110] 将每个待测未知点的第二位置数据代入关联函数，即可确定每个待测未知点的形变数据。[0111] 根据监测区域的位移场，可以确定每个监测区域的第一位移。第一位移可以是位移场的形变数据的平均值。[0112] 本实施方式可以结合大坝表面数据和第一位置数据，对待测未知点进行形变数据的计算，确定关联函数，进而确定监测区域的位移场和第一位移，有利于提供更准确的位移数据，为大坝监测提供更可靠的数据支持。[0113] 在本实施例的其中一种实施方式中，提取图像配准后的连续图像的特征点，并对每个特征点进行特征跟踪，确定每个监测区域的第二位移，包括如下步骤：[0114] S510、提取图像配准后的连续图像的特征点，并计算每个特征点的描述符；[0115] S520、根据每个特征点的描述符，将每个监测区域的连续图像的第一张图像中的每个特征点与最后一张图像中的每个特征点进行匹配，确定匹配特征对；[0116] S530、根据每个匹配特征对中的每个特征点的坐标，计算每个监测区域的每个匹配特征对的位移向量，并根据每个监测区域的所有匹配特征对的位移向量，确定每个监测区域的第一张图像与最后一张图像的位移量，其中，每个监测区域的第一张图像与最后一张图像的位移量用于表征每个监测区域的第二位移。[0117] 特征点是指图像中具有显著性质的点，如角点、边缘点等。描述符是指用来表征特征点周围像素分布情况的向量。通过提取特征点和计算描述符，可以将图像中的信息转化为数值形式，为后续步骤提供数据支持。[0118] 匹配特征对是指在第一张图像和最后一张图像中，具有相似描述符的特征点对。通过匹配特征对，可以确定两张图像之间的对应关系。[0119] 根据匹配特征对中的每个特征点的坐标，计算每个匹配特征对的位移向量，并根据所有匹配特征对的位移向量，确定监测区域的第一张图像与最后一张图像的位移量。其中，每个监测区域的第一张图像与最后一张图像的位移量用于表征每个监测区域的第二位移。通过计算位移向量，可以确定每个特征点在两张图像之间的位移情况，从而确定监测区域的位移情况。[0120] 本实施方式可以通过图像配准和特征跟踪得到每个监测区域的第二位移，从而提供更准确的位移数据，为大坝位移监测提供更可靠的数据支持。[0121] 在本实施例的其中一种实施方式中，采用卷积神经网络对每个监测区域的第一位移与第二位移进行视觉融合，确定大坝整体位移，包括如下步骤：[0122] S610、将第一监测区域的第一位移与第二位移输入预训练的卷积神经网络模型的第一输入层，得到第一监测区域的第一输出位移；[0123] S620、将第二监测区域的第一位移与第二位移输入卷积神经网络模型的第二输入层，得到第二监测区域的第二输出位移；[0124] S630、将第一输出位移与第二输出位移输入卷积神经网络的融合层，得到大坝整体位移。将第一监测区域的第一位移和第二位移输入预训练的卷积神经网络模型的第一输入层，得到第一监测区域的第一输出位移。卷积神经网络是一种深度学习模型，通过将第一位移和第二位移作为输入，卷积神经网络可以学习到第一位移和第二位移的关系，并生成第一监测区域的第一输出位移。[0125] 将第二监测区域的第一位移和第二位移输入卷积神经网络模型的第二输入层，得到第二监测区域的第二输出位移。与步骤S610类似，可以输入第二监测区域的第一位移与第二位移，使卷积神经网络能够学习到第一位移和第二位移的关系，并生成第二监测区域的第二输出位移。[0126] 将第一输出位移和第二输出位移输入卷积神经网络的融合层，得到大坝的整体位移。融合层是卷积神经网络中的一层，用于将多个输入特征进行融合和组合。通过将第一输出位移和第二输出位移输入融合层，卷积神经网络可以综合考虑两个监测区域的输出位移，并生成大坝的整体位移。具体的，可以通过将第一输出位移和第二输出位移进行融合操作，如拼接、加权平均等方式实现大坝的整体位移的生成。[0127] 其中，融合层可以是拼接和卷积层，拼接层后接一个卷积层，以便于融合第一输出位移和第二输出位移，得到大坝整体位移。[0128] 本实施方式使用卷积神经网络对每个监测区域的第一位移和第二位移进行视觉融合，从而确定大坝的整体位移，通过深度学习，可以学习到位移数据之间的复杂关系，并生成准确的位移结果。通过融合不同监测区域的位移信息，可以得到更全面和全局的大坝位移情况，提供更准确的大坝位移监测结果。[0129] 在本实施例的其中一种实施方式中，参照图2所示的卷积神经网络的架构示意图，卷积神经网络模型的架构包括第一输入层、第一卷积层、第一池化层、第一全连接层、第二输入层、第二卷积层、第二池化层、第二全连接层、第一输出层、第二输出层、融合层、第三输出层；[0130] 其中，第一输入层用于传递第一监测区域的第一位移和第二位移，第一卷积层和第一池化层用于提取第一位移和第二位移的特征向量，第一全连接层用于融合第一位移和第二位移的特征向量，得到第一融合特征向量，第一输出层用于输出第一融合特征向量；第二输入层用于传递第二监测区域的第一位移和第二位移，第二卷积层和第二池化层用于提取第一位移和第二位移的特征向量，第二全连接层用于融合第一位移和第二位移的特征向量，得到第二融合特征向量，第二输出层用于输出第二融合特征向量；融合层用于融合第一融合特征向量和第二融合特征向量，得到位移向量；第三输出层用于输出位移向量，位移向量用于表征大坝整体位移。[0131] 首先，第一输入层接收第一监测区域的第一位移和第二位移数据，经过第一卷积层和第一池化层提取特征向量，再通过第一全连接层将两个位移的特征向量融合，形成第一融合特征向量，并由第一输出层输出。同样，第二输入层接收第二监测区域的位移数据，经过相似的卷积、池化和全连接层处理，生成第二融合特征向量并由第二输出层输出。融合层接收第一融合特征向量和第二融合特征向量，融合为一个位移向量，最终由第三输出层输出，用以描述大坝的整体位移。[0132] 需要说明的是，本实施例的卷积神经网络可以基于TensorFlow或PyTorch搭建网络结构。[0133] 本实施方式提供的卷积神经网络的架构，通过多层次的处理每个监测区域的第一位移和第二位移，最终得到大坝整体位移，可以有效地综合考虑不同监测区域的位移情况，提高位移数据的表达和监测效果，为大坝的安全监测提供更准确的信息。[0134] 在本实施例的其中一种实施方式中，卷积神经网络模型的训练步骤包括：[0135] S710、获取第一监测区域的第一训练集和第二监测区域的第二训练集；[0136] S720、执行循环步骤，至根据位移向量计算得到的损失值小于预设值；[0137] 其中，循环步骤包括：[0138] S730、设置卷积神经网络模型的初始参数[0139] S740、将第一训练集输入第一输入层，得到第一输出位移，以及将第二训练集输入第二输入层，得到第二输出位移；[0140] S750、将第一输出位移和第二输出位移输入融合层，得到位移向量；[0141] S760、采用损失函数，根据位移向量与对应的真实位移向量计算损失值；[0142] S770、在损失值大于或等于预设值的情况下，通过反向传播算法，计算每个初始参数对损失的梯度，并沿梯度的反方向更新初始参数，得到更新后的参数；[0143] S780、采用更新后的参数作为卷积神经网络模型的初始参数。[0144] 首先，获取第一监测区域的第一训练集和第二监测区域的第二训练集，第一训练集和第二训练集均包含了监测区域的位移数据和对应的真实位移向量，用于训练卷积神经网络模型。并执行循环步骤，至根据位移向量计算得到的损失值小于预设值为止。[0145] 具体的，在循环的初始阶段，设置卷积神经网络模型的初始参数，包括卷积核的大小、池化操作的方式、全连接层的神经元数量等，用于决定卷积神经网络模型的结构和学习能力。然后，在每个循环迭代中，将第一训练集输入到第一输入层，得到第一输出位移；同时将第二训练集输入到第二输入层，得到第二输出位移，输入数据经过卷积层、池化层和全连接层的处理，逐步提取和融合位移数据的特征信息。接下来，将第一输出位移和第二输出位移输入到融合层，通过融合操作得到位移向量，融合层可以采用加权平均、拼接等方式将两个输出位移(第一输出位移和第二输出位移)进行融合，得到更全面和准确的位移向量。然后，采用损失函数，根据位移向量与对应的真实位移向量之间的差异计算损失值。在损失值大于或等于预设值的情况下，通过反向传播算法计算每个初始参数对损失的梯度，并沿梯度的反方向更新初始参数，得到更新后的参数，这样，卷积神经网络模型通过不断调整参数，逐渐减小损失值，提高位移预测的准确性。最后，采用更新后的参数作为卷积神经网络模型的初始参数，这样，经过多次循环迭代，卷积神经网络模型逐渐学习和优化，使得位移预测的准确性不断提高。[0146] 其中，损失函数包括：[0147][0148] 式中，MSE为损失值，n为训练集的样本数量，其中，第一训练集和第二训练集的样本数量一致，yi为位移向量对应的真实位移向量， 为位移向量。[0149] 本实施方式通过不断调整网络参数来最小化损失函数，使卷积神经网络模型能够更好地拟合训练数据，提高大坝位移预测的准确性。[0150] 在本实施例的其中一种实施方式中，根据每个监测区域的位移场，确定每个监测区域的第一位移，包括如下步骤：[0151] S810、将每个监测区域的位移场中的每个监测点和每个待测未知点的形变数据进行加权平均，得到每个监测区域的第一位移。[0152] 在每个监测区域的位移场中，将监测点和待测未知点的形变数据进行加权平均，以得到每个监测区域的第一位移。加权平均可以考虑各个点的权重，根据其相对重要性进行加权处理，其中，可以将监测点的权重设置为第一权重，将待测未知点的权重设置为第二权重，除此之外，还可以根据每个监测点与每个待测未知点的关键性确定权重，本实施对此不进行限制。[0153] 本实施方式综合了位移场中不同点的信息，并考虑了各个点的权重，有效提高了第一位移计算的准确性。[0154] 本申请实施例还公开一种基于北斗定位及融合视觉的大坝位移监测系统，如图3所示，该系统包括控制终端、北斗定位接收器、雷达和摄像头，北斗定位接收器、雷达和摄像头分别与控制终端连接，控制终端用于执行上述的基于北斗定位及融合视觉的大坝位移监测方法。[0155] 需要说明的是，大坝所在区域包括第一监测区域和第二监测区域，第一监测区域和第二监测区域均设有监测系统，每个监测系统包括北斗定位接收器、雷达和摄像头，第一监测区域与第二监测区域的监测系统均与控制终端连接。[0156] 雷达包括合成孔径雷达和地基雷达，北斗定位接收器、合成孔径雷达和地基雷达均与控制终端无线连接，摄像头与控制终端有线连接。具体的，北斗定位接收器、合成孔径雷达和地基雷达可以通过Wi‑Fi无线网络、蓝牙、移动网络(如4G、5G)或无线局域网(WirelessLAN)与控制终端无线连接。[0157] 另外，本方案的控制终端上设有监测平台，如图4所示，在该监测平台的显示页面上可以显示有大坝的位移情况，从而便于对大坝位移进行监测。[0158] 本申请实施例还提供一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令用于使得机器执行上述的基于北斗定位及融合视觉的大坝位移监测方法。[0159] 本领域内的技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD‑ROM、光学存储器等)上实施的计算机程序产品的形式。[0160] 本申请是参照根据本申请实施例的方法、设备(系统)、计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。[0161] 这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。[0162] 这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。[0163] 在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。[0164] 存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flashRAM)。存储器是计算机可读介质的示例。[0165] 计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD‑ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitorymedia)，如调制的数据信号和载波。[0166] 还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。[0167] 以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

专利地区：湖北

专利申请日期：2024-05-30

专利公开日期：2024-11-29

专利公告号：CN118654558B