一种基于图像处理和卡尔曼滤波的水下管线定位跟踪方法

专利名称：一种基于图像处理和卡尔曼滤波的水下管线定位跟踪方法

专利类型：发明专利

专利申请号：CN202111098451.X

专利申请（专利权）人：上海电机学院
权利人地址：上海市闵行区江川路690号

专利发明（设计）人：郭雨薇,刘俊

专利摘要：本发明公开了一种基于图像处理和卡尔曼滤波的水下管线定位跟踪方法，解决了水下管线检测工作环境差、检测成本高，效率低下的弊端，其技术方案要点是通过色调修正方法增加前景和背景的区别度；再采用基于HSV的颜色空间模型，目标颜色分量作为处理区域查询表构建前景区域搜索框；搜索框内包含了目标像素点构成的连通域，建立目标追踪点确立机制；最后构建卡尔曼滤波器，对获得的目标追踪点状态矩阵进行处理，本发明的一种基于图像处理和卡尔曼滤波的水下管线定位跟踪方法，简单有效，计算量小，更加的实时和准确。

主权利要求：
1.一种基于图像处理和卡尔曼滤波的水下管线定位跟踪方法，其特征是，包括有以下步骤：S1、通过色调修正法增强前景和背景的区别度，进行水下图像恢复；
S2、采用基于HSV的颜色空间模型，将目标颜色分量作为处理区域查询表构建前景区域搜索框，建立目标跟踪点确立机制，确定目标跟踪点；
S3、构建卡尔曼滤波器，对获得的目标跟踪点状态矩阵进行处理，对运动目标下一帧可能出现的位置进行预测，定位水下管线位置；
目标跟踪点的确定具体为：
在HSV颜色空间下分割前景，根据色调修正后图像对应水下管线在HSV和RGB空间的范围，将目标颜色分量作为处理区域查询表，将目标区域边界的像素点构建成预搜索框；
确定搜索窗口的窗口中心、大小及像素质心，根据设置的阈值条件确定目标跟踪点；
目标跟踪点确立机制的建立具体为：
利用hough直线检测，找出构成管线左右两条边界线的集合，ll{(ul1,vl1), (ul2,vl2),……(uln,vln)}，lr{(ur1,vr1),(ur2,vr2),……(urn,vrn)}；
定义矩阵target1,大小为[m,1]，对目标的像素点进行y方向上的标记，标记后的最大位置和最小位置分别为umax’和umin’；
定义矩阵target2,大小为[1,n]，对目标的像素点进行x方向上的标记，标记后的最大位置和最小位置分别为vmax’和vmin’；
+ ‑ + ‑
限定[umin’,umax’]∈ll ∩lr ，同时[vmin’,vmax’]∈ll ∩lr ，得到新区间范围[umin,umax],[vmin,vmax]；
将区间位置[umin,umax],[vmin,vmax]返回到原图像中得到搜索窗口；
确定搜索窗口确定搜索窗口中心p、大小m×n，；
找出与p间距最小的连通域质心s，令最小间距表示为δ，设置阈值ε，若δ≤ε，则当前s(u,v)作为目标跟踪点；
在系统未接收到处理数据或δ＞ε时，以p(u,v)作为目标跟踪点，搜索窗口以2个单位像素向外扩张，等待下一次的搜索。
2.根据权利要求1所述的基于图像处理和卡尔曼滤波的水下管线定位跟踪方法，其特征是，步骤S1具体包括有：S11、对输入的原始图像计算平均傅里叶频率，根据傅里叶变换计算获得图像范围内的偏离色调；
S12、从原始图像中减去偏离色调，获取色彩平衡图像；
S13、对输出的色彩平衡图像进行处理，利用线性直方图拉伸恢复正确的色调强度范围。
3.根据权利要求2所述的基于图像处理和卡尔曼滤波的水下管线定位跟踪方法，其特征是，通过傅里叶变换计算获得偏离色调具体为：k k
S111、输入原始图像I，三通道图为I,k∈{R,G,B}，输出为色调图像T ；
S112、计算输入三通道分量的傅里叶频率；
其中， 代表傅立叶变换；
S113、计算平均频率： ；
S114、确定最大频率滤波器： ；
S115、输入图像应用最大频率滤波器： ；
S116、计算色调的强度：
；
其中， 。
4.根据权利要求1所述的基于图像处理和卡尔曼滤波的水下管线定位跟踪方法，其特征是，构建卡尔曼滤波器进行处理具体为：T
构建并初始化kalman滤波器参数与目标状态向量，目标状态向量x=[u,v,vu,vv] ；
u,v分别代表目标跟踪点在视频图像的直角坐标系Oxy中的x、y轴上的坐标分量，vu,vv分别表示∆t时间内的目标跟踪点在x、y轴上的平均速度；
输入系统状态向量 与预测误差协方差矩阵 ，；
；
计算卡尔曼滤波器增益系数 ， ；
观测变量更新，并更新测量误差：
，
；
修正状态向量 ，得到修正值，同时修正预测误差协方差矩阵 、卡尔曼滤波均方误差矩阵Pk；
等待下一次图像数据读取。 说明书 : 一种基于图像处理和卡尔曼滤波的水下管线定位跟踪方法技术领域[0001] 本发明涉及水下管线检测技术，特别涉及一种基于图像处理和卡尔曼滤波的水下管线定位跟踪方法。背景技术[0002] 水下管线常被建造来满足能源与通讯传输的需求，包括供水管、油气输运管道以及光电缆等多种管线形式。水下管线，特别是海底管线在设计的使用期限内，一般按最高标准设计和建造。但在这期间，由于受到设计、制造工艺、施工和服役环境的影响，不可避免地存在损伤和损坏。尤其是在强烈的水动力因素、不稳定的海底条件以及外界人为因素作用下，一旦发生管道破损油气泄漏、光电缆断裂通讯中断等事故，后果将十分严重。按照现行的国内外海底管道系统规范要求和国际惯例，要对海底管道作定期检查(年度检查)和特别检查，以保证管道安全运行和延长使用期限。[0003] 但目前的水下管线检测工作环境差、检测成本高，检测难度大，亟需简单有效的管线定位跟踪技术。发明内容[0004] 本发明的目的是提供一种基于图像处理和卡尔曼滤波的水下管线定位跟踪方法，简单有效，计算量小，更加的实时和准确。[0005] 本发明的上述技术目的是通过以下技术方案得以实现的：[0006] 公开了一种基于图像处理和卡尔曼滤波的水下管线定位跟踪方法，包括有以下步骤：[0007] S1、通过色调修正法增强前景和背景的区别度，进行水下图像恢复；[0008] S2、采用基于HSV的颜色空间模型，将目标颜色分量作为处理区域查询表构建前景区域搜索框，建立目标跟踪点确立机制，确定目标跟踪点；[0009] S3、构建卡尔曼滤波器，对获得的目标跟踪点状态矩阵进行处理，对运动目标下一帧可能出现的位置进行预测，定位水下管线位置。[0010] 作为优选，综上所述，本发明具有以下有益效果：[0011] 通过利用水下图像色调修正技术，在一定程度上恢复了水下图像原始色调，对HSV空间颜色分量进行限定，简单有效的获取目标搜索框。同时，缩小了目标跟踪点的搜索范围，卡尔曼滤波器对运动目标在下一帧图像中可能出现的位置进行预测,增强了跟踪的准确性，计算量更少，同时也兼顾了目标跟踪算法的实时性和准确性。附图说明[0012] 图1为本发明的整体流程示意图；[0013] 图2为经过水下图像恢复后的结果示意图。具体实施方式[0014] 以下结合附图对本发明作进一步详细说明。[0015] 根据一个或多个实施例，公开了一种基于图像处理和卡尔曼滤波的水下管线定位跟踪方法，如图1所示，包括有以下步骤：[0016] S1、通过色调修正法增强前景和背景的区别度，进行水下图像恢复；[0017] S2、采用基于HSV的颜色空间模型，将目标颜色分量作为处理区域查询表构建前景区域搜索框，建立目标跟踪点确立机制，确定目标跟踪点；[0018] S3、构建卡尔曼滤波器，对获得的目标跟踪点状态矩阵进行处理，对运动目标下一帧可能出现的位置进行预测，定位水下管线位置。[0019] 步骤S1，水下图像恢复具体为：[0020] 均匀照明的水下图像中最频繁出现的颜色(主色调)可以对该图像的色偏做出估计，从原始图像中减去它，可以获得符合灰度世界假设的非彩色色调图像。为了找到主色调，计算三通道的输入水下图像的平均傅立叶频率，并将傅立叶逆变换应用到其最大值。具体步骤如下：[0021] S11、对输入的原始图像计算平均傅里叶频率，根据傅里叶变换计算获得图像范围内的偏离色调；[0022] S111、输入原始图像I，三通道图为Ik,k∈{R,G,B}，输出为色调图像Tk；[0023] S112、计算输入三通道分量的傅里叶频率[0024][0025] 其中， 代表傅立叶变换；[0026] S113、计算平均频率：avgFI←(FIR+FIG+FIB)/3；[0027] S114、确定最大频率滤波器：Filt←[avgFI＝＝max(avgFI)]；[0028] S115、输入图像应用最大频率滤波器：FTk←FIk*Filt；[0029] S116、计算色调的强度：[0030][0031] 其中， 代表傅立叶反变换。[0032] 在计算整个图像范围内的偏离色调之后，再通过以下步骤：[0033] S12、从原始图像中减去偏离色调，获取色彩平衡图像；[0034] S13、对输出的色彩平衡图像进行处理，利用线性直方图拉伸恢复正确的色调强度范围。其基本公式如下：[0035][0036] Iin和Iout分别代表输入和输出像素强度，a、b、c和d分别是输入图像和目标输出图像的最小和最大强度。将c和d设置为255和0，根据原始图像的亮度水平，在输入图像的灰度直方图中分别在0～5％和95～100％内选择a和b。处理结果如图2所示。[0037] 由于水下可视化距离较短且存在色偏现象，通过水下色调修正技术帮助恢复水下图像原色调，在一定程度上恢复了水下图像原始色调，方便后续前景区域的提取利用。[0038] 步骤S2，目标跟踪点确定具体为：[0039] RGB分量中颜色近似的值在恶劣环境的干扰下差异显著。HSV色彩空间模型可非常直观的表达色彩的明暗，色调，以及鲜艳程度，具有三种衡量标准，在颜色间的对比中更为可靠。因此，我们选择在HSV颜色空间下分割前景。色调修正后图像对应水下管线在HSV空间的范围如表1所示。[0040] 分量 H S V管线 97‑150 140‑255 39‑210[0041] 表1[0042] 将目标颜色分量作为处理区域查询表，将目标区域边界的像素点构建成预搜索框：利用hough直线检测，找出构成管线左右两条边界线的集合，ll{(ul1,vl1),(ul2,vl2),……(uln,vln)}，lr{(ur1,vr1),(ur2,vr2),……(urn,vrn)}。[0043] 定义矩阵target1,大小为[m,1]，对目标的像素点进行y方向上的标记，标记后的最大位置和最小位置分别为umax’和umin’；同理，定义矩阵target2,大小为[1,n]，对目标的像素点进行x方向上的标记，标记后的最大位置和最小位置分别为vmax’和vmin’。[0044] 限定[umin’,umax’]∈ll+∩lr‑，同时[vmin’,vmax’]∈ll+∩lr‑，得到新区间范围[umin,umax],[vmin,vmax]。将区间位置[umin,umax],[vmin,vmax]返回到原图像中得到搜索窗口。[0045] 确定搜索窗口确定搜索窗口中心p、大小m×n。计算公式：[0046][0047] 找出与p间距最小的连通域质心s，令最小间距表示为δ，设置阈值ε，若δ≤ε，则当前s(u,v)作为目标跟踪点。由于获取图像帧、进行图像预处理、计算搜索中心等需要一定的时间，因此，在系统未接收到处理数据和δ＞ε等情况下，以p(u,v)作为目标跟踪点，搜索窗口以2个单位像素向外扩张，等待下一次的搜索。[0048] 通过对HSV空间颜色分量进行限定，能简单有效的获取目标搜索框。同时，缩小了目标跟踪点的搜索范围。在确定目标跟踪点的过程中计算量较小，通过搜索窗口的更新变换，不以目标像素点的颜色信息为单一的划分依据。[0049] 步骤S3，卡尔曼滤波处理具体为：[0050] 构建并初始化kalman滤波器参数及目标状态向量，目标状态向量x＝[u,v,vu,vv]T。u,v分别代表目标跟踪点在视频图像的直角坐标系Oxy中的x、y轴上的坐标分量,vu,vv分别表示Δt时间内的目标跟踪点在x、y轴上的平均速度。[0051] 动态系统状态空间的数学表示和卡尔曼滤波中的相关计算量公式如下:[0052] 系统状态方程：[0053] 预测误差协方差矩阵：[0054] kalman增益：[0055] 观测变量更新：[0056] 更新测量误差：[0057] 其中，A为系统的状态转移矩阵，[0058] 和 为k‑1和k时刻的目标状态向量。[0059] vk为k时刻控制向量，表示控制量v对当前状态的影响。[0060] Pk和Pk‑1分别表示k时刻和k‑1时刻的后验估计协方差。 为k时刻先验估计协方差，为 的协方差。[0061] Q表示状态转移矩阵与实际过程转换之间存在的噪声，也叫系统过程噪声协差矩阵。把Q设置为尽可能的小，[0062][0063] H为系统观测矩阵，[0064] R为测量噪声协方差，[0065] zk是观测矩阵。它是由实际的观测值和观测噪声构成的，[0066] zk＝Hxk+wk[0067] 卡尔曼滤波器对运动目标在下一帧图像中可能出现的位置进行预测,增强了跟踪的准确性。[0068] 通过色调修正方法增加前景和背景的区别度；再采用基于HSV的颜色空间模型，目标颜色分量作为处理区域查询表构建前景区域搜索框。搜索框内包含了目标像素点构成的连通域，建立目标追踪点确立机制：找出与搜索框中心间距最小的连通域质心s，若其最小间距不大于设定阈值，则当前s作为目标追踪点，否则，默认搜索框中心，同时增大搜索区域。最后构建卡尔曼滤波器，对获得的目标追踪点状态矩阵进行处理，从而更为准确的定位水下管线位置。整体计算量更少，同时也兼顾了目标跟踪算法的实时性和准确性。[0069] 本具体实施例仅仅是对本发明的解释，其并不是对本发明的限制，本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改，但只要在本发明的权利要求范围内都受到专利法的保护。

专利地区：上海

专利申请日期：2021-09-18

专利公开日期：2024-07-26

专利公告号：CN113808168B