可左右滑动选省市

一种基于多视角的同源传感器数据融合滤波方法

更新时间:2024-07-01
一种基于多视角的同源传感器数据融合滤波方法 专利申请类型:发明专利;
地区:湖北-武汉;
源自:武汉高价值专利检索信息库;

专利名称:一种基于多视角的同源传感器数据融合滤波方法

专利类型:发明专利

专利申请号:CN202110822344.0

专利申请(专利权)人:武汉市异方体科技有限公司
权利人地址:湖北省武汉市洪山区珞喻路33号珞珈创意园孵化器1307室

专利发明(设计)人:邱鹏,李赛红

专利摘要:本发明涉及机器视觉技术领域,一种基于多视角的同源传感器数据融合滤波方法,首先从布置于不同方位的传感器获取同一规则物体的多视角原始数据,再基于传感器的姿态信息,利用配准算法分别计算出各个视角数据的坐标变换关系,利用相应的变换关系将对应数据转换至同一坐标系后,分别对坐标转化之后不同视角的数据单独进行最邻近特征提取,利用各视角最邻近特征之间的几何关系,计算得到规则货物的俯视边界信息,利用该俯视边界信息剔除该边界之外的噪声点,得到更加接近真实位置的规则物体边界。本方法能准确提取规则物体边界信息,能有效过滤规则物体噪声点,避免过度滤波和欠滤波,并可充分利用货物几何特征,自适应强,无调参过程。

主权利要求:
1.一种基于多视角的同源传感器数据融合滤波方法,其特征在于:步骤如下:首先从布置于不同方位的传感器获取同一规则物体的多视角原始数据,再基于传感器的姿态信息,利用配准算法分别计算出各个视角数据的坐标变换关系,利用相应的变换关系将对应数据转换至同一坐标系,完成同一物体的数据融合,分别对坐标转化之后不同视角的数据单独进行最邻近特征提取,利用各视角最邻近特征之间的几何关系,计算得到规则货物的俯视边界信息,利用该俯视边界信息剔除该边界之外的噪声点,得到更加接近真实位置的规则物体边界;
所述基于多视角的同源传感器数据融合滤波方法还包括:计算每个传感器的坐标系转换矩阵,利用该转换矩阵将对应数据转换至同一坐标系中,完成同一物体的不同视角数据的融合;
将对应数据转换至同一坐标系时,首先选取其中一个传感器作为基准坐标系,该传感器的外参矩阵为单位矩阵,然后利用匹配算法将其它传感器得到数据转换到基准坐标系中,从而计算出相应传感器的外参矩阵;
所述匹配算法包括特征匹配、迭代最近点算法ICP和正态分布变换NDT;
所述邻近特征包括物体的角点和边界,所述角点表示规则货物俯视图的矩形框角点,边界表示与角点关联的货物俯视图矩形框边界,最邻近标准是角点与传感器的距离最短;
提取出货物所有关键的最邻近特征后,再根据传感器的外参矩阵将其坐标统一至基准坐标系中,根据角点和邻边的位置关系计算出剩余角点信息,最后构成货物的完整边界。
2.根据权利要求1所述的基于多视角的同源传感器数据融合滤波方法,其特征在于:所述视角数据的坐标变换关系的配准算法采用频域变换法,在进行变换前首先需要利用图像技术包括刚体变换、仿射变换、透视变换其中的一种或其组合,将视角数据转换成正射图像后再进行匹配。 说明书 : 一种基于多视角的同源传感器数据融合滤波方法技术领域[0001] 本发明涉及机器视觉技术领域,一种基于多视角的同源传感器数据融合滤波方法。背景技术[0002] 点云滤波通常为点云预处理的第一步,只有将噪声点、离群点、数据压缩等做相关处理后,才能更好地进行配准、曲面重建、可视化等应用。点云数据集中每一个点表达一定的信息量,某个区域点越密集有用的信息量越大。孤立的离群点信息量较小,其表达的信息量可以忽略不计。目前常用的滤波器有以下几种:[0003] 1、直通滤波器:对于在空间分布有一定空间特征的点云数据,比如使用线结构光扫描的方式采集点云,沿z向分布较广,但x,y向的分布处于有限范围内。此时可使用直通滤波器,确定点云在x或y方向上的范围,可较快剪除离群点,达到第一步粗处理的目的。[0004] 2、体素滤波器:使用轴对齐包围盒(AABB)或者有向包围盒(OBB)将点云数据体素化,一般体素越密集的地方信息越多,噪音点及离群点可通过体素网格去除。另一方面如果使用高分辨率相机等设备对点云进行采集,往往点云会较为密集。过多的点云数量会对后续分割工作带来困难。体素滤波器可以达到向下采样同时不破坏点云本身几何结构的功能。[0005] 3、统计滤波器:考虑离群点的分布特征,则可以定义某处点云小于某个密度,既点云无效。计算每个点到其邻近点的平均距离,假设邻域内所有点的距离构成高斯分布,可以计算出均值μ与方差σ。这个邻域点集中所有点与其邻域距离大于μ+std_mul*σ区间之外的点都可以被视为离群点,并可从点云数据中剔除。std_mul是标准差倍数的一个阈值,可以人为设定。[0006] 4、条件滤波:条件滤波器通过设定滤波条件进行分段滤波,如果点云满足滤波条件则保留,不满足则舍弃。[0007] 5、半径滤波器:半径滤波器与统计滤波器相比更加直接,以某点为中心统计半径r邻域范围内点的数量,当数量大于阈值时,则保留该点,数量小于给定值则剔除该点。此算法运行速度快,依序迭代留下的点一定是最密集的,但是圆的半径和圆内点的数目都需要人工指定。[0008] 现有技术具有如下不足:[0009] 不足1:直通滤波器和条件滤波器适合噪声点分布均匀或者对称的情况,但是融合数据往往不具备这种分布特点,如果阈值设置过大会导致过度滤波,过小则对导致欠滤波,不能有效滤掉噪声点。而且滤波阈值需要反复测试才能确定,场景适应性不稳定。[0010] 不足2:体素滤波器只能起到降采样的作用,不能有效去噪。[0011] 不足3:半径滤波器不能有效保留边界信息,容易出现模糊边界的现象,从而不能有效过滤边界噪声点。发明内容[0012] 为解决上述问题,本发明提出一种基于多视角的同源传感器数据融合滤波方法,本方法充分利用单视角数据与融合数据的不同特征,选取单视角最邻近特征特点;数据分拆处理,减轻整体数据处理过程中噪声点对几何特征的影响;自适应能力强,避免了其它滤波方法的调参繁琐过程。[0013] 为实现上述目的,本发明采用的技术方案是:[0014] 一种基于多视角的同源传感器数据融合滤波方法,步骤如下:首先从布置于不同方位的传感器获取同一规则物体的多视角原始数据,再基于传感器的姿态信息,利用匹配算法分别计算出各视角数据的坐标变换关系,利用相应的变换关系将对应数据转换至同一坐标系,完成同一物体的数据融合,分别对坐标转化之后不同视角的数据单独进行最邻近特征提取,利用各个视角最邻近特征之间的几何关系,计算得到规则货物的俯视边界信息,利用该俯视边界信息剔除该边界之外的噪声点,得到更加接近真实位置的规则物体边界。[0015] 作为优选的,所述视角数据的坐标变换关系的匹配方法采用频域变换法,进行变换前首先需要利用图像技术包括刚体变换、仿射变换、透视变换其中的一种或其组合,将视角数据转换成正射图像再进行匹配。[0016] 作为优选的,所述邻近特征包括物体的角点和边界,所述角点表示规则货物俯视图的矩形框角点,边界表示与角点关联的货物俯视图矩形框边界,最邻近标准是角点与传感器的距离最短。[0017] 作为优选的,将对应数据转换至同一坐标系时,计算每个传感器的外参矩阵,利用外参矩阵完成同一物体的数据融合。[0018] 作为优选的,将对应数据转换至同一坐标系时,首先选取其中一个传感器作为基准坐标系,该传感器的外参矩阵为单位矩阵,然后利用匹配算法将其它传感器得到数据转换到基准坐标系中,从而计算出相应传感器的外参矩阵,[0019] 作为优选的,所述匹配算法包括特征匹配、迭代最近点算法ICP和正态分布变换NDT。[0020] 本发明的有益效果是:[0021] 本数据融合滤波方法能准确提取规则物体边界信息,能有效过滤规则物体噪声点,避免过度滤波和欠滤波,并可充分利用货物几何特征,自适应强,无调参过程。附图说明[0022] 图1为本发明基于多视角的同源传感器数据融合滤波方法的流程图。[0023] 图2为本发明基于多视角的同源传感器数据融合滤波方法单视角图。[0024] 图3为本发明基于多视角的同源传感器数据融合滤波方法多视角融合图。[0025] 图4为本发明基于多视角的同源传感器数据融合滤波方法物体融合数据立体图。具体实施方式[0026] 以下结合附图对本发明进行详细的描述。[0027] 如图1‑图4所示,本实施例中的一种基于多视角的同源传感器数据融合滤波方法,步骤如下:首先从布置于不同方位的传感器获取同一规则物体的多视角原始数据,再基于传感器的姿态信息,利用配准算法分别计算出各个视角数据的坐标变换关系,利用相应的变换关系将对应数据转换至同一坐标系,完成同一物体的数据融合,分别对坐标转化之后不同视角的数据单独进行最邻近特征提取,利用各个视角最邻近特征之间的几何关系,计算得到规则货物的俯视边界信息,利用该俯视边界信息剔除该边界之外的噪声点,得到更加接近真实位置的规则物体边界。[0028] 作为优选的,视角数据的坐标变换关系的匹配算法包括频域变换,以及刚体变换、仿射变换、透视变换其中的一种或其组合。[0029] 邻近特征包括物体的角点和边界,角点表示规则货物俯视图的矩形框角点,边界表示与角点关联的货物俯视图矩形框边界,最邻近标准是角点与传感器的距离最短。[0030] 将对应数据转换至同一坐标系时,计算每个传感器的外参矩阵,利用外参矩阵完成同一物体的数据融合。具体为,将对应数据转换至同一坐标系时,首先选取其中一个传感器作为基准坐标系,该传感器的外参矩阵为单位矩阵,然后利用匹配算法将其它传感器得到数据转换到基准坐标系中,从而计算出相应传感器的外参矩阵。[0031] 上述的匹配算法包括特征匹配、频域变换、迭代最近点算法ICP和正态分布变换NDT。[0032] 实施例1[0033] 本实施例提出的一种基于多视角的同源传感器数据融合滤波方法。本方法首先从布置于不同方位的传感器获取同一规则物体的多视角原始数据,再基于传感器的姿态信息,利用配准算法分别计算出各个视角数据的坐标变换关系,包括涉及频域变换、刚体变换、仿射变换和/或透视变换等,利用相应的变换关系将对应数据转换至同一坐标系。如此完成同一物体的数据融合,也即得到了多视角同源传感器的数据融合关系。其次分别对坐标转化之后不同视角的数据单独进行最邻近特征提取:角点和边界,角点表示规则货物俯视图的矩形框角点,边界表示与角点关联的货物俯视图矩形框边界,最邻近标准是角点与传感器,即相机坐标系原点的距离最短。该邻近特征为该视角中距离传感器最近的特征信息,如此可以得到能确定规则物体几何边界的角点和边界信息。然后利用各视角最邻近特征之间的几何关系,计算得到规则货物的俯视边界信息。最后利用该俯视边界信息剔除该边界之外的噪声点,得到更加接近真实位置的规则物体边界。融合滤波流程如图1所示。[0034] 具体的,本实施例提出的一种基于多视角的同源传感器数据融合滤波方法,以立方体形的货物为例,详细说明本方法的过程。[0035] 视角数据的坐标变换关系的匹配方法采用频域变换法,进行变换前首先需要利用图像技术包括刚体变换、仿射变换、透视变换其中的一种或其组合,将视角数据转换成正射图像再进行匹配。[0036] 数据获取:本方法对于不同安装方位的深度传感器组合都适用,为满足应用场景,所有深度传感器视角会瞄准同一目标区域,获取相应视角原始深度图数据。[0037] 统一坐标系:该步骤的核心工作在于计算每个传感器的外参矩阵(也即旋转矩阵R和平移矩阵T,两者构成4x4变换矩阵)。首先选取其中一个传感器作为基准坐标系,该传感器的外参矩阵为单位矩阵,然后利用匹配算法,比如特征匹配、频域变换、迭代最近点算法ICP(IterativeClosestPoint)和正态分布变换NDT(NormalDistributionTransform)将其它传感器得到数据转换到基准坐标系中,从而计算出相应传感器的外参矩阵,得到的融合数据如货物融合数据立体图所示。[0038] 最邻近特征提取:如图1所示,每个视角获取的点云数据都能很好保留距相机最近的货物角点及其两条邻边信息,基本不受噪声点干扰。因此基于其二维平面投影数据计算出每个传感器数据的外接矩形,保留最邻近特征,即角点和两条邻边。最邻近角点取外接矩形四个角点中距离相机最近的角点。[0039] 完整货物边界构建:在上一步提取出货物所有关键的最邻近特征后,再根据传感器的外参矩阵将其坐标统一至基准坐标系中。根据角点和邻边的位置关系计算出剩余角点信息,最后构成货物的完整边界,如图2所示。[0040] 噪声点过滤:基于上步骤计算得到的边界信息,保留落在边界内的点,剔除边界外的噪声点,最后得到融合滤波结果,如图3所示。[0041] 以上内容仅为本发明的较佳实施例,对于本领域的普通技术人员,依据本发明的思想,在具体实施方式及应用范围上可以作出许多变化,只要这些变化未脱离本发明的构思,均属于本发明的保护范围。

专利地区:湖北

专利申请日期:2021-07-21

专利公开日期:2024-06-18

专利公告号:CN113781315B

电话咨询
读内容
搜本页
回顶部