一种基于视觉的室内顶部施工晃动检测方法及自动控制方法

专利名称：一种基于视觉的室内顶部施工晃动检测方法及自动控制方法

专利类型：发明专利

专利申请号：CN202210090347.4

专利申请（专利权）人：深圳大方智能科技有限公司
权利人地址：广东省深圳市南山区梦海大道卓越前海壹号A座2703

专利发明（设计）人：邓煜

专利摘要：本发明公开一种基于视觉的室内顶部施工晃动检测方法，包括步骤：利用修正法向量，计算深度摄像头在X轴、Y轴、Z轴的角度变化量，获取第一倾斜角度变化量；计算六轴传感器在在X轴、Y轴、Z轴的角度变化量，获取第二倾斜角度变化量；利用最长公共子序列算法获取第一倾斜角度变化量与第二倾斜角度变化量的三轴角度变化近似量；将三轴角度近似量与规定阈值进行比较，以确定施工机器人设备是否晃动；还公开了一种晃动自动控制方法。通过深度摄像头三轴的角度变化量及六轴传感器的角度变化量，通过最长公共子序列算法确定施工机器人的倾斜角度，对紧固拉杆进行PID控制，消除了施工机器人的不规则晃动，避免了高空施工中过大的晃动带来的倾倒风险。

主权利要求：
1.一种基于视觉的室内顶部施工晃动检测方法，其特征在于，包括步骤：步骤100、利用图像深度算法拟合出施工的天花板平面，并计算天花板平面法向量；
步骤200、对所述天花板平面法向量进行修正，获取与顶部设置的深度摄像头光轴夹角最小的法向量，获取修正法向量；
步骤300、利用所述修正法向量，计算所述深度摄像头在X轴、Y轴、Z轴的角度变化量，获取第一倾斜角度变化量；
步骤400、计算六轴传感器在X轴、Y轴、Z轴的角度变化量，获取第二倾斜角度变化量；
步骤500、利用最长公共子序列算法获取所述第一倾斜角度变化量与所述第二倾斜角度变化量的三轴角度变化近似量；
步骤600、将所述三轴角度近似量与规定阈值进行比较，以确定所述施工机器人设备是否晃动；
所述步骤100包括：
步骤110、通过深度摄像头获取天花板点云，去除所述天花板点云中离群点；
步骤120、对去除离群点后的所述天花板点云进行数据滤波；
步骤130、根据ransac算法，利用数据滤波后的点云数据拟合出垂直于所述深度摄像头光轴的天花板平面；
所述步骤110包括：
步骤111、计算点云数据中每个点到临近点的距离，获取点云距离分布；
步骤112、若某一点的点云平均距离大于规定阈值，则判定该点为离群点；
步骤113、将所述离群点从点云数据中删除；
所述步骤120包括：
步骤121、构建一三维体素栅格；
步骤122、在每个体素内用该体素内的所有点的重心近似表示该体素中的所有点；
所述步骤400包括：
步骤410、对所述六轴传感器中陀螺仪角速度数据进行积分，获取三轴旋转角度；
步骤420、对所述六轴传感器中的加速度数据进行积分，获取三轴加速度数据；
步骤430、利用所述三轴加速度数据对所述三轴旋转角度进行修正；
步骤440、利用卡尔曼滤波算法对修正后的三轴旋转角度进行数据滤波，获取第二倾斜角度变化量；
所述步骤500包括：
步骤510、计算深度摄像头第一倾斜角度的当前帧与下一帧的差值，获取所述第一倾斜角度变化量；
步骤520、计算六轴传感器的第二倾斜角度的当前帧与下一帧的差值，获取所述第二倾斜角度变化量；
所述步骤500还包括：
步骤530、获取长度为n的第一倾斜角度变化量的第一轨迹A；
步骤540、获取长度为m的第二倾斜角度变化量的第二轨迹B；
步骤550、利用式子(1)：
计算所述第一轨迹A与所述第二轨迹B的三轴角度变化近似量，其中，LCSS(A,B)，即最长公共子序列的长度，是一个用于衡量两个序列相似度的度量，在式子(1)中，用来衡量两个轨迹的方向变化的相似度；
LCSS(Rest(A),Rest(B))，用于表示计算第一轨迹A和第二轨迹B除去它们各自的起点后的最长公共子序列的长度，即，比较两个轨迹在忽略初始偏移后的整体相似度；
d(Head(A),Head(B))，即第一轨迹A的起点与第二轨迹B的起点之间的距离；
其中，LCSS(Rest(A),B)，表示计算第一轨迹A忽略起点后与完整的第二轨迹B的最长公共子序列的长度，LCSS(A,Rest(B))，表示计算完整的第一轨迹A与第二轨迹B忽略起点后的最长公共子序列的长度，而max(LCSS(Rest(A),B),LCSS(A,Rest(B)))，即对LCSS(Rest(A),B),LCSS(A,Rest(B))取最大值；
其中，δ为长度差阈值，ε为距离阈值；
所述步骤600包括：
步骤610、将X轴、Y轴、Z轴的角度变化近似量分别与对应的阈值进行比较；
步骤620、若X轴、Y轴、Z轴的角度变化近似量均大于对应的阈值，则判定所述施工机器人设备发生晃动。
2.一种基于视觉的室内顶部施工晃动自动控制方法，利用权利要求1中所述的基于视觉的室内顶部施工晃动检测方法检测倾斜角度，包括步骤：步骤700、获取所述倾斜角度绝对值，并利用所述倾斜角度绝对值对所述施工机器人设备匀速运行情形进行排除；
步骤800、根据所述施工机器人设备晃动程度，利用所述第一倾斜角度及PID算法调节施工机器人设备的紧固拉杆，以消除晃动。
3.如权利要求2所述的基于视觉的室内顶部施工晃动自动控制方法，其特征在于，所述步骤800包括：步骤810、将所述第一倾斜角度作为PID控制参数；
步骤820、对所述紧固拉杆输出功率进行PID控制。 说明书 : 一种基于视觉的室内顶部施工晃动检测方法及自动控制方法技术领域[0001] 本发明涉及室内机器人智能施工技术领域，特别涉及一种基于视觉的室内顶部施工晃动检测方法及自动控制方法。背景技术[0002] 随着建筑行业的智能化，涌现出多种建筑施工机器人，施工机器人替代人工，可以实现安全、高效地施工。其中的内墙处理部分，包括对水泥墙面的打磨，去除水泥面的毛刺、在水泥墙面抹刮腻子、腻子层，来使得墙面整体更加平整。对腻子层墙面的打磨以及去除腻子层的接缝等，使得腻子层更加平整；在腻子层上进行喷漆或刷漆。[0003] 室内建筑施工区域包含6‑10m高的天花板施工，施工机器人设备在施工时，将工作模块升至对应高度，并通过移动以完成施工，此时与天花板接触的施工机器人设备顶部可能会有晃动，晃动原因既有可能来自底盘，也有可能来自顶部施工模块与天花板上的凹凸不平带来的摩擦。[0004] 施工机器人设备顶部晃动可以分为平行于设备前进方向与垂直于设备前进方向。在施工过程中，无论是横向的晃动还是纵向的晃动都会对施工效果产生不利影响，因此，有效地消除晃动，是当前机器人设备室内施工过程亟待解决的一个问题。发明内容[0005] 在室内的天花板施工过程中，施工机器人由于受到施工环境的影响，，导致顶端产生横向的晃动和纵向的晃动，这些晃动都会对施工效果产生不利影响。[0006] 针对上述问题，提出一种基于视觉的室内顶部施工晃动检测方法及自动控制方法，通过计算深度摄像头的在X轴、Y轴、Z轴的角度变化量及施工机器人的六轴传感器的角度变化量，通过最长公共子序列算法获得三轴角度变化近似量，并利用角度变化近似量确定施工机器人的倾斜角度，利用倾斜角度作为输入参数，对紧固拉杆进行PID控制，消除了施工机器人的不规则晃动，避免了高空施工中过大的晃动带来的倾倒风险。[0007] 第一方面，一种基于视觉的室内顶部施工晃动检测方法，包括步骤：[0008] 步骤100、利用图像深度算法拟合出施工的天花板平面，并计算天花板平面法向量；[0009] 步骤200、对所述天花板平面法向量进行修正，获取与顶部设置的深度摄像头光轴夹角最小的法向量，获取修正法向量；[0010] 步骤300、利用所述修正法向量，计算所述深度摄像头在X轴、Y轴、Z轴的角度变化量，获取第一倾斜角度变化量；[0011] 步骤400、计算六轴传感器在在X轴、Y轴、Z轴的角度变化量，获取第二倾斜角度变化量；[0012] 步骤500、利用最长公共子序列算法获取所述第一倾斜角度变化量与所述第二倾斜角度变化量的三轴角度变化近似量；[0013] 步骤600、将所述三轴角度近似量与规定阈值进行比较，以确定所述施工机器人设备是否晃动。[0014] 结合本发明所述的基于视觉的室内顶部施工晃动检测方法，第一种可能的实施方式中，所述步骤100包括：[0015] 步骤110、通过深度摄像头获取天花板点云，去除所述天花板点云中离群点；[0016] 步骤120、对去噪后的所述天花板点云进行数据滤波；[0017] 步骤130、根据ransac算法，利用数据滤波后的点云数据拟合出垂直于所述深度摄像头光轴的天花板平面。[0018] 结合本发明第一种可能的实施方式，第二种可能的实施方式中，所述步骤110包括：[0019] 步骤111、计算点云数据中每个点到临近点的距离，获取点云距离分布；[0020] 步骤112、若某一点的点云平均距离大于规定阈值，则判定该点为离群点；[0021] 步骤113、将所述离群点从点云数据中删除。[0022] 结合本发明第二种可能的实施方式，第三种可能的实施方式中，所述步骤120包括：[0023] 步骤121、构建一三维体素栅格；[0024] 步骤122、在每个体素内用该体素内的所有点的重心近似表示该体素中的所有点。[0025] 结合本发明第三种可能的实施方式，第四种可能的实施方式中，所述步骤400包括：[0026] 步骤410、对所述六轴传感器中陀螺仪角速度数据进行积分，获取三轴旋转角度；[0027] 步骤420、对所述六轴传感器中的加速度数据进行积分，获取三轴加速度数据；[0028] 步骤430、利用所述三轴加速度数据对所述三轴旋转角度进行修正；[0029] 步骤440、利用卡尔曼滤波算法对修正后的旋转角度进行数据滤波，获取第二倾斜角度。[0030] 结合本发明第四种可能的实施方式，第五种可能的实施方式中，所述步骤500包括：[0031] 步骤510、计算深度摄像头第一倾斜角度的当前帧与下一帧的差值，获取所述第一倾斜角度变化量；[0032] 步骤520、计算六轴传感器的第二倾斜角度的当前帧与下一帧的差值，获取所述第二倾斜角度变化量。[0033] 结合本发明第五种可能的实施方式，第六种可能的实施方式中，所述步骤500还包括：[0034] 步骤530、获取长度为n的第一倾斜角度变化量的第一轨迹A；[0035] 步骤540、获取长度为m的第二倾斜角度变化量的第一轨迹B；[0036] 步骤550、利用式子：[0037][0038] 计算所述第一轨迹A与所述第二轨迹B的三轴角度变化近似量；[0039] 其中，δ为长度差阈值，ε为距离阈值。[0040] 结合本发明第六种可能的实施方式，第七种可能的实施方式中，所述步骤600包括：[0041] 步骤610、将X轴、Y轴、Z轴的角度变化近似量分别与对应的阈值进行比较；[0042] 步骤620、若X轴、Y轴、Z轴的角度变化近似量均大于对应的阈值，则判定所述施工机器人设备发生晃动。[0043] 第二方面，一种基于视觉的室内顶部施工晃动自动控制方法，利用第一方面所述的基于视觉的室内顶部施工晃动检测方法检测倾斜角度，包括步骤：[0044] 步骤700、获取所述倾斜角度绝对值，并利用所述倾斜角度绝对值对所述施工机器人匀速运行情形进行排除；[0045] 步骤800、根据所述施工机器人晃动程度，利用所述第一倾斜角度及PID算法调节施工机器人的紧固拉杆，以消除晃动。[0046] 结合第二方面所述的自动控制方法，第一种可能的实施方式中，所述步骤800包括：[0047] 步骤810、将所述第一倾斜角度作为PID控制参数；[0048] 步骤820、对所述紧固拉杆输出功率进行PID控制。[0049] 实施本发明所述的基于视觉的室内顶部施工晃动检测方法及自动控制方法，通过计算深度摄像头的在X轴、Y轴、Z轴的角度变化量及施工机器人的六轴传感器的角度变化量，通过最长公共子序列算法获得三轴角度变化近似量，并利用角度变化近似量确定施工机器人的倾斜角度，利用倾斜角度作为输入参数，对紧固拉杆进行PID控制，消除了施工机器人的不规则晃动，避免了高空施工中过大的晃动带来的倾倒风险。附图说明[0050] 为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。[0051] 图1是本发明中一种基于视觉的室内顶部施工晃动检测方法第一实施例示意图；[0052] 图2是本发明中一种基于视觉的室内顶部施工晃动检测方法第二实施例示意图；[0053] 图3是本发明中一种基于视觉的室内顶部施工晃动检测方法第三实施例示意图；[0054] 图4是本发明中一种基于视觉的室内顶部施工晃动检测方法第四实施例示意图；[0055] 图5是本发明中一种基于视觉的室内顶部施工晃动检测方法第五实施例示意图；[0056] 图6是本发明中一种基于视觉的室内顶部施工晃动检测方法第六实施例示意图；[0057] 图7是本发明中一种基于视觉的室内顶部施工晃动检测方法第七实施例示意图；[0058] 图8是本发明中一种基于视觉的室内顶部施工晃动检测方法第八实施例示意图；[0059] 图9是本发明中一种基于视觉的室内顶部施工晃动自动控制方法第一实施例示意图；[0060] 图10是本发明中一种基于视觉的室内顶部施工晃动自动控制方法第二实施例示意图；具体实施方式[0061] 下面将结合发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的其他实施例，都属于本发明保护的范围。[0062] 名词解释：[0063] RANSAC算法：RANSAC是“RANdomSAmpleConsensus(随机抽样一致)”的缩写。它可以从一组包含“局外点”的观测数据集中，通过迭代方式估计数学模型的参数。它是一种不确定的算法——它有一定的概率得出一个合理的结果；为了提高概率必须提高迭代次数。[0064] 在室内的天花板施工过程中，施工机器人由于受到施工环境的影响，，导致顶端产生横向的晃动和纵向的晃动，这些晃动都会对施工效果产生不利影响。[0065] 针对上述问题，提出一种基于视觉的室内顶部施工晃动检测方法及自动控制方法。[0066] 第一方面，如图1，图1是本发明中一种基于视觉的室内顶部施工晃动检测方法第一实施例示意图，一种基于视觉的室内顶部施工晃动检测方法，包括：[0067] 步骤100、利用图像深度算法拟合出施工的天花板平面，并计算天花板平面法向量；步骤200、对天花板平面法向量进行修正，获取与顶部设置的深度摄像头光轴夹角最小的法向量，获取修正法向量；步骤300、利用修正法向量，计算深度摄像头在X轴、Y轴、Z轴的角度变化量，获取第一倾斜角度变化量；步骤400、计算六轴传感器在在X轴、Y轴、Z轴的角度变化量，获取第二倾斜角度变化量；步骤500、利用最长公共子序列算法获取第一倾斜角度变化量与第二倾斜角度变化量的三轴角度变化近似量；步骤600、将三轴角度近似量与规定阈值进行比较，以确定施工机器人设备是否晃动。通过计算深度摄像头的在X轴、Y轴、Z轴的角度变化量及施工机器人的六轴传感器的角度变化量，通过最长公共子序列算法获得三轴角度变化近似量，并利用角度变化近似量确定施工机器人的倾斜角度，利用倾斜角度作为输入参数，对紧固拉杆进行PID控制，消除了施工机器人的不规则晃动，避免了高空施工中过大的晃动带来的倾倒风险。[0068] 优选地，如图2，图2是本发明中一种基于视觉的室内顶部施工晃动检测方法第二实施例示意图，步骤100包括：步骤110、通过深度摄像头获取天花板点云，去除天花板点云中离群点；步骤120、对去噪后的天花板点云进行数据滤波；步骤130、根据ransac算法，利用数据滤波后的点云数据拟合出垂直于深度摄像头光轴的天花板平面。[0069] 优选地，如图3，图3是本发明中一种基于视觉的室内顶部施工晃动检测方法第三实施例示意图，步骤110包括：步骤111、计算点云数据中每个点到临近点的距离，获取点云距离分布；步骤112、若某一点的点云平均距离大于规定阈值，则判定该点为离群点；步骤113、将离群点从点云数据中删除。[0070] 对点云数据使用基于统计学的离群点去除，在一定程度上去除杂点。其原理是将输入的点云数据中每个点到临近点的距离分布情况进行计算，得到各点到它所有临近点的平均距离。假设得到的结果是一个高斯分布，其形状由均值和标准差决定，平均距离在规定阈值范围之外，就被定义为离群点而将其从点云数据集中删除。[0071] 优选地，如图4，图4是本发明中一种基于视觉的室内顶部施工晃动检测方法第四实施例示意图，步骤120包括：步骤121、构建一三维体素栅格；步骤122、在每个体素内用该体素内的所有点的重心近似表示该体素中的所有点。[0072] 对于去噪后的点云数据，进行点云数据下采样，在保持点云特征的情况下减少点云数量，并起到平滑点云的作用。通过构造一个三维体素栅格，然后在每个体素内用体素内的所有点的重心近似显示体素中的其他点，这样体素内所有点就用一个重心点来表示，达到点云数据滤波的效果，大大的减少了点云数据的数据量。[0073] 优选地，如图5，图5是本发明中一种基于视觉的室内顶部施工晃动检测方法第五实施例示意图，步骤400包括：步骤410、对六轴传感器中陀螺仪角速度数据进行积分，获取三轴旋转角度；步骤420、对六轴传感器中的加速度数据进行积分，获取三轴加速度数据；步骤430、利用三轴加速度数据对三轴旋转角度进行修正；步骤440、利用卡尔曼滤波算法对修正后的旋转角度进行数据滤波，获取第二倾斜角度。[0074] 利用六轴加速器中的陀螺仪测量角速度，把速度和时间相乘，得到某一时间段内物体转过的角度。积分运算得来的角度本身就存在误差，随着时间的累加，误差会加剧，此时就需要加速度计辅助计算出姿态角度。[0075] 利用六轴加速器中的加速度计测量加速度，计算加速度在其X轴，Y轴上的分量，我们可以计算出物体相对于水平面的倾斜角度。[0076] 通过陀螺仪的积分来获得旋转角度，然后通过加速度计的比例和积分运算来修正陀螺仪的积分结果，最终运用卡尔曼滤波得出最终角度，也就是基于六轴传感器计算出来的第二倾斜角度。[0077] 优选地，如图6，图6是本发明中一种基于视觉的室内顶部施工晃动检测方法第六实施例示意图，步骤500包括：步骤510、计算深度摄像头第一倾斜角度的当前帧与下一帧的差值，获取第一倾斜角度变化量；步骤520、计算六轴传感器的第二倾斜角度的当前帧与下一帧的差值，获取第二倾斜角度变化量。[0078] 优选地，如图7，图7是本发明中一种基于视觉的室内顶部施工晃动检测方法第七实施例示意图，步骤500还包括：步骤530、获取长度为n的第一倾斜角度变化量的第一轨迹A；步骤540、获取长度为m的第二倾斜角度变化量的第一轨迹B；步骤550、利用最长公共子序列算法(LCSS)式子：[0079][0080] 计算第一轨迹A与第二轨迹B的三轴角度变化近似量，[0081] 其中，LCSS(A,B)，即最长公共子序列的长度，是一个用于衡量两个序列相似度的度量，在式子(1)中，用来衡量两个轨迹的方向变化的相似度；[0082] LCSS(Rest(A),Rest(B))，用于表示计算第一轨迹A和第二轨迹B除去它们各自的起点后的最长公共子序列的长度，即，比较两个轨迹在忽略初始偏移后的整体相似度；[0083] d(Head(A),Head(B))，即第一轨迹A的起点与第二轨迹B的起点之间的距离；[0084] 其中，LCSS(Rest(A),B)，表示计算第一轨迹A忽略起点后与完整的第二轨迹B的最长公共子序列的长度，LCSS(A,Rest(B))，表示计算完整的第一轨迹A与第二轨迹B忽略起点后的最长公共子序列的长度，而max(LCSS(Rest(A),B),LCSS(A,Rest(B)))，即对LCSS(Rest(A),B),LCSS(A,Rest(B))取最大值；[0085] 其中，δ为长度差阈值，ε为距离阈值。[0086] 对于提取出的单帧法向量，需要结合放置于施工机器人升降模块中的一个六轴传感器的3轴加速度计和3轴角速度进行综合处理。单一基于深度摄像头的视觉检测出来的第一倾斜角度，有可能因为天花板自身的倾斜角度变化，导致误判，因为施工模块和天花板之间硬接触，且与升降模块间有活动裕量。单一的六轴加速器计算出来的第二倾斜角度，也可能因为地面的倾斜角变化，导致误判。[0087] 优选地，如图8，图8是本发明中一种基于视觉的室内顶部施工晃动检测方法第八实施例示意图，步骤600包括：步骤610、将X轴、Y轴、Z轴的角度变化近似量分别与对应的阈值进行比较；步骤620、若X轴、Y轴、Z轴的角度变化近似量均大于对应的阈值，则判定施工机器人设备发生晃动。[0088] 通过最长公共子序列算法(LCSS)得到X轴、Y轴、Z轴的第一倾斜角度变化量与6轴传感器的第二倾斜角度变化量相似的片段。当数据在三个轴上变化量均满足条件，则认为此段数据时设备整体产生晃动或者匀速运动，并根据角速度的排除匀速运动的情形。[0089] 第二方面，一种室内顶部施工晃动自动控制方法，利用第一方面的基于视觉的室内顶部施工晃动检测方法检测倾斜角度，如图9，图9是本发明中一种基于视觉的室内顶部施工晃动自动控制方法第一实施例示意图，包括：步骤700、获取倾斜角度绝对值，并利用倾斜角度绝对值对施工机器人匀速运行情形进行排除；步骤800、根据施工机器人晃动程度，利用第一倾斜角度及PID算法调节施工机器人的紧固拉杆，以消除晃动。[0090] 优选地，如图10，图10是本发明中一种基于视觉的室内顶部施工晃动自动控制方法第二实施例示意图；步骤800包括：步骤810、将第一倾斜角度作为PID控制参数；步骤820、对紧固拉杆输出功率进行PID控制。[0091] 通过预设的比例，积分，微分控制参数大小，来控制紧固拉杆的电机功率，使用摄像头检测到的天花板角度与摄像头光轴的夹角作为控制参数。当夹角增大时，控制紧固拉杆的电机功率增大。[0092] 实施本发明的基于视觉的室内顶部施工晃动检测方法及自动控制方法，通过计算深度摄像头的在X轴、Y轴、Z轴的角度变化量及施工机器人的六轴传感器的角度变化量，通过最长公共子序列算法获得三轴角度变化近似量，并利用角度变化近似量确定施工机器人的倾斜角度，利用倾斜角度作为输入参数，对紧固拉杆进行PID控制，消除了施工机器人的不规则晃动，避免了高空施工中过大的晃动带来的倾倒风险。[0093] 以上仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

专利地区：广东

专利申请日期：2022-01-25

专利公开日期：2024-07-26

专利公告号：CN114593712B