一种基于DLP结构光视觉系统的焊缝区域提取方法

专利名称：一种基于DLP结构光视觉系统的焊缝区域提取方法

专利类型：发明专利

专利申请号：CN202410173598.8

专利申请（专利权）人：宝应帆洋船舶电器配件制造有限公司,南京航空航天大学
权利人地址：江苏省扬州市宝应县氾水工业区骏升路6号

专利发明（设计）人：姜星星,郝琳博,王化明,刘玉朝,朱士英,姜少华,李瑞琦,刘海洋

专利摘要：本发明公开了一种基于DLP结构光视觉系统的焊缝区域提取方法，本发明的目标对象是具有多条不同类型焊缝分布的工件，这些工件的尺寸、形状、焊缝空间分布均存在着一定的变化。首先，利用结构光视觉系统中的相机采集工件的二维图像，设计焊缝目标检测算法完成二维图像上的多条不同类型焊缝区域的检测；然后，将焊缝检测区域结果融入结构光视觉系统点云重建的计算过程，生成多个不同的焊缝区域点云，且识别出每个点云上的待焊接焊缝的类型；下一步，基于机器人坐标变换完成背景干扰的剔除，从而生成相互独立、不受其他区域干扰的各焊缝目标区域点云；后续可基于获取的各条焊缝类型及其区域结构特征，设计相应的焊缝提取算法，从而极大地降低后续焊缝提取算法的难度。

主权利要求：
1.一种基于DLP结构光视觉系统的焊缝区域提取方法，其特征在于，DLP结构光视觉系统与焊接机器人配合工作，其中DLP结构光视觉系统被安装在焊接机器人末端；DLP结构光视觉系统包括相机和DLP投影仪；通过手眼标定获取相机相对于机器人末端工具坐标系的位姿 其中，Cam为相机，Tool为机器人末端工具坐标系；通过机器人控制器，获取机器人末端工具相对于机器人基坐标系的位姿 其中Tool为机器人末端工具坐标系，Base为机器人基坐标系；
包括以下步骤：
(1)、提供工件图像数据集，在工件图像数据集上进行焊缝区域的标注；
(2)、标注的工件图像数据集送入目标检测网络中进行训练，生成基于深度学习的焊缝区域目标检测器；
(3)、在对工件进行焊缝区域检测前，首先使用DLP结构光视觉系统对背景工作台进行拍摄和点云重建，并对重建的工作台点云进行平面拟合，所拟合的平面表示为Planewb，然后通过以下公式，将Planewb其变换到机器人基坐标系中得到机器人基坐标系下的工作台所在平面Planewb′；
(4)、将待测工件放置于工作台上，通过相机采集工件的二维图像，通过所述焊缝区域目标检测器完成工件上焊缝区域的检测，其中焊缝区域以二维边界框的形式表达，所检测到的二维边界框集合表示为{B1,B2,...,Bn}，其中n表示所检测到的焊缝目标区域数量；
(5)、投影仪向被测工件依次投影相移码条纹序列和互补格雷码条纹序列，相机同步采集到一系列受工件轮廓调制的变形条纹，其中采集到的正弦条纹序列表示为{I1,I2,...,Is}，s表示所投影正弦条纹图像的张数；采集到的互补格雷码图案序列表示为{G1,G2,...,Gt}，t表示所投影互补格雷码图像的张数；
(6)、遍历焊缝目标区域集合{B1,B2,...,Bn}，对于焊缝目标区域集合中的每一区域Bi，遍历区域Bi中的每一个像素点(uc,vc)，将该像素点的坐标值映射到正弦条纹序列{I1,I2,...,Is}和互补格雷码图案序列{G1,G2,...,Gt}中的每一幅图片上，即正弦条纹序列{I1,I2,...,Is}和互补格雷码图案序列{G1,G2,...,Gt}中每幅图像上坐标为(uc,vc)的像素点被标记；
(7)步骤(6)获取的正弦条纹序列{I1,I2,...,Is}相位位置处的像素点被标记，对于某一被标记的像素点(uc,vc)进行解码求解出该像素点(uc,vc)对应的包裹相位φ(uc,vc)；基于互补格雷码条纹序列{G1,G2,...,Gt}，求解出该像素点(uc,vc)所在的条纹级次k1(uc,vc)和k2(uc,vc)；利用条纹级次k1(uc,vc)和k2(uc,vc)，对包裹相位 进行解包裹，以获得全局展开的绝对相位Φ(uc,vc)；
(8)、通过绝对相位Φ(uc,vc)，利用相位映射算法获取该像素点在投影仪投影面上对应的列坐标；构建相机成像矩阵Mc和投影仪投影矩阵Mp，通过三角映射原理得到该像素点在三维空间上的坐标Pxyz，将焊缝目标区域中所有像素点的三维坐标共同组成了该焊缝目标区域的点云PCi；
(9)、重复步骤(6)至步骤(8)完成所有目标焊缝区域的点云重建，重建的焊缝区域点云集表示为{PC1,PC2,...,PCn}；
(10)、对于步骤(9)中所述焊缝区域点云集{PC1,PC2,...,PCn}中的任意一个焊缝区域点云PCi变换到机器人基坐标系中，得到在机器人基坐标系下所采集的该焊缝区域点云PC′i；
(11)、对于步骤(10)中获取的每个焊缝区域点云PCi′，计算其中的每个点到拟合平面Planewb′的距离，如果此距离小于设定的阈值Tdistance，则将该点视为背景点予以剔除，最终得到不受工作台区域干扰的各个焊缝目标区域点云。
2.根据权利要求1所述的焊缝区域提取方法，其特征在于，步骤(1)中，每个焊缝邻域范围内的工件部分也同样被标记为该焊缝区域；对于不同类型的焊缝或是邻域结构特征不同的焊缝标注为不同种类；步骤(4)中，将每个焊缝目标区域以二维边界框的形式表达，各边界框对应的焊缝类型表示为{T1,T2,...,Tn}；步骤(8)中，对焊缝目标区域的点云PCi的每个点赋予所属焊缝的类别Ti，使每个焊缝区域点云所属类型明确并具有唯一编码。
3.根据权利要求1或2所述的焊缝区域提取方法，其特征在于，步骤(3)中，在工作台点云中随机选择3个点进行平面拟合，并计算其他特征点到该拟合平面的距离，若小于设定的阈值，则记录为该拟合平面的内点；迭代重复上述平面拟合过程，记录每次拟合平面的内点及其数量，重复迭代 次结束，其中z为设置的置信度，w为点集中内点的概率；选择迭代过程中内点数量最多的拟合平面，作为最终拟合的工作台平面，表示为Planewb。
4.根据权利要求3所述的焊缝区域提取方法，其特征在于，步骤(7)中，包裹相位φ(uc,vc)通过以下公式得到：
5.根据权利要求4所述的焊缝区域提取方法，其特征在于，步骤(7)中，绝对相位Φ(uc,vc)通过以下公式得到：
6.根据权利要求5所述的焊缝区域提取方法，其特征在于，步骤(8)中，所述列坐标up通过以下公式得到：
7.根据权利要求6所述的焊缝区域提取方法，其特征在于，步骤(8)中，相机成像矩阵Mc为：
投影仪投影矩阵Mp为
8.根据权利要求7所述的焊缝区域提取方法，其特征在于，
步骤(8)中，坐标Pxyz通过以下公式得到：
9.根据权利要求1所述的焊缝区域提取方法，其特征在于，步骤(3)中，通过下式将Planewb变换到机器人基坐标系中：其中Planewb′为机器人基坐标系下的工作台所在平面；
步骤(9)中，通过下式将PCi变换到机器人基坐标系中：
其中PCi′为在机器人基坐标系下所采集的该焊缝区域点云。
10.一种计算机设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现权利要求1至权利要求9任一项所述方法的步骤。 说明书 : 一种基于DLP结构光视觉系统的焊缝区域提取方法技术领域[0001] 本发明属于机器人焊接技术领域，尤其涉及一种基于DLP结构光视觉系统的焊缝区域提取方法。背景技术[0002] 焊接是制造业中最基础的工序之一，为了提高生产效率、缓解劳动力短缺的问题，焊接机器人已经被广泛地应用于现代企业中。为了进一步提升焊接机器人对环境的感知能力，基于视觉感知的自动化焊接技术逐步被推广应用。近年来，随着DLP技术的快速发展，基于DLP结构光视觉的焊缝提取逐渐成为研究热点。[0003] 然而，现有的基于DLP三维视觉的焊缝提取方法，均是对相机视野范围内的所有场景进行三维点云重建。这种模式适用于具有单一类型焊缝的工件，且焊缝被要求与工件的整体特征结构具有显著差异。而对于具有多条不同类型焊缝分布的工件，其中这些工件的尺寸、形状、焊缝空间分布均具有一定的变化性，当前的基于DLP三维视觉的焊缝提取方法难以应对这种变化性，使得无法有效地完成焊缝提取工作。[0004] 故，需要一种新的技术方案以解决上述问题。发明内容[0005] 发明目的：为解决上述问题，本发明的目的在于提供一种基于DLP结构光视觉系统的焊缝区域提取方法，对具有多类型焊缝分布的工件进行检测时，可以生成相互独立、不受其他区域干扰的各焊缝目标区域点云，从而能够极大地降低后续焊缝提取算法的难度。[0006] 技术方案：本发明公开的基于DLP结构光视觉系统的焊缝区域提取方法可采用以下技术方案：[0007] 一种基于DLP结构光视觉系统的焊缝区域提取方法，DLP结构光视觉系统与焊接机器人配合工作，其中DLP结构光视觉系统被安装在焊接机器人末端；DLP结构光视觉系统包括相机和DLP投影仪；通过手眼标定获取相机相对于机器人末端工具坐标系的位姿 其中，Cam为相机，Tool为机器人末端工具坐标系；通过机器人控制器，获取机器人末端工具相对于机器人基坐标系的位姿 其中Tool为机器人末端工具坐标系，Base为机器人基坐标系；[0008] 包括以下步骤：[0009] (1)、提供工件图像数据集，在工件图像数据集上进行焊缝区域的标注；[0010] (2)、标注的工件图像数据集送入目标检测网络中进行训练，生成基于深度学习的焊缝区域目标检测器；[0011] (3)、在对工件进行焊缝区域检测前，首先使用DLP结构光视觉系统对背景工作台进行拍摄和点云重建，并对重建的工作台点云进行平面拟合，所拟合的平面表示为Planewb，然后通过以下公式，将Planewb其变换到机器人基坐标系中得到机器人基坐标系下的工作台所在平面Planewb′；[0012] (4)、将待测工件放置于工作台上，通过相机采集工件的二维图像，通过所述焊缝区域目标检测器完成工件上焊缝区域的检测，其中焊缝区域以二维边界框的形式表达，所检测到的二维边界框集合表示为{B1,B2,...,Bn}，其中n表示所检测到的焊缝目标区域数量；[0013] (5)、投影仪向被测工件依次投影相移码条纹序列和互补格雷码条纹序列，相机同步采集到一系列受工件轮廓调制的变形条纹，其中采集到的正弦条纹序列表示为{I1,I2,...,Is}，s表示所投影正弦条纹图像的张数；采集到的互补格雷码图案序列表示为{G1,G2,...,Gt}，t表示所投影互补格雷码图像的张数；[0014] (6)、遍历焊缝目标区域集合{B1,B2,...,Bn}，对于焊缝目标区域集合中的每一区域Bi，遍历区域Bi中的每一个像素点(uc,vc)，将该像素点的坐标值映射到正弦条纹序列{I1,I2,...,Is}和互补格雷码图案序列{G1,G2,...,Gt}中的每一幅图片上，即正弦条纹序列{I1,I2,...,Is}和互补格雷码图案序列{G1,G2,...,Gt}中每幅图像上坐标为(uc,vc)的像素点被标记；[0015] (7)步骤(6)获取的正弦条纹序列{I1,I2,...,Is}相位位置处的像素点被标记，对于某一被标记的像素点(uc,vc)进行解码求解出该像素点(uc,vc)对应的包裹相位φ(uc,vc)；基于互补格雷码条纹序列{G1,G2,...,Gt}，求解出该像素点(uc,vc)所在的条纹级次k1(uc,vc)和k2(uc,vc)；利用条纹级次k1(uc,vc)和k2(uc,vc)，对包裹相位 进行解包裹，以获得全局展开的绝对相位Φ(uc,vc)；[0016] (8)、通过绝对相位Φ(uc,vc)，利用相位映射算法获取该像素点在投影仪投影面上对应的列坐标；构建相机成像矩阵Mc和投影仪投影矩阵Mp，通过三角映射原理得到该像素点在三维空间上的坐标Pxyz，将焊缝目标区域中所有像素点的三维坐标共同组成了该焊缝目标区域的点云PCi；[0017] (9)、重复步骤(6)至步骤(8)完成所有目标焊缝区域的点云重建，重建的焊缝区域点云集表示为{PC1,PC2,...,PCn}；[0018] (10)、对于步骤(9)中所述焊缝区域点云集{PC1,PC2,...,PCn}中的任意一个焊缝区域点云PCi变换到机器人基坐标系中，得到在机器人基坐标系下所采集的该焊缝区域点云PC′i；[0019] (11)、对于步骤(10)中获取的每个焊缝区域点云PCi′，计算其中的每个点到拟合平面Planewb′的距离，如果此距离小于设定的阈值Tdistance，则将该点视为背景点予以剔除，最终得到不受工作台区域干扰的各个焊缝目标区域点云。[0020] 进一步的，步骤(1)中，每个焊缝邻域范围内的工件部分也同样被标记为该焊缝区域；对于不同类型的焊缝或是邻域结构特征不同的焊缝标注为不同种类；步骤(4)中，将每个焊缝目标区域以二维边界框的形式表达，各边界框对应的焊缝类型表示为{T1,T2,...,Tn}；步骤(8)中，对焊缝目标区域的点云PCi的每个点赋予所属焊缝的类别Ti，使每个焊缝区域点云所属类型明确并具有唯一编码。[0021] 进一步的，步骤(3)中，在工作台点云中随机选择3个点进行平面拟合，并计算其他特征点到该拟合平面的距离，若小于设定的阈值，则记录为该拟合平面的内点；迭代重复上述平面拟合过程，记录每次拟合平面的内点及其数量，重复迭代 次结束，其中z为设置的置信度，w为点集中内点的概率；选择迭代过程中内点数量最多的拟合平面，作为最终拟合的工作台平面，表示为Planewb。[0022] 进一步的，步骤(7)中，包裹相位φ(uc,vc)通过以下公式得到：[0023][0024] 进一步的，步骤(7)中，绝对相位Φ(uc,vc)通过以下公式得到：[0025][0026] 进一步的，步骤(8)中，所述列坐标up通过以下公式得到：[0027][0028] 进一步的，步骤(8)中，相机成像矩阵Mc为：[0029][0030] 投影仪投影矩阵Mp为[0031][0032] 进一步的，步骤(8)中，坐标Pxyz通过以下公式得到：[0033][0034] 进一步的，步骤(3)中，通过下式将Planewb变换到机器人基坐标系中：[0035][0036] 其中Planewb′为机器人基坐标系下的工作台所在平面；[0037] 步骤(9)中，通过下式将PCi变换到机器人基坐标系中：[0038][0039] 其中PC′i为在机器人基坐标系下所采集的该焊缝区域点云。[0040] 有益效果：本发明提供的焊缝区域提取方法将二维目标检测算法融入结构光系统的解码过程，生成相互独立、不受其他区域干扰的各焊缝目标区域点云。本发明所提出的方法可极大地降低后续焊缝提取算法的难度。[0041] 进一步的效果中，还可以识别出在每个点云上的待焊接焊缝的类型。[0042] 本发明同时提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。附图说明[0043] 图1是本发明基于DLP结构光视觉系统的焊缝区域提取方法所采用的硬件连接示意图；[0044] 图2是本发明基于DLP结构光视觉系统的焊缝区域提取方法的流程图；[0045] 图3是门型角钢类工件上存在两类需要焊接焊缝的类型和区域标注示意图。具体实施方式[0046] 下面结合附图及具体实施例对本发明做进一步的详细说明。[0047] 请结合图1所示，本发明提供的基于DLP结构光视觉系统的焊缝区域提取方法的硬件基础为：DLP结构光视觉系统与焊接机器人配合工作，其中DLP结构光视觉系统被安装在焊接机器人末端；DLP结构光视觉系统包括相机和DLP投影仪；通过手眼标定获取相机相对于机器人末端工具坐标系的位姿 其中，Cam为相机，Tool为机器人末端工具坐标系；通过机器人控制器，获取机器人末端工具相对于机器人基坐标系的位姿 其中Tool为机器人末端工具坐标系，Base为机器人基坐标系；[0048] 请结合图2所示，基于以上硬件开展工作，基于DLP结构光视觉系统的焊缝区域提取方法包括以下步骤：[0049] (1)、提供工件图像数据集，在工件图像数据集上进行焊缝区域的标注。其中，每个焊缝邻域范围内的工件部分也同样被标记为该焊缝区域；对于不同类型的焊缝或是邻域结构特征不同的焊缝标注为不同种类以提升检测成功率。这里以一种门型角钢类工件举例进行说明，如图3所示，该门型角钢类工件上存在两类需要焊接的焊缝，分别表示位于工件正面的上角处焊缝和横梁处焊缝，在图中以FrontCornerSeam和FrontBeamSeam的标识进行标注。此外，除了需要标记每条焊缝自身区域，其邻域范围内的工件部分也同样被标记为该焊缝区域，以提升不同种类焊缝之间的外观差异性，这样有利于提升后续基于深度学习的焊缝目标区域识别性能；[0050] (2)、标注的工件图像数据集送入目标检测网络中进行训练，生成基于深度学习的焊缝区域目标检测器。本实施例中，采用PP‑YOLOE目标检测网络。PP‑YOLOE目标检测网络为现有技术，可通过援引文献：[1]XuS,WangX,LvW,etal.PP‑YOLOE:AnevolvedversionofYOLO[J].arXivpreprintarXiv:2203.16250,2022.中的记载获取；[0051] (3)、在对工件进行焊缝区域检测前，首先使用DLP结构光视觉系统对背景工作台进行拍摄和点云重建，并对重建的工作台点云进行平面拟合，所拟合的平面表示为Planewb，然后通过以下公式，将其变换到机器人基坐标系中：[0052][0053] 其中Planewb′为机器人基坐标系下的工作台所在平面；[0054] (4)、将待测工件放置于工作台上，通过相机采集工件的二维图像，通过所述焊缝区域目标检测器完成工件上多个焊缝区域的检测，其中焊缝区域以二维边界框的形式表达，所检测到的二维边界框集合表示为{B1,B2,...,Bn}，各边界框对应的焊缝类型表示为{T1,T2,...,Tn}，其中n表示所检测到的焊缝目标区域数量；[0055] (5)、投影仪向被测工件依次投影相移码条纹序列和互补格雷码条纹序列，相机同步采集到一系列受工件轮廓调制的变形条纹，其中采集到的正弦条纹序列表示为{I1,I2,...,Is}，s表示所投影正弦条纹图像的张数；采集到的互补格雷码图案序列表示为{G1,G2,...,Gt}，t表示所投影互补格雷码图像的张数；[0056] (6)、遍历焊缝目标区域集合{B1,B2,...,Bn}，对于焊缝目标区域集合中的每一区域Bi，遍历区域Bi中的每一个像素点(uc,vc)，将该像素点的坐标值映射到正弦条纹序列{I1,I2,...,Is}和互补格雷码图案序列{G1,G2,...,Gt}中的每一幅图片上，即正弦条纹序列{I1,I2,...,Is}和互补格雷码图案序列{G1,G2,...,Gt}中每幅图像上坐标为(uc,vc)的像素点被标记。[0057] (7)对于步骤(6)获取的正弦条纹序列{I1,I2,...,Is}，它们相位位置处的像素点被标记。对于某一被标记的像素点(uc,vc)，利用相移法进行解码求解出其对应的包裹相位φ(uc,vc)；基于互补格雷码条纹序列{G1,G2,...,Gt}，求解出该像素点所在的条纹级次k1(uc,vc)和k2(uc,vc)；利用条纹级次k1(uc,vc)和k2(uc,vc)，对包裹相位 进行解包裹，以获得全局展开的绝对相位Φ(uc,vc)。[0058] 其中，[0059] 包裹相位φ(uc,vc)通过以下公式得到：[0060][0061] 绝对相位Φ(uc,vc)通过以下公式得到：[0062][0063] (8)、通过绝对相位Φ(uc,vc)，利用相位映射算法获取该像素点在投影仪投影面上对应的列坐标；构建相机成像矩阵Mc和投影仪投影矩阵Mp，通过三角映射原理得到该像素点在三维空间上的坐标Pxyz，将焊缝目标区域中所有像素点的三维坐标共同组成了该焊缝目标区域的点云PCi。[0064] 其中，[0065] 列坐标up通过以下公式得到：[0066][0067] 相机成像矩阵Mc为：[0068][0069] 投影仪投影矩阵Mp为[0070][0071] 坐标Pxyz通过以下公式得到：[0072][0073] (9)、重复步骤(6)至步骤(8)完成所有目标焊缝区域的点云重建，，重建的焊缝区域点云集表示为{PC1,PC2,...,PCn}；根据步骤(4)中所识别的各焊缝区域的焊缝类型，为每个焊缝区域点云PCi赋予其所属焊缝的类别Ti；[0074] (10)、对于步骤(8)中所述焊缝区域点云集{PC1,PC2,...,PCn}中的任意一个焊缝区域点云PCi，通过以下公式，将其变换到机器人基坐标系中：[0075][0076] 其中PC′i为在机器人基坐标系下所采集的该焊缝区域点云；[0077] (11)、对于步骤(10)中获取的每个焊缝区域点云PCi′，计算其中的每个点到步骤(3)中获取的拟合平面Planewb′的距离，如果此距离小于设定的阈值Tdistance，则将该点视为背景点予以剔除，最终得到不受工作台区域干扰的各个焊缝目标区域点云。后续可基于获取的各条焊缝类型及其区域结构特征，设计相应的焊缝提取算法。[0078] 另外，本发明的具体实现方法和途径很多，以上所述仅是本发明的优选实施方式。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

专利地区：江苏

专利申请日期：2024-02-07

专利公开日期：2024-11-29

专利公告号：CN117974983B