一种移动式视觉检测方法、系统和存储介质发明专利

专利名称：一种移动式视觉检测方法、系统和存储介质

专利类型：发明专利

专利申请号：CN202410595479.1

专利申请（专利权）人：广州信邦智能装备股份有限公司
权利人地址：广东省广州市花都区汽车城车城大道北侧

专利发明（设计）人：黄从明,胡昌旦,张镇山,胡鹏

专利摘要：本发明提供了一种移动式视觉检测方法、系统和存储介质，根据移动区域坐标集和检测区域坐标集对AVG移动设备和机械臂进行控制，以将视觉检测装置整体移动到产线上对应位置，并调节机械臂的位姿，使得图像数据采集设备指向特定位置，采集到待检测产品的图像数据，从而实现移动式检测；再通过实际图像样本数据和理想图像样本数据训练得到视觉检测参考数据库，再根据视觉检测参考数据库对视觉检测实时数据进行分析即可对产品进行视觉检测，排查产品外观缺陷，并在检测完成后进行自学习更新。基于上述方案，不仅能够高效、准确地进行智能视觉检测，排查产品外观缺陷，更能够基于小样本学习实现快速转配、快速适应，有效满足更高标准应用场景。

主权利要求：
1.一种移动式视觉检测方法，其特征在于，所述方法基于移动式视觉检测装置，所述装置至少包括AVG移动设备、机械臂、图像数据采集设备、5G工业CPE和智能控制设备，所述AVG移动设备用于控制移动式视觉检测装置在用户定义区域内移动，所述机械臂用于调整所述图像数据采集设备的位置以使得所述图像数据采集设备对准检测区域，所述图像数据采集设备用于采集图像数据，所述5G工业CPE用于进行数据传输，所述智能控制设备用于实现整体控制功能，所述方法包括以下步骤：S1.获取用户定义区域三维坐标系和用户定义区域位置数据，所述用户定义区域位置数据包括移动区域坐标集和检测区域坐标集；
S2.获取机械臂三维坐标系，根据用户定义区域三维坐标系和机械臂三维坐标系进行坐标系映射，获取用户定义区域三维坐标系和机械臂三维坐标系进行坐标系之间的坐标转换关系；
S3.根据移动区域坐标集控制AVG移动设备运动，根据检测区域坐标集控制机械臂调整位置，控制图像数据采集设备采集实际图像样本数据，并对实际图像样本数据进行标注得到对应产品的实际外观数据、实际尺寸数据和实际缺陷数据；
S4.获取预先设置的理想图像样本数据，对理想图像样本数据进行标注得到对应产品的理想外观数据、理想尺寸数据和理想缺陷数据；
S5.根据实际外观数据、实际尺寸数据、实际缺陷数据和理想外观数据、理想尺寸数据、理想缺陷数据进行小样本高精度训练，建立视觉检测参考数据库，所述视觉检测参考数据库包括外观参考数据、尺寸参考数据和缺陷参考数据；
S6.根据移动区域坐标集控制AVG移动设备运动，根据检测区域坐标集控制机械臂调整位置，控制图像数据采集设备进行实时产品质量检测，采集视觉检测实时数据，所述视觉检测实时数据包括外观实时数据、尺寸实时数据和缺陷实时数据；
S7.对比外观参考数据和外观实时数据得到外观检测数据、对比尺寸参考数据和尺寸实时数据得到尺寸检测数据，对比缺陷参考数据和缺陷实时数据得到缺陷检测数据，根据外观检测数据、尺寸检测数据和缺陷检测数据分析视觉检测结果，所述视觉检测结果为检测通过、检测不通过或者无法判断三者中的一个；
S8.当视觉检测结果为无法判断时，输出人工辅助提示，并接收外部输入的人工检测结果，所述人工检测结果为检测通过、检测不通过或者无法判断三者中的一个；
S9.根据人工检测结果对所述视觉检测参考数据库进行自学习更新；
S10.控制5G工业CPE将检测结果传输到中心服务器；
在步骤S5中，进行小样本高精度训练，建立视觉检测参考数据库具体包括：S501.基于深度卷积生成对抗网络构建GAN模型，配置GAN模型中的生成器和判别器；其中，生成器用于生成与真实样本相似的假样本，判别器用于区分输入样本是真实的还是生成的；
S502.基于实际外观数据、实际尺寸数据、实际缺陷数据和理想外观数据、理想尺寸数据、理想缺陷数据进行数据融合得到扩充数据集；
S503.对扩充数据集通过图像旋转、图像翻转、图像缩放、图像平移进行数据增强，并对经过数据增强后的扩充数据集进行图像预处理，所述图像预处理具体包括图像清洗操作、特征标注操作和归一化操作；
S504.进行GAN模型训练，控制生成器基于图像预处理后扩充数据集生成假样本，控制判别器对生成器所生成的假样本进行鉴别并输出判断结果，进一步根据判别器的判断结果，对实际外观数据、实际尺寸数据、实际缺陷数据和理想外观数据、理想尺寸数据、理想缺陷数据进行特征分布分析，得到外观参考数据、尺寸参考数据和缺陷参考数据；
在步骤S6中，根据移动区域坐标集控制AVG移动设备运动具体包括：S601.根据移动区域坐标集构建AVG移动地图，并基于AVG移动地图进行AVG路径规划，得到AVG规划路径；
S602.动态获取AVG移动设备的AVG实时坐标（ ， ）；
S603.将AVG移动设备的实时坐标匹配到AVG规划路径，获取规划路径点坐标（ ， ）；
S604.基于AVG实时坐标（ ， ）和规划路径点坐标（ ， ），计算二者距离d，其中：；
S605.遍历寻找最邻点 ，计算最邻点坐标（ ， ），其中：
；
具体地，n是AVG规划路径上点的数量；
S606.根据AVG实时坐标（ ， ）和最邻点坐标（ ， ）生成AVG控制指令，根据AVG控制指令控制AVG移动设备运动；
在步骤S6中，根据检测区域坐标集控制机械臂调整位置具体包括：
S611.根据检测区域坐标集分析机械臂末端路径；
S612.基于机械臂末端路径确定机械臂末端目标坐标（ ， ， ）和机械臂末端目标姿态；
S613.获取机械臂末端实时坐标（ ， ， ）和机械臂末端实时姿态；
S614.基于机械臂末端目标坐标、机械臂末端目标姿态、机械臂末端实时坐标和机械臂末端实时姿态进行逆运动学计算，得到机械臂关节控制数据 ，其中， 为关节角向量控制数据，IK为逆运动学函数， 为机械臂末端目标坐标， 为关节旋转矩阵，具体地： ， ，， ， 为Z轴目标数值，为机械臂中
第一连接杆的长度， 为机械臂中第二连接杆的长度， 为机械臂中第一连接杆相对于Z轴的偏转角， 为机械臂中第二连接杆相对于Z轴的偏转角， 为绕Z轴旋转 角度的旋转矩阵， 为绕Z轴旋转 角度的旋转矩阵；
S615.根据关节角向量控制数据 控制机械臂调整位置。
2.根据权利要求1所述的一种移动式视觉检测方法，其特征在于，在步骤S2中，根据用户定义区域三维坐标系和机械臂三维坐标系进行坐标系映射，获取用户定义区域三维坐标系和机械臂三维坐标系进行坐标系之间的坐标转换关系具体包括：S201.确定用户定义区域三维坐标系的原点和坐标轴方向，获取用户定义区域的三维点云数据，将用户定义区域的三维点云数据转换为用户定义区域三维坐标系下的坐标值；
S202.确定机械臂三维坐标系的原点和坐标轴方向，获取机械臂执行末端的坐标值，并将机械臂执行末端的坐标值转换为机械臂三维坐标系下的坐标值；
S203.选取具有标识特征的标定点，获取标定点在用户定义区域三维坐标系下的坐标值（ ， ， ）和在机械臂三维坐标系下的坐标值（ ， ， ），并对用户定义区域三维坐标系下的坐标值（ ， ， ）和机械臂三维坐标系下的坐标值（ ， ， ）进行配对；
S204.根据配对后的同一个标定点在用户定义区域三维坐标系下的坐标值（ ， ， ）和在机械臂三维坐标系下的坐标值（ ， ， ），计算用户定义区域三维坐标系和机械臂三维坐标系进行坐标系之间的平移向量T，其中：；
S205.根据配对后的同一个标定点在用户定义区域三维坐标系下的坐标值（ ， ， ）和在机械臂三维坐标系下的坐标值（ ， ， ），计算用户定义区域三维坐标系和机械臂三维坐标系进行坐标系之间的旋转矩阵R，其中，以单位旋转矩阵I作为旋转矩阵R，则：；
S206.根据平移向量T和旋转矩阵R计算坐标转换矩阵M，其中：。
3.根据权利要求1所述的一种移动式视觉检测方法，其特征在于，在步骤S9中，根据人工检测结果对所述视觉检测参考数据库进行自学习更新具体包括：S901.获取人工检测结果所对应的实际图像样本数据；
S902.对实际图像样本数据进行去噪预处理；
S903.对经过去噪预处理实际图像样本数据进行特征提取，得到外观特征数据、尺寸特征数据和实际特征数据；
S904.根据外观特征数据、尺寸特征数据和实际特征数据对视觉检测参考数据库进行算法优化，得到优化后的外观参考数据、尺寸参考数据和缺陷参考数据。
4.一种移动式视觉检测系统，其特征在于，所述系统基于移动式视觉检测装置，所述装置至少包括AVG移动设备、机械臂、图像数据采集设备、5G工业CPE和智能控制设备，所述AVG移动设备用于控制移动式视觉检测装置在用户定义区域内移动，所述机械臂用于调整所述图像数据采集设备的位置以使得所述图像数据采集设备对准检测区域，所述图像数据采集设备用于采集图像数据，所述5G工业CPE用于进行数据传输，所述智能控制设备用于实现整体控制功能，所述系统包括：位置数据获取模块，用于获取用户定义区域三维坐标系和用户定义区域位置数据，所述用户定义区域位置数据包括移动区域坐标集和检测区域坐标集；
坐标系映射模块，用于获取机械臂三维坐标系，根据用户定义区域三维坐标系和机械臂三维坐标系进行坐标系映射，获取用户定义区域三维坐标系和机械臂三维坐标系进行坐标系之间的坐标转换关系；
第一样本采集模块，用于根据移动区域坐标集控制AVG移动设备运动，根据检测区域坐标集控制机械臂调整位置，控制图像数据采集设备采集实际图像样本数据，并对实际图像样本数据进行标注得到对应产品的实际外观数据、实际尺寸数据和实际缺陷数据；
第二样本采集模块，用于获取预先设置的理想图像样本数据，对理想图像样本数据进行标注得到对应产品的理想外观数据、理想尺寸数据和理想缺陷数据；
数据库建立模块，用于根据实际外观数据、实际尺寸数据、实际缺陷数据和理想外观数据、理想尺寸数据、理想缺陷数据进行小样本高精度训练，建立视觉检测参考数据库，所述视觉检测参考数据库包括外观参考数据、尺寸参考数据和缺陷参考数据；
图像采集模块，用于根据移动区域坐标集控制AVG移动设备运动，根据检测区域坐标集控制机械臂调整位置，控制图像数据采集设备进行实时产品质量检测，采集视觉检测实时数据，所述视觉检测实时数据包括外观实时数据、尺寸实时数据和缺陷实时数据；
视觉检测模块，用于对比外观参考数据和外观实时数据得到外观检测数据、对比尺寸参考数据和尺寸实时数据得到尺寸检测数据，对比缺陷参考数据和缺陷实时数据得到缺陷检测数据，根据外观检测数据、尺寸检测数据和缺陷检测数据分析视觉检测结果，所述视觉检测结果为检测通过、检测不通过或者无法判断三者中的一个；
辅助判断模块，用于当视觉检测结果为无法判断时，输出人工辅助提示，并接收外部输入的人工检测结果，所述人工检测结果为检测通过、检测不通过或者无法判断三者中的一个；
自学习模块，用于根据人工检测结果对所述视觉检测参考数据库进行自学习更新；
数据传输模块，用于控制5G工业CPE将检测结果传输到中心服务器；
所述数据库建立模块具体包括：
模型构建单元，用于基于深度卷积生成对抗网络构建GAN模型，配置GAN模型中的生成器和判别器；其中，生成器用于生成与真实样本相似的假样本，判别器用于区分输入样本是真实的还是生成的；
数据融合单元，用于基于实际外观数据、实际尺寸数据、实际缺陷数据和理想外观数据、理想尺寸数据、理想缺陷数据进行数据融合得到扩充数据集；
图像预处理单元，用于对扩充数据集通过图像旋转、图像翻转、图像缩放、图像平移进行数据增强，并对经过数据增强后的扩充数据集进行图像预处理，所述图像预处理具体包括图像清洗操作、特征标注操作和归一化操作；
模型训练单元，用于进行GAN模型训练，控制生成器基于图像预处理后扩充数据集生成假样本，控制判别器对生成器所生成的假样本进行鉴别并输出判断结果，进一步根据判别器的判断结果，对实际外观数据、实际尺寸数据、实际缺陷数据和理想外观数据、理想尺寸数据、理想缺陷数据进行特征分布分析，得到外观参考数据、尺寸参考数据和缺陷参考数据；
所述自学习模块具体包括：
人工检测结果获取单元，用于获取人工检测结果所对应的实际图像样本数据；
预处理单元，用于对实际图像样本数据进行去噪预处理；
特征提取单元，用于对经过去噪预处理实际图像样本数据进行特征提取，得到外观特征数据、尺寸特征数据和实际特征数据；
算法优化单元，用于根据外观特征数据、尺寸特征数据和实际特征数据对视觉检测参考数据库进行算法优化，得到优化后的外观参考数据、尺寸参考数据和缺陷参考数据；
所述图像采集模块包括AVG控制模组和机械臂控制模组：
所述AVG控制模组具体包括：
AVG地图构建单元，用于根据移动区域坐标集构建AVG移动地图，并基于AVG移动地图进行AVG路径规划，得到AVG规划路径；
AVG定位单元，用于动态获取AVG移动设备的AVG实时坐标（ ， ）；
AVG路径规划单元，用于将AVG移动设备的实时坐标匹配到AVG规划路径，获取规划路径点坐标（ ， ）；
距离计算单元，用于基于AVG实时坐标（ ， ）和规划路径点坐标（ ， ），计算二者距离d，其中：；
最邻点分析单元，用于遍历寻找最邻点 ，计算最邻点坐标（ ， ），其中：；
具体地，n是AVG规划路径上点的数量；
AVG驱动单元，用于根据AVG实时坐标（ ， ）和最邻点坐标（ ， ）生成AVG控制指令，根据AVG控制指令控制AVG移动设备运动；
机械臂控制模组具体包括：
机械臂路径分析单元，用于根据检测区域坐标集分析机械臂末端路径；
末端目标位姿分析单元，用于基于机械臂末端路径确定机械臂末端目标坐标（ ，， ）和机械臂末端目标姿态；
逆运动学分析单元，用于基于机械臂末端目标坐标、机械臂末端目标姿态、机械臂末端实时坐标和机械臂末端实时姿态进行逆运动学计算，得到机械臂关节控制数据，其中， 为关节角向量控制数据，IK为逆运动学函数， 为机械臂末端目标坐标， 为关节旋转矩阵，具体地： ，
， ，
， 为Z轴目标数值，为机械臂中第一连接杆的长度， 为机械臂中第二连接杆的长度，为机械臂中第一连接杆相对于Z轴的偏转角， 为机械臂中第二连接杆相对于Z轴的偏转角， 为绕Z轴旋转 角度的旋转矩阵， 为绕Z轴旋转 角度的旋转矩阵；
机械臂驱动单元，用于根据关节角向量控制数据 控制机械臂调整位置。
5.根据权利要求4所述的一种移动式视觉检测系统，其特征在于，所述坐标系映射模块具体包括：第一坐标值转换单元，用于确定用户定义区域三维坐标系的原点和坐标轴方向，获取用户定义区域的三维点云数据，将用户定义区域的三维点云数据转换为用户定义区域三维坐标系下的坐标值；
第二坐标值转换单元，用于确定机械臂三维坐标系的原点和坐标轴方向，获取机械臂执行末端的坐标值，并将机械臂执行末端的坐标值转换为机械臂三维坐标系下的坐标值；
标定点配对单元，用于选取具有标识特征的标定点，获取标定点在用户定义区域三维坐标系下的坐标值（ ， ， ）和在机械臂三维坐标系下的坐标值（ ， ， ），并对用户定义区域三维坐标系下的坐标值（ ， ， ）和机械臂三维坐标系下的坐标值（ ， ，）进行配对；
平移向量分析单元，用于根据配对后的同一个标定点在用户定义区域三维坐标系下的坐标值（ ， ， ）和在机械臂三维坐标系下的坐标值（ ， ， ），计算用户定义区域三维坐标系和机械臂三维坐标系进行坐标系之间的平移向量T；平移向量T描述机械臂三维坐标系坐标原点在户定义区域三维坐标系中的位置，其中：；
旋转矩阵计算单元，用于根据配对后的同一个标定点在用户定义区域三维坐标系下的坐标值（ ， ， ）和在机械臂三维坐标系下的坐标值（ ， ， ），计算用户定义区域三维坐标系和机械臂三维坐标系进行坐标系之间的旋转矩阵R，其中，以单位旋转矩阵I作为旋转矩阵R，则：；
转换矩阵分析单元，用于根据平移向量T和旋转矩阵R计算坐标转换矩阵M，其中：。
6.一种存储介质，其特征在于，所述存储介质存储有计算机程序，所述的计算机程序包括程序指令，当所述程序指令被处理器执行时，处理器执行权利要求1‑3中任一项所述的移动式视觉检测方法。 说明书 : 一种移动式视觉检测方法、系统和存储介质技术领域[0001] 本发明涉及电子元件检测技术领域，涉及一种应用于3C产品制造产线上实施智能检测的移动式视觉检测方法、系统和存储介质。背景技术[0002] 在生产3C产品过程中，对其外观、尺寸、缺陷都有明确的标准，比如外观划痕情况、尺寸大小高度和是否存在焊脚、崩坏、缺失等缺陷，都是具体量化要求。优化制程是使得3C产品符合外观、尺寸、缺陷等标准的唯一途径，而对3C产品进行外观筛查检测（visualinspection）则是过滤以上不符合标准的产品流出的唯一方法。现有技术可通过人工检测和智能检测两种方式实施外观筛查检测。[0003] 智能视觉检测系统外观筛查相比于人工检测更加省事省力，同时具有方便快捷、结果可靠等优点，因此，在涉及飞机汽车主机、发动机、部装件等大型复杂结构件制造领域，多通过智能视觉检测系统进行外观筛查。[0004] 现有技术的生产线多为模块化设计，可通过快速切换生产不同型号甚至不同种类的3C产品，这就会对导致智能视觉检测系统数据库和执行标准更新提升更高要求。业界仍未提出一种切实有效的检测方案，针对工业品缺陷数据不足、生产线匹配难度大、解决方案可复制性较差等行业难题，实现多场景图像采集、高精度外观检测。发明内容[0005] 本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种移动式视觉检测方法、系统和存储介质，不仅能够高效、准确地进行智能视觉检测，排查产品外观缺陷，更能够基于小样本学习实现快速转配、快速适应，有效满足更高标准应用场景。[0006] 本发明解决技术问题所采用的技术方案如下：[0007] 一种移动式视觉检测方法，所述方法基于移动式视觉检测装置，所述装置至少包括AVG移动设备、机械臂、图像数据采集设备、5G工业CPE和智能控制设备，所述AVG移动设备用于控制移动式视觉检测装置在用户定义区域内移动，所述机械臂用于调整所述图像数据采集设备的位置以使得所述图像数据采集设备对准检测区域，所述图像数据采集设备用于采集图像数据，所述5G工业CPE用于进行数据传输，所述智能控制设备用于实现整体控制功能，所述方法包括以下步骤：[0008] S1.获取用户定义区域三维坐标系和用户定义区域位置数据，所述用户定义区域位置数据包括移动区域坐标集和检测区域坐标集；[0009] S2.获取机械臂三维坐标系，根据用户定义区域三维坐标系和机械臂三维坐标系进行坐标系映射，获取用户定义区域三维坐标系和机械臂三维坐标系进行坐标系之间的坐标转换关系；[0010] S3.根据移动区域坐标集控制AVG移动设备运动，根据检测区域坐标集控制机械臂调整位置，控制图像数据采集设备采集实际图像样本数据，并对实际图像样本数据进行标注得到对应产品的实际外观数据、实际尺寸数据和实际缺陷数据；[0011] S4.获取预先设置的理想图像样本数据，对理想图像样本数据进行标注得到对应产品的理想外观数据、理想尺寸数据和理想缺陷数据；[0012] S5.根据实际外观数据、实际尺寸数据、实际缺陷数据和理想外观数据、理想尺寸数据、理想缺陷数据进行小样本高精度训练，建立视觉检测参考数据库，所述视觉检测参考数据库包括外观参考数据、尺寸参考数据和缺陷参考数据；[0013] S6.根据移动区域坐标集控制AVG移动设备运动，根据检测区域坐标集控制机械臂调整位置，控制图像数据采集设备进行实时产品质量检测，采集视觉检测实时数据，所述视觉检测实时数据包括外观实时数据、尺寸实时数据和缺陷实时数据；[0014] S7.对比外观参考数据和外观实时数据得到外观检测数据、对比尺寸参考数据和尺寸实时数据得到尺寸检测数据，对比缺陷参考数据和缺陷实时数据得到缺陷检测数据，根据外观检测数据、尺寸检测数据和缺陷检测数据分析视觉检测结果，所述视觉检测结果为检测通过、检测不通过或者无法判断三者中的一个；[0015] S8.当视觉检测结果为无法判断时，输出人工辅助提示，并接收外部输入的人工检测结果，所述人工检测结果为检测通过、检测不通过或者无法判断三者中的一个；[0016] S9.根据人工检测结果对所述视觉检测参考数据库进行自学习更新；[0017] S10.控制5G工业CPE将检测结果传输到中心服务器。[0018] 与现有技术相比，本技术方案的有益效果是：通过实际图像样本数据和理想图像样本数据训练得到视觉检测参考数据库，再根据视觉检测参考数据库对视觉检测实时数据进行分析即可对产品进行视觉检测，排查产品外观缺陷，并在检测完成后进行自学习更新，以便实现快速转配、快速适应，有效满足更高标准应用场景。[0019] 进一步地，在步骤S2中，根据用户定义区域三维坐标系和机械臂三维坐标系进行坐标系映射，获取用户定义区域三维坐标系和机械臂三维坐标系进行坐标系之间的坐标转换关系具体包括：[0020] S201.确定用户定义区域三维坐标系的原点和坐标轴方向，获取用户定义区域的三维点云数据，将用户定义区域的三维点云数据转换为用户定义区域三维坐标系下的坐标值；[0021] S202.确定机械臂三维坐标系的原点和坐标轴方向，获取机械臂执行末端的坐标值，并将机械臂执行末端的坐标值转换为机械臂三维坐标系下的坐标值；[0022] S203.选取具有标识特征的标定点，获取标定点在用户定义区域三维坐标系下的坐标值（ ， ， ）和在机械臂三维坐标系下的坐标值（ ， ， ），并对用户定义区域三维坐标系下的坐标值（ ， ， ）和机械臂三维坐标系下的坐标值（ ， ， ）进行配对；[0023] S204.根据配对后的同一个标定点在用户定义区域三维坐标系下的坐标值（ ，， ）和在机械臂三维坐标系下的坐标值（ ， ， ），计算用户定义区域三维坐标系和机械臂三维坐标系进行坐标系之间的平移向量T，其中：[0024] ；[0025] S205.根据配对后的同一个标定点在用户定义区域三维坐标系下的坐标值（ ，， ）和在机械臂三维坐标系下的坐标值（ ， ， ），计算用户定义区域三维坐标系和机械臂三维坐标系进行坐标系之间的旋转矩阵R，其中，以单位旋转矩阵I作为旋转矩阵R，则：[0026] ；[0027] S206.根据平移向量T和旋转矩阵R计算坐标转换矩阵M，其中：[0028] 。[0029] 采用上述方案的有益效果是：选取具有标识特征的标定点后，基于标定点在用户定义区域三维坐标系和在机械臂三维坐标系下的坐标值，对用户定义区域三维坐标系和机械臂三维坐标系进行配对，分析得到平移向量T、旋转矩阵R和坐标转换矩阵M，以便于在两个三维坐标系之间实现数据互通，获知一点在某个坐标系下的坐标值，即可获得该点在另一坐标系下的坐标值。[0030] 进一步地，在步骤S5中，进行小样本高精度训练，建立视觉检测参考数据库具体包括：[0031] S501.基于深度卷积生成对抗网络构建GAN模型，配置GAN模型中的生成器和判别器；其中，生成器用于生成与真实样本相似的假样本，判别器用于区分输入样本是真实的还是生成的；[0032] S502.基于实际外观数据、实际尺寸数据、实际缺陷数据和理想外观数据、理想尺寸数据、理想缺陷数据进行数据融合得到扩充数据集；[0033] S503.对扩充数据集通过图像旋转、图像翻转、图像缩放、图像平移进行数据增强，并对经过数据增强后的扩充数据集进行图像预处理，所述图像预处理具体包括图像清洗操作、特征标注操作和归一化操作；[0034] S504.进行GAN模型训练，控制生成器基于图像预处理后扩充数据集生成假样本，控制判别器对生成器所生成的假样本进行鉴别并输出判断结果，进一步根据判别器的判断结果，对实际外观数据、实际尺寸数据、实际缺陷数据和理想外观数据、理想尺寸数据、理想缺陷数据进行特征分布分析，得到外观参考数据、尺寸参考数据和缺陷参考数据。[0035] 采用上述方案的有益效果是：基于对抗网络构建GAN模型配置生成器和判别器，可以更好地从小样本的实际外观数据、实际尺寸数据、实际缺陷数据和理想外观数据、理想尺寸数据、理想缺陷数据等中分析分布特征，从而提高外观参考数据、尺寸参考数据和缺陷参考数据的数据可靠性，提升小样本训练成果。[0036] 进一步地，在步骤S6中，根据移动区域坐标集控制AVG移动设备运动具体包括：[0037] S601.根据移动区域坐标集构建AVG移动地图，并基于AVG移动地图进行AVG路径规划，得到AVG规划路径；[0038] S602.动态获取AVG移动设备的AVG实时坐标（ ， ）；[0039] S603.将AVG移动设备的实时坐标匹配到AVG规划路径，获取规划路径点坐标（ ，）；[0040] S604.基于AVG实时坐标（ ， ）和规划路径点坐标（ ， ），计算二者距离d，其中：[0041] ；[0042] S605.遍历寻找最邻点 ，计算最邻点坐标（ ， ），其中：[0043] ；[0044] 具体地，n是AVG规划路径上点的数量；[0045] S606.根据AVG实时坐标（ ， ）和最邻点坐标（ ， ）生成AVG控制指令，根据AVG控制指令控制AVG移动设备运动；[0046] 在步骤S6中，根据检测区域坐标集控制机械臂调整位置具体包括：[0047] S611.根据检测区域坐标集分析机械臂末端路径；[0048] S612.基于机械臂末端路径确定机械臂末端目标坐标（ ， ， ）和机械臂末端目标姿态；[0049] S613.获取机械臂末端实时坐标（ ， ， ）和机械臂末端实时姿态；[0050] S614.基于机械臂末端目标坐标、机械臂末端目标姿态、机械臂末端实时坐标和机械臂末端实时姿态进行逆运动学计算，得到机械臂关节控制数据 ，其中，为关节角向量控制数据，IK为逆运动学函数， 为机械臂末端目标坐标， 为关节旋转矩阵，具体地： ， ，， ， 为Z轴目标数值，为机械臂中第一连接杆的长度， 为机械臂中第二连接杆的长度， 为机械臂中第一连接杆相对于Z轴的偏转角， 为机械臂中第二连接杆相对于Z轴的偏转角， 为绕Z轴旋转 角度的旋转矩阵， 为绕Z轴旋转 角度的旋转矩阵；[0051] S615.根据关节角向量控制数据 控制机械臂调整位置。[0052] 采用上述方案的有益效果是：确保在控制AVG移动设备运动和控制机械臂调整位置的过程中，无论是AVG移动设备还是机械臂，都能够在处于最优运动路径，确保检测过程高效、安全。[0053] 进一步地，在步骤S9中，根据人工检测结果对所述视觉检测参考数据库进行自学习更新具体包括：[0054] S901.获取人工检测结果所对应的实际图像样本数据；[0055] S902.对实际图像样本数据进行去噪预处理；[0056] S903.对经过去噪预处理实际图像样本数据进行特征提取，得到外观特征数据、尺寸特征数据和实际特征数据；[0057] S904.根据外观特征数据、尺寸特征数据和实际特征数据对视觉检测参考数据库进行算法优化，得到优化后的外观参考数据、尺寸参考数据和缺陷参考数据。[0058] 采用上述方案的有益效果是：当出现智能视觉检测无法判断时，人工介入检查，并在获取人工检测结果后对视觉检测参考数据库进行自学习更新，能够提高本技术方案的可靠性、适用性。[0059] 对应地，一种移动式视觉检测系统，所述系统基于移动式视觉检测装置，所述装置至少包括AVG移动设备、机械臂、图像数据采集设备、5G工业CPE和智能控制设备，所述AVG移动设备用于控制移动式视觉检测装置在用户定义区域内移动，所述机械臂用于调整所述图像数据采集设备的位置以使得所述图像数据采集设备对准检测区域，所述图像数据采集设备用于采集图像数据，所述5G工业CPE用于进行数据传输，所述智能控制设备用于实现整体控制功能，所述系统包括：[0060] 位置数据获取模块，用于获取用户定义区域三维坐标系和用户定义区域位置数据，所述用户定义区域位置数据包括移动区域坐标集和检测区域坐标集；[0061] 坐标系映射模块，用于获取机械臂三维坐标系，根据用户定义区域三维坐标系和机械臂三维坐标系进行坐标系映射，获取用户定义区域三维坐标系和机械臂三维坐标系进行坐标系之间的坐标转换关系；[0062] 第一样本采集模块，用于根据移动区域坐标集控制AVG移动设备运动，根据检测区域坐标集控制机械臂调整位置，控制图像数据采集设备采集实际图像样本数据，并对实际图像样本数据进行标注得到对应产品的实际外观数据、实际尺寸数据和实际缺陷数据；[0063] 第二样本采集模块，用于获取预先设置的理想图像样本数据，对理想图像样本数据进行标注得到对应产品的理想外观数据、理想尺寸数据和理想缺陷数据；[0064] 数据库建立模块，用于根据实际外观数据、实际尺寸数据、实际缺陷数据和理想外观数据、理想尺寸数据、理想缺陷数据进行小样本高精度训练，建立视觉检测参考数据库，所述视觉检测参考数据库包括外观参考数据、尺寸参考数据和缺陷参考数据；[0065] 图像采集模块，用于根据移动区域坐标集控制AVG移动设备运动，根据检测区域坐标集控制机械臂调整位置，控制图像数据采集设备进行实时产品质量检测，采集视觉检测实时数据，所述视觉检测实时数据包括外观实时数据、尺寸实时数据和缺陷实时数据；[0066] 视觉检测模块，用于对比外观参考数据和外观实时数据得到外观检测数据、对比尺寸参考数据和尺寸实时数据得到尺寸检测数据，对比缺陷参考数据和缺陷实时数据得到缺陷检测数据，根据外观检测数据、尺寸检测数据和缺陷检测数据分析视觉检测结果，所述视觉检测结果为检测通过、检测不通过或者无法判断三者中的一个；[0067] 辅助判断模块，用于当视觉检测结果为无法判断时，输出人工辅助提示，并接收外部输入的人工检测结果，所述人工检测结果为检测通过、检测不通过或者无法判断三者中的一个；[0068] 自学习模块，用于根据人工检测结果对所述视觉检测参考数据库进行自学习更新；[0069] 数据传输模块，用于控制5G工业CPE将检测结果传输到中心服务器。[0070] 进一步地，所述坐标系映射模块具体包括：[0071] 第一坐标值转换单元，用于确定用户定义区域三维坐标系的原点和坐标轴方向，获取用户定义区域的三维点云数据，将用户定义区域的三维点云数据转换为用户定义区域三维坐标系下的坐标值；[0072] 第二坐标值转换单元，用于确定机械臂三维坐标系的原点和坐标轴方向，获取机械臂执行末端的坐标值，并将机械臂执行末端的坐标值转换为机械臂三维坐标系下的坐标值；[0073] 标定点配对单元，用于选取具有标识特征的标定点，获取标定点在用户定义区域三维坐标系下的坐标值（ ， ， ）和在机械臂三维坐标系下的坐标值（ ， ， ），并对用户定义区域三维坐标系下的坐标值（ ， ， ）和机械臂三维坐标系下的坐标值（， ， ）进行配对；[0074] 平移向量分析单元，用于根据配对后的同一个标定点在用户定义区域三维坐标系下的坐标值（ ， ， ）和在机械臂三维坐标系下的坐标值（ ， ， ），计算用户定义区域三维坐标系和机械臂三维坐标系进行坐标系之间的平移向量T；平移向量T描述机械臂三维坐标系坐标原点在户定义区域三维坐标系中的位置，其中：[0075] ；[0076] 旋转矩阵计算单元，用于根据配对后的同一个标定点在用户定义区域三维坐标系下的坐标值（ ， ， ）和在机械臂三维坐标系下的坐标值（ ， ， ），计算用户定义区域三维坐标系和机械臂三维坐标系进行坐标系之间的旋转矩阵R，其中，以单位旋转矩阵I作为旋转矩阵R，则：[0077] ；[0078] 转换矩阵分析单元，用于根据平移向量T和旋转矩阵R计算坐标转换矩阵M，其中：[0079] 。[0080] 进一步地，所述数据库建立模块具体包括：[0081] 模型构建单元，用于基于深度卷积生成对抗网络构建GAN模型，配置GAN模型中的生成器和判别器；其中，生成器用于生成与真实样本相似的假样本，判别器用于区分输入样本是真实的还是生成的；[0082] 数据融合单元，用于基于实际外观数据、实际尺寸数据、实际缺陷数据和理想外观数据、理想尺寸数据、理想缺陷数据进行数据融合得到扩充数据集；[0083] 图像预处理单元，用于对扩充数据集通过图像旋转、图像翻转、图像缩放、图像平移进行数据增强，并对经过数据增强后的扩充数据集进行图像预处理，所述图像预处理具体包括图像清洗操作、特征标注操作和归一化操作；[0084] 模型训练单元，用于进行GAN模型训练，控制生成器基于图像预处理后扩充数据集生成假样本，控制判别器对生成器所生成的假样本进行鉴别并输出判断结果，进一步根据判别器的判断结果，对实际外观数据、实际尺寸数据、实际缺陷数据和理想外观数据、理想尺寸数据、理想缺陷数据进行特征分布分析，得到外观参考数据、尺寸参考数据和缺陷参考数据；[0085] 所述自学习模块具体包括：[0086] 人工检测结果获取单元，用于获取人工检测结果所对应的实际图像样本数据；[0087] 预处理单元，用于对实际图像样本数据进行去噪预处理；[0088] 特征提取单元，用于对经过去噪预处理实际图像样本数据进行特征提取，得到外观特征数据、尺寸特征数据和实际特征数据；[0089] 算法优化单元，用于根据外观特征数据、尺寸特征数据和实际特征数据对视觉检测参考数据库进行算法优化，得到优化后的外观参考数据、尺寸参考数据和缺陷参考数据。[0090] 进一步地，所述图像采集模块包括AVG控制模组和机械臂控制模组：[0091] 所述AVG控制模组具体包括：[0092] AVG地图构建单元，用于根据移动区域坐标集构建AVG移动地图，并基于AVG移动地图进行AVG路径规划，得到AVG规划路径；[0093] AVG定位单元，用于动态获取AVG移动设备的AVG实时坐标（ ， ）；[0094] AVG路径规划单元，用于将AVG移动设备的实时坐标匹配到AVG规划路径，获取规划路径点坐标（ ， ）；[0095] 距离计算单元，用于基于AVG实时坐标（ ， ）和规划路径点坐标（ ， ），计算二者距离d，其中：[0096] ；[0097] 最邻点分析单元，用于遍历寻找最邻点 ，计算最邻点坐标（ ， ），其中：[0098] ；[0099] 具体地，n是AVG规划路径上点的数量；[0100] AVG驱动单元，用于根据AVG实时坐标（ ， ）和最邻点坐标（ ， ）生成AVG控制指令，根据AVG控制指令控制AVG移动设备运动；[0101] 机械臂控制模组具体包括：[0102] 机械臂路径分析单元，用于根据检测区域坐标集分析机械臂末端路径；[0103] 末端目标位姿分析单元，用于基于机械臂末端路径确定机械臂末端目标坐标（， ， ）和机械臂末端目标姿态；[0104] 逆运动学分析单元，用于基于机械臂末端目标坐标、机械臂末端目标姿态、机械臂末端实时坐标和机械臂末端实时姿态进行逆运动学计算，得到机械臂关节控制数据，其中， 为关节角向量控制数据，IK为逆运动学函数， 为机械臂末端目标坐标， 为关节旋转矩阵，具体地： ，， ，， 为Z轴目标数值，为机械臂中第一连接杆的长度， 为机械臂中第二连接杆的长度，为机械臂中第一连接杆相对于Z轴的偏转角， 为机械臂中第二连接杆相对于Z轴的偏转角， 为绕Z轴旋转 角度的旋转矩阵， 为绕Z轴旋转 角度的旋转矩阵；[0105] 机械臂驱动单元，用于根据关节角向量控制数据 控制机械臂调整位置。[0106] 对应地，一种存储介质，所述存储介质存储有计算机程序，所述的计算机程序包括程序指令，当所述程序指令被处理器执行时，处理器执行如上所述的移动式视觉检测方法。附图说明[0107] 图1是本发明移动式视觉检测方法的流程示意图。[0108] 图2是本发明移动式视觉检测系统的结构示意图。[0109] 图中，各标号所代表的部件表示如下：[0110] 位置数据获取模块1、坐标系映射模块2、第一样本采集模块3、第二样本采集模块4、数据库建立模块5、图像采集模块6、视觉检测模块7、辅助判断模块8、自学习模块9、数据传输模块10。具体实施方式[0111] 为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。[0112] 在本发明的描述中，需要理解的是，术语中“中心”、“上”、“下”、“前”、“后”、“左”、“右”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或组件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。[0113] 在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“连接”、“相连”应做广义理解，例如，可以是固定连接，也可以是拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以是通过中间媒介间接相连，可以是两个组件内部的连通。当组件被称为“固定于”或“设置于”另一个元件，它可以直接在另一个组件上或者也可以存在居中的组件。当一个组件被认为是“连接”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明的具体含义。[0114] 在生产3C产品过程中，对其外观、尺寸、缺陷都有明确的标准，比如外观划痕情况、尺寸大小高度和是否存在焊脚、崩坏、缺失等缺陷，都是具体量化要求。优化制程是使得3C产品符合外观、尺寸、缺陷等标准的唯一途径，而对3C产品进行外观筛查检测（visualinspection）则是过滤以上不符合标准的产品流出的唯一方法。现有技术可通过人工检测和智能检测两种方式实施外观筛查检测。[0115] 智能视觉检测系统外观筛查相比于人工检测更加省事省力，同时具有方便快捷、结果可靠等优点，因此，在涉及飞机汽车主机、发动机、部装件等大型复杂结构件制造领域，多通过智能视觉检测系统进行外观筛查。[0116] 现有技术的生产线多为模块化设计，可通过快速切换生产不同型号甚至不同种类的3C产品，这就会对导致智能视觉检测系统数据库和执行标准更新提升更高要求。业界仍未提出一种切实有效的检测方案，针对工业品缺陷数据不足、生产线匹配难度大、解决方案可复制性较差等行业难题，实现多场景图像采集、高精度外观检测。[0117] 为了解决上述技术问题，在本申请技术方案基于一种移动式视觉检测装置，提出一种移动式视觉检测方法、系统和存储介质。[0118] 移动式视觉检测装置至少包括AVG移动设备、机械臂、图像数据采集设备、5G工业CPE和智能控制设备。具体地，所述AVG移动设备用于控制移动式视觉检测装置在用户定义区域内移动；所述机械臂用于调整所述图像数据采集设备的位置以使得所述图像数据采集设备对准检测区域；所述图像数据采集设备用于采集图像数据，如采集实际图像样本数据，以标注得到对应产品的实际外观数据、实际尺寸数据和实际缺陷数据等；所述5G工业CPE用于进行数据传输，所述智能控制设备用于实现整体控制功能。在本技术方案中，移动区域可以理解为产线所在区域，检测区域可以理解为产品进行外观检测时所放置区域。[0119] 移动式视觉检测装置的工作过程为：先发出指令控制AVG移动设备将本移动式视觉检测装置整体移动至用户定义区域，进一步控制机械臂调节角度，使得图像数据采集设备能够采集到待检测产品的图像数据，在进行外观检测时，图像数据采集设备采集图像数据后经智能控制设备进行数据处理和数据分析，并得出检测结果，判断该产品是否合格。在上述过程中，通过5G工业CPE将工作过程所采集、处理和产生的数据上传至质量信息管理系统，以便于后续的产品质量优化。[0120] 如图1所示，一种移动式视觉检测方法，包括以下步骤：[0121] S1.获取用户定义区域三维坐标系和用户定义区域位置数据，所述用户定义区域位置数据包括移动区域坐标集和检测区域坐标集。在步骤S1中，用户定义区域三维坐标系是指工业控制过程中产线所使用的三维坐标系，用户定义区域位置数据则表示在用户定义区域三维坐标系下，为了生产特定产品而对产线进行适应性设计所搭建、定义出来的区域位置数据，具体包括移动区域坐标集和检测区域坐标集。其中，移动区域坐标集可理解为移动式视觉检测装置能够在产线上进行移动的范围，检测区域坐标集可理解为待进行外观检测时产品所放置区域。获取移动区域坐标集和检测区域坐标集后，即可掌握该产线的位置情况，以便进行移动和检测。[0122] S2.获取机械臂三维坐标系，根据用户定义区域三维坐标系和机械臂三维坐标系进行坐标系映射，获取用户定义区域三维坐标系和机械臂三维坐标系进行坐标系之间的坐标转换关系。机械臂本为一个独立系统，具备独立控制系统和坐标系。在步骤S2中，先获取预设的机械臂三维坐标系，再进一步基于用户定义区域三维坐标系和机械臂三维坐标系进行坐标系映射，从而获得二者之间的坐标转换关系。完成步骤S2后，即可通过用户定义区域三维坐标系上的具体坐标点，获知机械臂三维坐标系下的对应数据，这对于操作机械臂必不可少。[0123] S3.根据移动区域坐标集控制AVG移动设备运动，根据检测区域坐标集控制机械臂调整位置，控制图像数据采集设备采集实际图像样本数据，并对实际图像样本数据进行标注得到对应产品的实际外观数据、实际尺寸数据和实际缺陷数据。步骤S3的技术目的在于根据产线实际布局，控制AVG移动设备运动移动到特定区域，从而使得图像数据采集设备能够对准待检测产品，以便于进行实际图像样本数据采集，即对待检测产品进行拍照或者录像，得到实际图像样本数据。基于此，即可通过图像处理技术和产品的设计规格得到对应产品的实际外观数据、实际尺寸数据和实际缺陷数据，比如，得到待检测产品在外观上是否存在划痕凹槽、其长宽高的具体数据是多少、是否存在空焊崩角等缺陷等等。此步骤所针对的产品已经明确在外观检测上存在特定问题，因此通过实际外观数据、实际尺寸数据和实际缺陷数据可体现具体问题在产线上的实际呈现状态。需要说明的是，步骤S3并不是正常的检测步骤，而是在实施本技术方案前进行新产线适应，在检测前所进行的数据准备。[0124] S4.获取预先设置的理想图像样本数据，对理想图像样本数据进行标注得到对应产品的理想外观数据、理想尺寸数据和理想缺陷数据。在步骤S4中，所述理想图像样本数据可以理解为设计过程或者生产过程中挑选出来的最具代表性的图像，再基于此特定图形进行标注，得到对应产品的理想外观数据、理想尺寸数据和理想缺陷数据。步骤S4和步骤S3的区别在于数据来源不同，步骤S4针对的是挑选出来的最具代表性的产品，不管是外观、尺寸还是缺陷，都属于理想情况，非常容易辨别；步骤S3针对的开展小样本训练前挑选出来的产品，有些可能处于边缘状态难以判定、有些可能较容易判定。通过步骤S3和步骤S4进行训练样本采集，能够全面反映实际生产过程中所遇到的情况，样品数量越大、覆盖越全。[0125] S5.根据实际外观数据、实际尺寸数据、实际缺陷数据和理想外观数据、理想尺寸数据、理想缺陷数据进行小样本高精度训练，建立视觉检测参考数据库，所述视觉检测参考数据库包括外观参考数据、尺寸参考数据和缺陷参考数据。经过步骤S3和步骤S4的数据准备后，基于实际状态和理想状态两个层面的数据进行小样本高精度训练并建立视觉检测参考数据库，根据此视觉检测参考数据库可以调取外观参考数据、尺寸参考数据和缺陷参考数据，其中，外观参考数据对产品的外观是否合格给出量化判定区间，如某一侧面的划痕在3条及以下为可接受；尺寸参考数据对产品的尺寸是否合格给出量化判定区间，如产品厚度在3.20mm‑3.24mm为可接受；缺陷参考数据则对产品的缺陷情况给出量化判定区间，如崩裂纹长度在300um以下为可接受。总的来说，这是对在检测过程中所采集到的图像进行评判的数据量化标准。步骤S5以前，为视觉检测前期准备工作。[0126] S6.根据移动区域坐标集控制AVG移动设备运动，根据检测区域坐标集控制机械臂调整位置，控制图像数据采集设备进行实时产品质量检测，采集视觉检测实时数据，所述视觉检测实时数据包括外观实时数据、尺寸实时数据和缺陷实时数据。从步骤S6开始，进入视觉检测流程。相比于步骤S3，步骤S6是在实际生产检测过程中执行的，针对的也是装配完成的待检测产品，因此步骤S6所采集的数据为外观实时数据、尺寸实时数据和缺陷实时数据。[0127] S7.对比外观参考数据和外观实时数据得到外观检测数据、对比尺寸参考数据和尺寸实时数据得到尺寸检测数据，对比缺陷参考数据和缺陷实时数据得到缺陷检测数据，根据外观检测数据、尺寸检测数据和缺陷检测数据分析视觉检测结果，所述视觉检测结果为检测通过、检测不通过或者无法判断三者中的一个。在步骤S7中，通过步骤S6采集到的外观实时数据、尺寸实时数据和缺陷实时数据，再基于外观参考数据、尺寸参考数据和缺陷参考数据，即可判定某个待检测产品是否合格，如果符合要求则判定为检测通过、不符合要求则判定为检测不通过。当出现极端“压线”情况时则反馈无法判断，以提醒操作人员进行人工核查。[0128] S8.当视觉检测结果为无法判断时，输出人工辅助提示，并接收外部输入的人工检测结果，所述人工检测结果为检测通过、检测不通过或者无法判断三者中的一个。此步骤中，视觉检测结果除了包括检测通过和检测不通过以外，还包括“无法判断”，这是本技术方案的创新点之一，通过反馈“无法判断”，人工再根据此反馈介入核查，一方面可以最大程度筛除不良品，更重要的是，另一方面还要以为后续的自学习提供宝贵数据，下一次出现类型情况时，则可根据人工核查结果直接给出判定，基于此，检测样本越多、流程越完善、结果越可靠。[0129] S9.根据人工检测结果对所述视觉检测参考数据库进行自学习更新。在步骤S9中，自学习更新的目的在于将极端“压线”情况与人工核查结果进行绑定，以便于在后续生产检测过程中遇到类似情况，可以快速、准确给出相关判定。[0130] S10.控制5G工业CPE将检测结果传输到中心服务器。步骤S10的目的在于进行数据共享，将工作过程所采集、处理和产生的数据上传至质量信息管理系统，这对于大型生产线尤为重要，以便于后续的产品质量优化。[0131] 基于上述技术方案，根据移动区域坐标集和检测区域坐标集对AVG移动设备和机械臂进行控制，以将视觉检测装置整体移动到产线上对应位置，并调节机械臂的位姿，使得图像数据采集设备指向特定位置，采集到待检测产品的图像数据，从而实现移动式检测，再通过实际图像样本数据和理想图像样本数据训练得到视觉检测参考数据库，再根据视觉检测参考数据库对视觉检测实时数据进行分析即可对产品进行视觉检测，排查产品外观缺陷，并在检测完成后进行自学习更新，以便实现快速转配、快速适应，有效满足更高标准应用场景。[0132] 优选地，在步骤S2中，根据用户定义区域三维坐标系和机械臂三维坐标系进行坐标系映射，获取用户定义区域三维坐标系和机械臂三维坐标系进行坐标系之间的坐标转换关系具体包括：[0133] S201.确定用户定义区域三维坐标系的原点和坐标轴方向，获取用户定义区域的三维点云数据，将用户定义区域的三维点云数据转换为用户定义区域三维坐标系下的坐标值。在步骤S201中，根据用户定义区域三维坐标系的原点和坐标轴方向，将三维点云数据转化为对应坐标值。此步骤为数据转换的过程，为后续在两个坐标系之间建立映射关系做准备。[0134] S202.确定机械臂三维坐标系的原点和坐标轴方向，获取机械臂执行末端的坐标值，并将机械臂执行末端的坐标值转换为机械臂三维坐标系下的坐标值。在步骤S202中，根据机械臂三维坐标系的原点和坐标轴方向，获取机械臂执行末端的坐标值。步骤S202与步骤S201一样，同为数据转换的过程，为后续在两个坐标系之间建立映射关系做准备。[0135] S203.选取具有标识特征的标定点，获取标定点在用户定义区域三维坐标系下的坐标值（ ， ， ）和在机械臂三维坐标系下的坐标值（ ， ， ），并对用户定义区域三维坐标系下的坐标值（ ， ， ）和机械臂三维坐标系下的坐标值（ ， ， ）进行配对。在步骤S203中，所述具有标识特征，是指在用户定义区域三维坐标系和机械臂三维坐标系内都具有突出特征的点，如产线上的某个固定的点。分析获取标定点在用户定义区域三维坐标系下的坐标值和在机械臂三维坐标系下的坐标值后，在二者之间进行配对，即可基于配对后的坐标值进行映射关系分析。需要说明的是，在实施本技术方案过程中，标定点建议选取两个及以上，通过对同一标定点在不同坐标系上的坐标值进行一一配对，即可进一步分析两个坐标系之间的映射关系。[0136] S204.根据配对后的同一个标定点在用户定义区域三维坐标系下的坐标值（ ，， ）和在机械臂三维坐标系下的坐标值（ ， ， ），计算用户定义区域三维坐标系和机械臂三维坐标系进行坐标系之间的平移向量T；平移向量T描述机械臂三维坐标系坐标原点在户定义区域三维坐标系中的位置，其中：[0137] 。[0138] S205.根据配对后的同一个标定点在用户定义区域三维坐标系下的坐标值（ ，， ）和在机械臂三维坐标系下的坐标值（ ， ， ），计算用户定义区域三维坐标系和机械臂三维坐标系进行坐标系之间的旋转矩阵R，其中，以单位旋转矩阵I作为旋转矩阵R，则：[0139] 。[0140] S206.根据平移向量T和旋转矩阵R计算坐标转换矩阵M，其中：[0141] 。[0142] 在步骤S201‑步骤S206中，将同一标定点在不同坐标系中的坐标值进行配对后，依次分析得到平移向量T和旋转矩阵R，再根据平移向量T和旋转矩阵R进行得到坐标转换矩阵M，基于坐标转换矩阵M，当知道某个点在用户定义区域三维坐标系中的坐标值，即可对应获取该点在机械臂三维坐标系中的坐标值，反之亦可。[0143] 优选地，在步骤S5中，进行小样本高精度训练，建立视觉检测参考数据库具体包括：[0144] S501.基于深度卷积生成对抗网络构建GAN模型，配置GAN模型中的生成器和判别器；其中，生成器用于生成与真实样本相似的假样本，判别器用于区分输入样本是真实的还是生成的。在步骤S501中，通过生成器生成与真实样本相似的假样本，通过判别器用于区分输入样本是真实的还是生成的，因此，基于深度卷积生成对抗网络构建GAN模型，通过生成器和判别器，即可在样品数量不足的情况下进行小样本高精度训练，以此提高本技术方案在不同产线上的适用性。[0145] S502.基于实际外观数据、实际尺寸数据、实际缺陷数据和理想外观数据、理想尺寸数据、理想缺陷数据进行数据融合得到扩充数据集。步骤S502中，将实际外观数据、实际尺寸数据、实际缺陷数据和理想外观数据、理想尺寸数据、理想缺陷数据整合得到扩充数据集，分门别类对不同样本进行高效利用。[0146] S503.对扩充数据集通过图像旋转、图像翻转、图像缩放、图像平移进行数据增强，并对经过数据增强后的扩充数据集进行图像预处理，所述图像预处理具体包括图像清洗操作、特征标注操作和归一化操作。步骤S503的作用在于，通过数据增强强化样本中的特征，从而对样本数量较少的扩充数据集进行充分利用。[0147] S504.进行GAN模型训练，控制生成器基于图像预处理后扩充数据集生成假样本，控制判别器对生成器所生成的假样本进行鉴别并输出判断结果，进一步根据判别器的判断结果，对实际外观数据、实际尺寸数据、实际缺陷数据和理想外观数据、理想尺寸数据、理想缺陷数据进行特征分布分析，得到外观参考数据、尺寸参考数据和缺陷参考数据。[0148] 基于上述技术方案，能够有效在数据量较少的情况下进行训练，更好地从小样本数据中学习到数据的分布和特征，从而提高生成模型的效果。同时，可以在小样本数据上扩展数据集，并增加训练的多样性，从而提高模型的泛化能力，提升小样本训练成果。[0149] 优选地，在步骤S6中，根据移动区域坐标集控制AVG移动设备运动具体包括：[0150] S601.根据移动区域坐标集构建AVG移动地图，并基于AVG移动地图进行AVG路径规划，得到AVG规划路径。在步骤S601中，通过移动区域坐标集构建AVG移动地图，将产线实体数据化，基于数据化的AVG移动地图进行AVG路径规划，即可根据视觉检测要求得到AVG规划路径。[0151] S602.动态获取AVG移动设备的AVG实时坐标（ ， ）。可以理解的是，对AVG移动设备进行导航离不开AVG移动设备的实时位置，步骤S602的作用就在于获取AVG移动设备的实时位置。[0152] S603.将AVG移动设备的实时坐标匹配到AVG规划路径，获取规划路径点坐标（， ）。在步骤S603中，基于AVG实时坐标（ ， ），结合AVG规划路径，即可得知规划路径点坐标（ ， ），即AVG移动设备下一步所要前往的坐标点。[0153] S604.基于AVG实时坐标（ ， ）和规划路径点坐标（ ， ），计算二者距离d，其中：[0154] ；[0155] S605.遍历寻找最邻点 ，计算最邻点坐标（ ， ），其中：[0156] ；[0157] 具体地，n是AVG规划路径上点的数量。[0158] S606.根据AVG实时坐标（ ， ）和最邻点坐标（ ， ）生成AVG控制指令，根据AVG控制指令控制AVG移动设备运动。[0159] 基于上述技术方案，可以在实施视觉检测的过程中，将AVG移动设备在的路径分割成多个小片段，以AVG实时坐标（ ， ）为当前点位，以规划路径点坐标（ ， ）为下一步点位，控制AVG移动设备移动，以使得AVG移动设备能够精准到达预定位置。[0160] 优选地，在步骤S6中，根据检测区域坐标集控制机械臂调整位置具体包括：[0161] S611.根据检测区域坐标集分析机械臂末端路径。可以理解的是，检测区域是一个空间范围，机械臂的作用在于使得图像数据采集设备能够对准检测区域。步骤S611的作用在于通过检测区域坐标集，反向获取机械臂末端路径，即已知检测区域坐标集，计算出机械臂要到达的理想位置。[0162] S612.基于机械臂末端路径确定机械臂末端目标坐标（ ， ， ）和机械臂末端目标姿态。机械臂包括多个关节和末端，在本技术方案中，图像数据采集设备固定设置于末端上，因此机械臂末端的坐标和姿态对于图像数据采集设备的位置极为重要，步骤S612的作用在于通过机械臂要到达的理想位置，分析确定机械臂末端目标坐标（ ， ， ）和机械臂末端目标姿态，从而使得图像数据采集能够处于理想位置。[0163] S613.获取机械臂末端实时坐标（ ， ， ）和机械臂末端实时姿态。与一般的导航过程一样，需要基于实时位置和目标位置进行导航。步骤S612已经得到机械臂末端目标坐标（ ， ， ）和机械臂末端目标姿态，步骤613的目的在于获取机械臂末端实时坐标（ ， ， ）和机械臂末端实时姿态，以为机械臂导航提供数据基础。[0164] S614.基于机械臂末端目标坐标、机械臂末端目标姿态、机械臂末端实时坐标和机械臂末端实时姿态进行逆运动学计算，得到机械臂关节控制数据 ，其中，为关节角向量控制数据，IK为逆运动学函数， 为机械臂末端目标坐标， 为关节旋转矩阵，具体地： ， ，， ， 为Z轴目标数值，为机械臂中第一连接杆的长度， 为机械臂中第二连接杆的长度， 为机械臂中第一连接杆相对于Z轴的偏转角， 为机械臂中第二连接杆相对于Z轴的偏转角， 为绕Z轴旋转 角度的旋转矩阵， 为绕Z轴旋转 角度的旋转矩阵。机械臂是一个复杂的机械结构，涉及多个连接杆，且相邻连接杆之间通过关节连接，要将机械臂调整到理想位置和姿态，需要控制其中的关节。步骤S614的作用在于通过逆运动学计算，基于机械臂末端目标坐标、机械臂末端目标姿态、机械臂末端实时坐标和机械臂末端实时姿态分析得到机械臂关节控制数据。[0165] S615.根据关节角向量控制数据 控制机械臂调整位置。[0166] 基于上述技术方案，能够根据机械臂末端目标坐标、机械臂末端目标姿态、机械臂末端实时坐标和机械臂末端实时姿态分析得到机械臂的控制数据，并据此进一步控制机械臂上不同连接杆、关节运动，从而使得机械臂到达理想状态。[0167] 优选地，在步骤S9中，根据人工检测结果对所述视觉检测参考数据库进行自学习更新具体包括：[0168] S901.获取人工检测结果所对应的实际图像样本数据。只有当视觉检测结果为无法判断时，系统才会输出人工辅助提示，提醒操作人员介入，同时提供系统无法判断的实际图像样本数据，以便于人工进行观察检测。[0169] S902.对实际图像样本数据进行去噪预处理。步骤S902中的去噪预处理为图像处理领域的常用技术，旨在消除实际图像样本数据中可能对后续分析结果产生负面影响的噪点。[0170] S903.对经过去噪预处理实际图像样本数据进行特征提取，得到外观特征数据、尺寸特征数据和实际特征数据。[0171] S904.根据外观特征数据、尺寸特征数据和实际特征数据对视觉检测参考数据库进行算法优化，得到优化后的外观参考数据、尺寸参考数据和缺陷参考数据。[0172] 基于上述技术方案，当出现智能视觉检测无法判断时，人工介入检查，并在获取人工检测结果后对视觉检测参考数据库进行自学习更新，能够提高本技术方案的可靠性、适用性。[0173] 如图2所示，本技术方案还包括一种移动式视觉检测系统，所述系统包括位置数据获取模块1、坐标系映射模块2、第一样本采集模块3、第二样本采集模块4、数据库建立模块5、图像采集模块6、视觉检测模块7、辅助判断模块8、自学习模块9和数据传输模块10，其中：[0174] 位置数据获取模块1，用于获取用户定义区域三维坐标系和用户定义区域位置数据，所述用户定义区域位置数据包括移动区域坐标集和检测区域坐标集；[0175] 坐标系映射模块2，用于获取机械臂三维坐标系，根据用户定义区域三维坐标系和机械臂三维坐标系进行坐标系映射，获取用户定义区域三维坐标系和机械臂三维坐标系进行坐标系之间的坐标转换关系；[0176] 第一样本采集模块3，用于根据移动区域坐标集控制AVG移动设备运动，根据检测区域坐标集控制机械臂调整位置，控制图像数据采集设备采集实际图像样本数据，并对实际图像样本数据进行标注得到对应产品的实际外观数据、实际尺寸数据和实际缺陷数据；[0177] 第二样本采集模块4，用于获取预先设置的理想图像样本数据，对理想图像样本数据进行标注得到对应产品的理想外观数据、理想尺寸数据和理想缺陷数据；[0178] 数据库建立模块5，用于根据实际外观数据、实际尺寸数据、实际缺陷数据和理想外观数据、理想尺寸数据、理想缺陷数据进行小样本高精度训练，建立视觉检测参考数据库，所述视觉检测参考数据库包括外观参考数据、尺寸参考数据和缺陷参考数据；[0179] 图像采集模块6，用于根据移动区域坐标集控制AVG移动设备运动，根据检测区域坐标集控制机械臂调整位置，控制图像数据采集设备进行实时产品质量检测，采集视觉检测实时数据，所述视觉检测实时数据包括外观实时数据、尺寸实时数据和缺陷实时数据；[0180] 视觉检测模块7，用于对比外观参考数据和外观实时数据得到外观检测数据、对比尺寸参考数据和尺寸实时数据得到尺寸检测数据，对比缺陷参考数据和缺陷实时数据得到缺陷检测数据，根据外观检测数据、尺寸检测数据和缺陷检测数据分析视觉检测结果，所述视觉检测结果为检测通过、检测不通过或者无法判断三者中的一个；[0181] 辅助判断模块8，用于当视觉检测结果为无法判断时，输出人工辅助提示，并接收外部输入的人工检测结果，所述人工检测结果为检测通过、检测不通过或者无法判断三者中的一个；[0182] 自学习模块9，用于根据人工检测结果对所述视觉检测参考数据库进行自学习更新；[0183] 数据传输模块10，用于控制5G工业CPE将检测结果传输到中心服务器。[0184] 优选地，所述坐标系映射模块2具体包括：[0185] 第一坐标值转换单元，用于确定用户定义区域三维坐标系的原点和坐标轴方向，获取用户定义区域的三维点云数据，将用户定义区域的三维点云数据转换为用户定义区域三维坐标系下的坐标值；[0186] 第二坐标值转换单元，用于确定机械臂三维坐标系的原点和坐标轴方向，获取机械臂执行末端的坐标值，并将机械臂执行末端的坐标值转换为机械臂三维坐标系下的坐标值；[0187] 标定点配对单元，用于选取具有标识特征的标定点，获取标定点在用户定义区域三维坐标系下的坐标值（ ， ， ）和在机械臂三维坐标系下的坐标值（ ， ， ），并对用户定义区域三维坐标系下的坐标值（ ， ， ）和机械臂三维坐标系下的坐标值（， ， ）进行配对；[0188] 平移向量分析单元，用于根据配对后的同一个标定点在用户定义区域三维坐标系下的坐标值（ ， ， ）和在机械臂三维坐标系下的坐标值（ ， ， ），计算用户定义区域三维坐标系和机械臂三维坐标系进行坐标系之间的平移向量T；平移向量T描述机械臂三维坐标系坐标原点在户定义区域三维坐标系中的位置，其中：[0189] ；[0190] 旋转矩阵计算单元，用于根据配对后的同一个标定点在用户定义区域三维坐标系下的坐标值（ ， ， ）和在机械臂三维坐标系下的坐标值（ ， ， ），计算用户定义区域三维坐标系和机械臂三维坐标系进行坐标系之间的旋转矩阵R，其中，以单位旋转矩阵I作为旋转矩阵R，则：[0191] ；[0192] 转换矩阵分析单元，用于根据平移向量T和旋转矩阵R计算坐标转换矩阵M，其中：[0193] 。[0194] 优选地，所述数据库建立模块5具体包括：[0195] 模型构建单元，用于基于深度卷积生成对抗网络构建GAN模型，配置GAN模型中的生成器和判别器；其中，生成器用于生成与真实样本相似的假样本，判别器用于区分输入样本是真实的还是生成的；[0196] 数据融合单元，用于基于实际外观数据、实际尺寸数据、实际缺陷数据和理想外观数据、理想尺寸数据、理想缺陷数据进行数据融合得到扩充数据集；[0197] 图像预处理单元，用于对扩充数据集通过图像旋转、图像翻转、图像缩放、图像平移进行数据增强，并对经过数据增强后的扩充数据集进行图像预处理，所述图像预处理具体包括图像清洗操作、特征标注操作和归一化操作；[0198] 模型训练单元，用于进行GAN模型训练，控制生成器基于图像预处理后扩充数据集生成假样本，控制判别器对生成器所生成的假样本进行鉴别并输出判断结果，进一步根据判别器的判断结果，对实际外观数据、实际尺寸数据、实际缺陷数据和理想外观数据、理想尺寸数据、理想缺陷数据进行特征分布分析，得到外观参考数据、尺寸参考数据和缺陷参考数据；[0199] 所述自学习模块9具体包括：[0200] 人工检测结果获取单元，用于获取人工检测结果所对应的实际图像样本数据；[0201] 预处理单元，用于对实际图像样本数据进行去噪预处理；[0202] 特征提取单元，用于对经过去噪预处理实际图像样本数据进行特征提取，得到外观特征数据、尺寸特征数据和实际特征数据；[0203] 算法优化单元，用于根据外观特征数据、尺寸特征数据和实际特征数据对视觉检测参考数据库进行算法优化，得到优化后的外观参考数据、尺寸参考数据和缺陷参考数据。[0204] 优选地，所述图像采集模块6包括AVG控制模组和机械臂控制模组：[0205] 所述AVG控制模组具体包括：[0206] AVG地图构建单元，用于根据移动区域坐标集构建AVG移动地图，并基于AVG移动地图进行AVG路径规划，得到AVG规划路径；[0207] AVG定位单元，用于动态获取AVG移动设备的AVG实时坐标（ ， ）；[0208] AVG路径规划单元，用于将AVG移动设备的实时坐标匹配到AVG规划路径，获取规划路径点坐标（ ， ）；[0209] 距离计算单元，用于基于AVG实时坐标（ ， ）和规划路径点坐标（ ， ），计算二者距离d，其中：[0210] ；[0211] 最邻点分析单元，用于遍历寻找最邻点 ，计算最邻点坐标（ ， ），其中：[0212] ；[0213] 具体地，n是AVG规划路径上点的数量；[0214] AVG驱动单元，用于根据AVG实时坐标（ ， ）和最邻点坐标（ ， ）生成AVG控制指令，根据AVG控制指令控制AVG移动设备运动；[0215] 机械臂控制模组具体包括：[0216] 机械臂路径分析单元，用于根据检测区域坐标集分析机械臂末端路径；[0217] 末端目标位姿分析单元，用于基于机械臂末端路径确定机械臂末端目标坐标（， ， ）和机械臂末端目标姿态；[0218] 逆运动学分析单元，用于基于机械臂末端目标坐标、机械臂末端目标姿态、机械臂末端实时坐标和机械臂末端实时姿态进行逆运动学计算，得到机械臂关节控制数据，其中， 为关节角向量控制数据，IK为逆运动学函数， 为机械臂末端目标坐标， 为关节旋转矩阵，具体地： ，， ，， 为Z轴目标数值，为机械臂中第一连接杆的长度， 为机械臂中第二连接杆的长度，为机械臂中第一连接杆相对于Z轴的偏转角， 为机械臂中第二连接杆相对于Z轴的偏转角， 为绕Z轴旋转 角度的旋转矩阵， 为绕Z轴旋转 角度的旋转矩阵；[0219] 机械臂驱动单元，用于根据关节角向量控制数据 控制机械臂调整位置。[0220] 对应地，本技术方案还包括一种存储介质，所述存储介质存储有计算机程序，所述的计算机程序包括程序指令，当所述程序指令被处理器执行时，处理器执行如上所述的移动式视觉检测方法。[0221] 应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

专利地区：广东

专利申请日期：2024-05-14

专利公开日期：2024-09-03

专利公告号：CN118190953B