专利名称:扫描处理方法、装置、扫描设备及存储介质
专利类型:实用新型专利
专利申请号:CN202410901843.2
专利申请(专利权)人:先临三维科技股份有限公司
权利人地址:浙江省杭州市萧山区闻堰街道湘滨路1398号
专利发明(设计)人:李仁举,王森,赵晓波,江腾飞,居冰峰,王文斌,朱吴乐,孙安玉,黄磊杰,李洲强,张健
专利摘要:本申请实施例提供一种扫描处理方法、装置、扫描设备及存储介质,方法包括:利用至少两个拍摄装置在第一时刻采集预设标尺的图像序列,得到多组同步图像;确定预设的标志点对应的像点坐标,并基于预设标定数据与像点坐标,重建得到预设的标志点对应的三维坐标;根据多组同步图像对应的三维坐标,确定预设标尺在第一时刻对应的第一标尺长度;基于至少两个拍摄装置在第二时刻采集的预设标尺的图像序列,确定预设标尺在第二时刻对应的第二标尺长度;基于至少两个拍摄装置在第一时刻第一平移向量、第一标尺长度及所述第二标尺长度,确定第二平移向量,并根据第二平移向量控制扫描设备对目标对象进行扫描。利用本申请,能够提高三维扫描的效果。
主权利要求:
1.一种扫描处理方法,应用于扫描设备,其特征在于,所述扫描设备包括至少两个拍摄装置,所述扫描处理方法包括:利用所述至少两个拍摄装置在第一时刻采集预设标尺的图像序列,得到多组同步图像,所述预设标尺的端部包括预设的标志点;
在每组同步图像中,确定所述预设的标志点对应的像点坐标,并基于预设标定数据与所述像点坐标,重建得到所述预设的标志点对应的三维坐标;
根据所述多组同步图像对应的三维坐标,确定所述预设标尺在所述第一时刻对应的第一标尺长度;
基于所述至少两个拍摄装置在第二时刻采集的所述预设标尺的图像序列,确定所述预设标尺在所述第二时刻对应的第二标尺长度;
基于所述至少两个拍摄装置在所述第一时刻对应的第一平移向量、所述第一标尺长度及所述第二标尺长度,确定第二平移向量,包括:根据所述第一标尺长度与所述第二标尺长度,确定温度补偿系数;根据所述温度补偿系数调整所述第一平移向量,得到所述第二平移向量;
根据所述第二平移向量控制所述扫描设备对目标对象进行扫描。
2.如权利要求1所述的扫描处理方法,其特征在于,所述至少两个拍摄装置包括第一拍摄装置与第二拍摄装置,所述利用所述至少两个拍摄装置在第一时刻采集预设标尺的图像序列,得到多组同步图像,包括:利用所述第一拍摄装置在所述第一时刻采集所述预设标尺的多帧第一图像,得到第一图像序列,及利用所述第二拍摄装置在所述第一时刻采集所述预设标尺的多帧第二图像,得到第二图像序列;
确定每个第一图像对应的第一帧信息以及每个第二图像对应的第二帧信息;
选取第一帧信息与第二帧信息相同的第一图像与第二图像组成一组同步图像,得到多组同步图像。
3.如权利要求2所述的扫描处理方法,其特征在于,所述确定所述预设的标志点对应的像点坐标,包括:在每组同步图像中,确定所述预设的标志点在所述第一图像中对应的第一像点,及确定所述预设的标志点在所述第二图像中对应的第二像点;
确定所述第一像点在所述第一图像中的第一像点坐标,及所述第二像点在所述第二图像中的第二像点坐标;
将所述第一像点坐标与所述第二像点坐标作为所述预设的标志点对应的所述像点坐标。
4.如权利要求3所述的扫描处理方法,其特征在于,所述基于预设标定数据与所述像点坐标,重建得到所述预设的标志点对应的三维坐标,包括:根据所述预设标定数据确定所述至少两个拍摄装置的内参矩阵与外参矩阵;
根据所述内参矩阵、所述外参矩阵与所述像点坐标,确定所述预设的标志点对应的三维坐标。
5.如权利要求1所述的扫描处理方法,其特征在于,所述根据所述多组同步图像对应的三维坐标,确定所述预设标尺在所述第一时刻对应的第一标尺长度,包括:在所述每组同步图像中,根据所述三维坐标确定所述预设标尺对应的标尺长度;
根据多个标尺长度确定所述第一标尺长度。
6.如权利要求4所述的扫描处理方法,其特征在于,所述方法还包括:解析所述外参矩阵,得到所述至少两个拍摄装置的平移向量,作为所述至少两个拍摄装置在所述第一时刻对应的所述第一平移向量。
7.一种扫描处理装置,应用于扫描设备,其特征在于,所述扫描设备包括至少两个拍摄装置,所述扫描处理装置包括:同步图像采集模块,用于利用所述至少两个拍摄装置在第一时刻采集预设标尺的图像序列,得到多组同步图像,所述预设标尺的端部包括预设的标志点;
三维坐标重建模块,用于在每组同步图像中,确定所述预设的标志点对应的像点坐标,并基于预设标定数据与所述像点坐标,重建得到所述预设的标志点对应的三维坐标;
第一长度确定模块,用于根据所述多组同步图像对应的三维坐标,确定所述预设标尺在所述第一时刻对应的第一标尺长度;
第二长度确定模块,用于基于所述至少两个拍摄装置在第二时刻采集的所述预设标尺的图像序列,确定所述预设标尺在所述第二时刻对应的第二标尺长度;
第二向量确定模块,用于基于所述至少两个拍摄装置在所述第一时刻对应的第一平移向量、所述第一标尺长度及所述第二标尺长度,确定第二平移向量,包括:根据所述第一标尺长度与所述第二标尺长度,确定温度补偿系数;根据所述温度补偿系数调整所述第一平移向量,得到所述第二平移向量;
所述第二向量确定模块,还用于根据所述第二平移向量控制所述扫描设备对目标对象进行扫描。
8.一种扫描设备,其特征在于,包括:处理器和存储器,其中,所述存储器中存储有计算机程序,当所述计算机程序被所述处理器执行时,所述处理器执行权利要求1‑6中任一项所述的扫描处理方法。
9.一种计算机可读存储介质,其特征在于,所述存储介质中存储有计算机程序,当所述计算机程序被处理器执行时,实现如权利要求1‑6中任一项所述的扫描处理方法。 说明书 : 扫描处理方法、装置、扫描设备及存储介质技术领域[0001] 本申请属于三维扫描技术领域,尤其涉及一种扫描处理方法、装置、扫描设备及存储介质。背景技术[0002] 三维扫描技术是计算机视觉技术、图形图像处理领域中一个重要的研究方向,其在自动驾驶、机器人自主导航、文物保护、建筑设计、临床医疗等方面有着广泛的应用前景。然而,受环境温度的影响,三维扫描仪中横梁的长度会发生变化,导致之前标定的外参与实时测量时的外参产生偏差,影响三维扫描质量。因此,有必要对三维扫描仪进行温度补偿。[0003] 相关技术中,根据环境温度对三维扫描仪进行温度补偿,以减小测量误差。然而,上述方法受限于环境温度采集的准确性,温度补偿效果较差,导致三维扫描的效果较差。发明内容[0004] 本申请实施例提供了一种扫描处理方法、装置、扫描设备及存储介质,以解决由于温度补偿效果较差导致三维扫描的效果较差的问题。[0005] 第一方面,本申请实施例提供一种扫描处理方法,应用于扫描设备,所述扫描设备包括至少两个拍摄装置,所述扫描处理方法包括:利用所述至少两个拍摄装置在第一时刻采集预设标尺的图像序列,得到多组同步图像,所述预设标尺的端部包括预设的标志点;在每组同步图像中,确定所述预设的标志点对应的像点坐标,并基于预设标定数据与所述像点坐标,重建得到所述预设的标志点对应的三维坐标;根据所述多组同步图像对应的三维坐标,确定所述预设标尺在所述第一时刻对应的第一标尺长度;基于所述至少两个拍摄装置在第二时刻采集的所述预设标尺的图像序列,确定所述预设标尺在所述第二时刻对应的第二标尺长度;基于所述至少两个拍摄装置在所述第一时刻对应的第一平移向量、所述第一标尺长度及所述第二标尺长度,确定第二平移向量,并根据所述第二平移向量控制所述扫描设备对目标对象进行扫描。[0006] 进一步地,在本申请实施例提供的上述扫描处理方法中,所述至少两个拍摄装置包括第一拍摄装置与第二拍摄装置,所述利用所述至少两个拍摄装置在第一时刻采集预设标尺的图像序列,得到多组同步图像,包括:利用所述第一拍摄装置在所述第一时刻采集所述预设标尺的多帧第一图像,得到第一图像序列,及利用所述第二拍摄装置在所述第一时刻采集所述预设标尺的多帧第二图像,得到第二图像序列;确定每个第一图像对应的第一帧信息以及每个第二图像对应的第二帧信息;选取第一帧信息与第二帧信息相同的第一图像与第二图像组成一组同步图像,得到多组同步图像。[0007] 进一步地,在本申请实施例提供的上述扫描处理方法中,所述确定所述预设的标志点对应的像点坐标,包括:在每组同步图像中,确定所述预设的标志点在所述第一图像中对应的第一像点,及确定所述预设的标志点在所述第二图像中对应的第二像点;确定所述第一像点在所述第一图像中的第一像点坐标,及所述第二像点在所述第二图像中的第二像点坐标;将所述第一像点坐标与所述第二像点坐标作为所述预设的标志点对应的所述像点坐标。[0008] 进一步地,在本申请实施例提供的上述扫描处理方法中,所述基于预设标定数据与所述像点坐标,重建得到所述预设的标志点对应的三维坐标,包括:根据所述预设标定数据确定所述至少两个拍摄装置的内参矩阵与外参矩阵;根据所述内参矩阵、所述外参矩阵与所述像点坐标,确定所述预设的标志点对应的三维坐标。[0009] 进一步地,在本申请实施例提供的上述扫描处理方法中,所述根据所述多组同步图像对应的三维坐标,确定所述预设标尺在所述第一时刻对应的第一标尺长度,包括:在所述每组同步图像中,根据所述三维坐标确定所述预设标尺对应的标尺长度;根据多个标尺长度确定所述第一标尺长度。[0010] 进一步地,在本申请实施例提供的上述扫描处理方法中,所述方法还包括:解析所述外参矩阵,得到所述至少两个拍摄装置的平移向量,作为所述至少两个拍摄装置在所述第一时刻对应的所述第一平移向量。[0011] 进一步地,在本申请实施例提供的上述扫描处理方法中,所述基于所述至少两个拍摄装置在所述第一时刻对应的第一平移向量、所述第一标尺长度及所述第二标尺长度,确定第二平移向量,包括:根据所述第一标尺长度与所述第二标尺长度,确定温度补偿系数;根据所述温度补偿系数调整所述第一平移向量,得到所述第二平移向量。[0012] 第二方面,本申请实施例提供一种扫描处理装置,应用于扫描设备,所述扫描设备包括至少两个拍摄装置,所述扫描处理装置包括:同步图像采集模块,用于利用所述至少两个拍摄装置在第一时刻采集预设标尺的图像序列,得到多组同步图像,所述预设标尺的端部包括预设的标志点;三维坐标重建模块,用于在每组同步图像中,确定所述预设的标志点对应的像点坐标,并基于预设标定数据与所述像点坐标,重建得到所述预设的标志点对应的三维坐标;第一长度确定模块,用于根据所述多组同步图像对应的三维坐标,确定所述预设标尺在所述第一时刻对应的第一标尺长度;第二长度确定模块,用于基于所述至少两个拍摄装置在第二时刻采集的所述预设标尺的图像序列,确定所述预设标尺在所述第二时刻对应的第二标尺长度;第二向量确定模块,用于基于所述至少两个拍摄装置在所述第一时刻对应的第一平移向量、所述第一标尺长度及所述第二标尺长度,确定第二平移向量,并根据所述第二平移向量控制所述扫描设备对目标对象进行扫描。[0013] 第三方面,本申请实施例还提供一种扫描设备,包括:处理器和存储器,其中,所述存储器中存储有计算机程序,当所述计算机程序被所述处理器执行时,所述处理器执行上述任一项所述的扫描处理方法。[0014] 第四方面,本申请实施例还提供一种计算机可读存储介质,所述存储介质中存储有计算机程序,当所述计算机程序被处理器执行时,实现上述任一项所述的扫描处理方法。[0015] 本申请实施例提供的扫描处理方法,利用所述至少两个拍摄装置在第一时刻采集预设标尺的图像序列,得到多组同步图像,所述预设标尺的端部包括预设的标志点;在每组同步图像中,确定所述预设的标志点对应的像点坐标,并基于预设标定数据与所述像点坐标,重建得到所述预设的标志点对应的三维坐标;根据所述多组同步图像对应的三维坐标,确定所述预设标尺在所述第一时刻对应的第一标尺长度;基于所述至少两个拍摄装置在第二时刻采集的所述预设标尺的图像序列,确定所述预设标尺在第二时刻对应的第二标尺长度;基于所述至少两个拍摄装置在所述第一时刻对应的第一平移向量、所述第一标尺长度及所述第二标尺长度,确定第二平移向量,并根据所述第二平移向量控制所述扫描设备对目标对象进行扫描。上述方法通过重建预设标尺在第一时刻的第一标尺长度以及在第二时刻的第二标尺长度,根据第一标尺长度与第二标尺长度实时调整扫描设备中至少两个拍摄装置的平移向量,能够在不依赖温度与标尺位置的情况下,补偿不同时刻的温度变化对平移向量的影响,能够提高温度补偿的准确性,从而提高三维扫描的效果。附图说明[0016] 为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。[0017] 图1是本申请实施例提供的扫描处理方法的应用场景示意图。[0018] 图2是本申请实施例提供的扫描处理方法的示意性流程图。[0019] 图3是本申请实施例提供的图像序列的采集方法流程图。[0020] 图4是本申请实施例提供的像点坐标的确定方法流程图。[0021] 图5是本申请实施例提供的三维坐标的确定方法流程图。[0022] 图6是本申请实施例提供的第一标尺长度的确定方法流程图。[0023] 图7是本申请实施例提供的第二平移向量的确定方法流程图。[0024] 图8是本申请实施例提供的扫描处理装置的结构示意图。[0025] 图9是本申请实施例提供的扫描处理方法的应用设备图。具体实施方式[0026] 下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。[0027] 以下,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请实施例的描述中,“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言,使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。[0028] 除非另有定义,本文所使用的所有的技术和科学术语与属于本申请中的技术领域的技术人员通常理解的含义相同。本申请的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本申请。应理解,本申请中除非另有说明,“至少一个”是指一个或者多个。“多个”是指两个或多于两个。例如,a、b或c中的至少一个,可以表示:a,b,c,a和b,a和c,b和c,a、b和c七种情况。[0029] 下面对本申请实施例中出现的部分术语进行解释。[0030] 外参,包括旋转矩阵和平移向量,用于定义相机坐标系相对于世界坐标系的变换关系,外参的准确性直接决定了从图像数据到实际物理世界的映射精度。[0031] 内参,是一组描述扫描设备内部属性的参数,它们对于准确解释扫描数据至关重要。参数通常包括焦距、主点(光学中心)坐标以及畸变系数等。[0032] 双目扫描仪,双目扫描仪使用两个摄像装置来捕捉物体的图像。这两个摄像装置从略微不同的角度捕获同一物体的图像,通过比较这两幅图像之间的差异(即视差),可以计算出物体的深度信息,从而获得物体的三维数据。[0033] 多目扫描仪,多目扫描仪通过同步多个摄像头的数据,结合高级算法处理更复杂的视觉场景。它能够从多个角度同时获取数据,极大地提升了扫描的完整性和细节的丰富性。[0034] 跟踪仪,又称跟踪式三维扫描设备,是一种利用光学跟踪技术实时定位扫描头的空间位置的高精度三维数据获取工具。跟踪仪使用蓝色激光,能够处理黑亮表面材质的扫描,无需喷粉即可快速完成扫描任务。[0035] 标尺,用于校准和验证扫描仪的测量精度,通过使用标尺,能够精确地确定扫描仪在空间中的定位和方向,从而保证其测量结果的准确性与可靠性。[0036] 扫描技术是计算机视觉技术、图形图像处理领域中一个重要的研究方向,其在自动驾驶、机器人自主导航、文物保护、建筑设计、临床医疗等方面有着广泛的应用前景。在扫描设备中,横梁是扫描设备的关键组件,用于支撑和固定摄像装置和其他重要元件。然而,受环境温度的影响,扫描设备中横梁的长度会发生变化,摄像装置的外参也会随之发生变化,导致之前标定的外参并不适用于当前的摄像装置,使得扫描设备的扫描精度降低。因此,有必要在温度变化时,对扫描设备的外参进行实时温度补偿,从而降低温度变化对扫描精度的影响。[0037] 相关技术中,根据环境温度对扫描设备进行温度补偿,以减小测量误差。例如,将预设标尺放置于扫描设备的视场内,预设标尺用于对扫描设备中拍摄装置的外参进行标定。通过扫描设备实时重建的标尺长度与标尺的基准长度进行比较,得到扫描设备中拍摄装置的外参补偿量,并根据外参补偿量对拍摄装置的外参进行补偿。[0038] 然而,在上述补偿方法中,需要对环境温度进行测量,之后根据标尺材料的热膨胀系数计算预设标尺在当前温度下的基准长度,而环境温度与扫描设备的内部温度变化并不一致;且环境内的温度分布不一定是均匀的,扫描设备所处位置的环境温度变化与预设标尺所处位置的环境温度变化并不一致,如此,上述方法受限于环境温度采集的准确性,温度补偿效果较差。此外,由于摄像装置的镜头存在畸变,若将预设标尺放置在扫描设备视场内的不同位置,则扫描设备重建的标尺长度可能存在差异,如此,在将扫描设备重建的标尺长度与标尺的基准长度进行比较时,外参补偿量会随着预设标尺的放置位置不同产生差异。综上所述,相关技术在对扫描设备进行温度补偿时,受限于环境温度测量与标尺放置位置,温度补偿效果较差,导致三维扫描的效果较差。[0039] 鉴于上述问题,有必要提供一种扫描处理方法,能够在不依赖温度与标尺位置的情况下,补偿不同时刻的温度变化对扫描设备的影响,能够提高温度补偿的准确性,从而提高三维扫描的效果。[0040] 图1是本申请实施例提供的扫描处理方法的应用场景示意图。如图1所示,扫描处理方法的应用场景中包含预设标尺10与扫描设备20,预设标尺10选用热膨胀系数小的材料,例如,预设标尺10可以为碳纤维标尺,在此不做限制。扫描设备20可以是指任意一种具有图像处理能力和计算能力的摄影测量设备,例如,扫描设备20可以是双目扫描仪、多目扫描仪以及跟踪仪等,在此不做限制,本申请以扫描设备20为双目扫描仪为例进行说明。双目扫描仪包括2个摄像装置,摄像装置用于采集图像,2个摄像装置的位置关系可以根据实际需求设置,在此不做限制。[0041] 在一些实施例中,在扫描处理方法的应用场景中,将预设标尺10放置于扫描设备20的视场内,使得扫描设备20中的每个摄像装置能够采集到完整的标尺图像。扫描设备20采集预设标尺10在不同时刻的多组同步图像,并根据多组同步图像重建预设标尺10在不同时刻的标尺长度;之后根据预设标尺10在不同时刻重建的标尺长度的变化,得到温度补偿系数,并根据温度补偿系数对扫描设备20进行温度补偿。[0042] 在上述应用场景中,通过扫描设备与预设标尺两个设备完成对扫描设备的温度补偿,避免引入其他测量元件(例如,温度传感器),能够降低设备成本。[0043] 本申请将在下文通过具体实施例对本申请的技术方案进行详细说明。需要说明的是,下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。[0044] 在本申请的至少一实施例中,扫描设备的外参包括旋转矩阵和平移向量,其中,旋转矩阵用于标识扫描设备中摄像装置之间的角度关系,平移向量用于标识摄像装置之间的直线位移。环境温度变化对扫描设备的影响主要体现在对摄像装置之间的平移向量的影响,对摄像装置之间的角度关系以及摄像装置的内参影响较小。因此,本申请对摄像装置之间的平移向量进行实时调整,能够补偿环境温度对扫描设备的影响,提高扫描处理的效果。图2是本申请实施例提供的扫描处理方法的示意性流程图。如图2所示,扫描处理方法应用于扫描设备,包括如下步骤:[0045] S11,利用所述至少两个拍摄装置在第一时刻采集预设标尺的图像序列,得到多组同步图像,所述预设标尺的端部包括预设的标志点。[0046] 在本申请的至少一实施例中,扫描设备中的拍摄装置可以为2个,也可以为2个以上,本申请实施例以拍摄装置的数量为2个为例,例如,扫描设备包括第一拍摄装置与第二拍摄装置。将预设标尺放置于至少两个拍摄装置的视场内,使得任意一个拍摄装置能够采集到完整的预设标尺的图像。在一些实施例中,利用所述至少两个拍摄装置在第一时刻同步采集多帧预设标尺的完整图像,得到图像序列。承接上述实施例,利用第一拍摄装置与第二拍摄装置在第一时刻同步采集多帧预设标尺的完整图像,得到图像序列。其中,采集的帧数量可以根据拍摄装置的帧率确定,例如,帧数量可以为50帧、60帧、70帧等。在一些实施例中,将第一拍摄装置与第二拍摄装置拍摄的同一帧完整图像作为一组同步图像,如此,能够得到多组同步图像。在一些实施例中,扫描设备的至少两个拍摄装置可以实时对预设标尺进行实时同步拍摄,得到多组同步图像,也可以按照预设时间间隔对预设标尺进行同步拍摄,得到多组同步图像,其中,预设时间间隔可以根据实际需求设置,例如,预设时间间隔可以为2秒、5秒等。[0047] 在本申请的至少一实施例中,预设标尺的端部上设有预设的标志点,标志点可以是指通过主动发光的形式或者采用回光反射材料制作成的具有标示作用的图形(例如,标志点可以是具有特定尺寸的圆点,但不局限于圆点)。不同的标志点可以具有不同的特征,例如直径,颜色等,但不局限于直径和颜色。在一些实施例中,预设标尺包括2个端部,分别为第一端部与第二端部,其中,第一端部上设有预设的标志点,记作第一标志点,第二端部上设有预设的标志点,记作第二标志点。每个端部预设的标志点的数量可以为1个,也可以为多个,在此不做限制。[0048] S12,在每组同步图像中,确定所述预设的标志点对应的像点坐标,并基于预设标定数据与所述像点坐标,重建得到所述预设的标志点对应的三维坐标。[0049] 在本申请的至少一实施例中,在每组同步图像中,每个预设的标志点在第一拍摄装置拍摄的图像(本申请实施例称作“第一图像”)与第二拍摄装置拍摄的图像(本申请实施例称作“第二图像”)中均有出现。将预设的标志点投影在第一图像中的点称作第一像点,将该预设的标志点投影在第二图像中的点称作第二像点,分别确定第一像点与第二像点的像点坐标作为所述预设的标志点对应的像点坐标。[0050] 在本申请的至少一实施例中,预设标定数据可以是利用预设标尺对扫描设备中至少两个拍摄装置的内参与外参进行标定得到的数据。预设标定数据可以包括每个拍摄装置的内参以及拍摄装置之间的外参,其中,内参可以包括焦距、光心坐标以及畸变系数,外参可以包括旋转矩阵和平移向量。在一些实施例中,基于预设标定数据与像点坐标,利用极线匹配的方法,能够重建得到像点坐标对应标志点的三维坐标。在一些实施例中,三维坐标可以是指标志点在世界坐标系下的坐标,其中世界坐标系可以理解为,为了描述拍摄装置和目标对象在三维空间中的位置关系,而在三维空间中建立的一个坐标系,该坐标系可以用OwXwYwZw来标记,Ow为坐标系原点、Xw为坐标系的x轴分量,Yw为坐标系的y轴分量,Zw为坐标系的z轴分量。世界坐标系的原点可根据实际需要来设定。可用(Xw,Yw,Zw)来标记三维空间中标志点的坐标(本申请实施例称作“三维坐标”)。[0051] S13,根据所述多组同步图像对应的三维坐标,确定所述预设标尺在所述第一时刻对应的第一标尺长度。[0052] 在本申请的至少一实施例中,第一标尺长度是指预设标尺在第一时刻重建得到的长度,第一标尺长度可以根据预设标尺在两个端部的标志点对应重建的三维坐标得到。承接上述实施例,预设标尺包括2个端部,分别为第一端部与第二端部,其中,第一端部上设有第一标志点,第二端部上设有第二标志点。在每组同步图像中,确定第一标志点对应的第一三维坐标与第二标志点对应的第二三维坐标;根据所述第一三维坐标与所述第二三维坐标重建得到标尺长度;之后将多组同步图像对应的标尺长度进行相关处理,得到第一标尺长度。[0053] S14,基于所述至少两个拍摄装置在第二时刻采集的所述预设标尺的图像序列,确定所述预设标尺在第二时刻对应的第二标尺长度。[0054] 在本申请的至少一实施例中,第二时刻可以是扫描设备扫描目标对象的第i帧图像的时刻,i为大于1的自然数。承接上述实施例,扫描设备的至少两个拍摄装置可以实时对预设标尺进行实时同步拍摄,得到多组同步图像,也可以按照预设时间间隔对预设标尺进行同步拍摄,得到多组同步图像。如此,本申请的多组同步图像是不断产生的,且多组同步图像均存在对应的时间戳,该时间戳用于表示图像采集时刻。在一些实施例中,从多组同步图像的时间戳中选取与第二时刻最接近的同步图像(本申请称作“变更后的同步图像”),之后基于多组变更后的同步图像与预设标定数据,利用上述步骤S11‑步骤S13描述的内容,得到预设标尺在第二时刻对应的第二标尺长度。[0055] S15,基于所述至少两个拍摄装置在所述第一时刻对应的第一平移向量、所述第一标尺长度及所述第二标尺长度,确定第二平移向量,并根据所述第二平移向量控制所述扫描设备对目标对象进行扫描。[0056] 在本申请的至少一实施例中,第一平移向量是指第一拍摄装置与第二拍摄装置在第一时刻的直线位移。第一时刻可以是指扫描设备开始对目标对象进行扫描的时刻,目标对象可以是汽车、机械部件等。由于预设标尺的热膨胀系数小,预设标尺的长度受环境温度影响较小,可以忽略。而环境温度会影响到扫描设备中至少两个拍摄装置间的平移向量,如此,利用至少两个拍摄装置在不同时刻采集预设标尺的多组同步图像,并基于多组同步图像重建预设标尺在不同时刻的标尺长度,例如,在第一时刻重建预设标尺的标尺长度为第一标尺长度,在第二时刻重建预设标尺的标尺长度为第二标尺长度。根据第一标尺长度与第二标尺长度能够确定重建的预设标尺在不同时刻的长度变化信息,从而得到至少两个拍摄装置间平移向量受环境温度的影响信息。考虑预设标尺的长度与扫描设备的平移向量成正比关系,如此,根据第一标尺长度与第二标尺长度确定温度补偿系数,之后根据温度补偿系数对扫描设备的第一平移向量进行温度补偿,得到扫描设备在第二时刻对应的第二平移向量。[0057] 本申请实施例提供的上述扫描处理方法,根据预设标尺的第一标尺长度与第二标尺长度实时调整扫描设备中至少两个拍摄装置的平移向量,能够在不依赖温度与标尺位置的情况下,补偿不同时刻的温度变化对平移向量的影响,能够提高温度补偿的准确性,从而提高三维扫描的效果。[0058] 在本申请的至少一实施例中,将预设标尺放置于至少两个拍摄装置的视场内,使得任意一个拍摄装置能够采集到完整的预设标尺的图像,之后利用至少两个拍摄装置在同一时刻同步采集预设标尺的多帧图像,得到图像序列。图3是本申请实施例提供的图像序列的采集方法流程图,图像序列的采集方法应用于扫描设备。如图3所示,包括如下步骤:[0059] S21,利用所述第一拍摄装置在所述第一时刻采集所述预设标尺的多帧第一图像,得到第一图像序列,及利用所述第二拍摄装置在所述第一时刻采集所述预设标尺的多帧第二图像,得到第二图像序列。[0060] 在本申请的至少一实施例中,第一拍摄装置与第二拍摄装置在同一触发信号下同一时间对预设标尺采集多帧图像,将第一拍摄装置采集到的多帧的第一图像组成第一图像序列,将第二拍摄装置采集到的多帧第二图像组成第二图像序列。其中,采集的帧数量可以根据拍摄装置的帧率确定,例如,帧数量可以为50帧、60帧、70帧等。[0061] S22,确定每个第一图像对应的第一帧信息以及每个第二图像对应的第二帧信息。[0062] 在本申请的至少一实施例中,第一图像序列中的每个第一图像均存在对应的第一帧信息,第一帧信息表示第一图像被采集时对应的帧数,例如,在第一帧信息为1帧时,表示第一图像在第1帧被采集;在第一帧信息为2帧时,表示第一图像在第2帧被采集。第二图像序列中的每个第二图像均存在对应的第二帧信息,第二帧信息表示第二图像被采集时对应的帧数,例如,在第二帧信息为3帧时,表示第二图像在第3帧被采集;在第二帧信息为10帧时,表示第二图像在第10帧被采集。[0063] S23,选取第一帧信息与第二帧信息相同的第一图像与第二图像组成一组同步图像,得到多组同步图像。[0064] 在本申请的至少一实施例中,选取第一帧信息与第二帧信息相同的第一图像与第二图像组成一组同步图像,得到多组同步图像。例如,以帧数量为50帧为例,选取第一帧信息为1帧的第一图像与第二帧信息为1帧的第二图像作为第1组同步图像;选取第一帧信息为2帧的第一图像与第二帧信息为2帧的第二图像作为第2组同步图像;…直至选取第一帧信息为50帧的第一图像与第二帧信息为50帧的第二图像作为第50组同步图像,如此,可以得到50组同步图像。[0065] 在本申请实施例提供的上述方法中,利用所述第一拍摄装置在第一时刻采集所述预设标尺的多帧第一图像,得到第一图像序列,及利用所述第二拍摄装置在第一时刻采集所述预设标尺的多帧第二图像,得到第二图像序列,将第一图像序列与第二图像序列中相同帧信息的端部图像作为同步图像,便于后续基于多组同步图像确定预设标尺在第一时刻的标尺长度。[0066] 在本申请的至少一实施例中,在每组同步图像中,每个预设的标志点在第一拍摄装置拍摄的图像(本申请实施例称作“第一图像”)与第二拍摄装置拍摄的图像(本申请实施例称作“第二图像”)中均有对应的像点。通过从像点中提取有价值的信息,实现标志点的三维重建。图4是本申请实施例提供的像点坐标的确定方法流程图,像点坐标的确定方法应用于扫描设备。如图4所示,包括如下步骤:[0067] S31,在每组同步图像中,确定所述预设的标志点在所述第一图像中对应的第一像点,及确定所述预设的标志点在所述第二图像中对应的第二像点。[0068] 在本申请的至少一实施例中,承接上述实施例,预设标尺包括第一端部与第二端部,第一端部设有第一标志点,第二端部设有第二标志点。以第一标志点为例,将第一标志点在第一图像中投影的点称作第一像点,将第一标志点在第二图像中投影的点称作第二像点。[0069] S32,确定所述第一像点在所述第一图像中的第一像点坐标,及所述第二像点在所述第二图像中的第二像点坐标。[0070] 在本申请的至少一实施例中,可以通过质心定位、边缘拟合或关键点检测等图像处理算法确定第一像点坐标与第二像点坐标。以利用质心定位算法确定第一像点坐标为例,通过计算第一像点所在区域内所有像素的坐标加权平均值,可以得到第一像点的质心位置,将该质心位置作为所述第一像点在所述第一图像中的第一像点坐标。[0071] S33,将所述第一像点坐标与所述第二像点坐标作为所述预设的标志点对应的所述像点坐标。[0072] 在本申请实施例提供的上述方法中,确定预设的标志点在第一图像中的第一像点及在第二图像中的第二像点,之后确定第一像点的第一像点坐标与第二像点的第二像点坐标,通过从像点中提取有价值的信息,能够实现后续标志点的三维重建。[0073] 图5是本申请实施例提供的三维坐标的确定方法流程图,三维坐标的确定方法应用于扫描设备。如图5所示,包括如下步骤:[0074] S41,根据所述预设标定数据确定所述至少两个拍摄装置的内参矩阵与外参矩阵。[0075] 在本申请的至少一实施例中,以至少两个拍摄装置包括第一拍摄装置与第二拍摄装置为例,第一拍摄装置与第二拍摄装置的内参矩阵可以相同,也可以不相同,本申请实施例以第一拍摄装置与第二拍摄装置的内参矩阵相同为例。第一拍摄装置对应第一外参矩阵,第二拍摄装置对应第二外参矩阵。根据标定数据构建内参矩阵与外参矩阵的方式为现有技术,在此不做赘述。[0076] S42,根据所述内参矩阵、所述外参矩阵与所述像点坐标,确定所述预设的标志点对应的三维坐标。[0077] 在本申请的至少一实施例中,承接上述实施例,像点坐标包括预设的标志点投影在第一图像中的第一像点对应的第一像点坐标以及预设的标志点投影在第二图像中的第二像点对应的第二像点坐标。在一些实施例中,根据所述内参矩阵对第一像点坐标进行归一化处理,得到第一归一化坐标,及根据所述内参矩阵对第二像点坐标进行归一化处理,得到第二归一化坐标。之后,基于三角测量原理,根据第一外参矩阵与第一归一化坐标以及第二外参矩阵与第二归一化坐标,能够得到预设的标志点对应的三维坐标。[0078] 在本申请实施例提供的上述方法中,根据预设标定数据与像点坐标确定标志点的三维坐标,无需复杂的设备和计算过程,能够快速且准确地确定三维坐标,继而提高温度补偿的准确性与速率。[0079] 图6是本申请实施例提供的第一标尺长度的确定方法流程图,第一标尺长度的确定方法应用于扫描设备。如图6所示,包括如下步骤:[0080] S51,在所述每组同步图像中,根据所述三维坐标确定所述预设标尺对应的标尺长度。[0081] 在本申请的至少一实施例中,预设标尺包括2个端部,分别为第一端部与第二端部,其中,第一端部上设有1个或多个第一标志点,第二端部上设有1个或多个第二标志点。以第一标志点的数量为1个,第二标志点的数量为1个为例,在每组同步图像中,确定第一标志点对应的第一三维坐标与第二标志点对应的第二三维坐标;根据所述第一三维坐标与所述第二三维坐标重建得到标尺长度。以第一标志点的数量为多个,第二标志点的数量为多个为例,在每组同步图像中,确定每个第一标志点对应的第一三维坐标,得到多个第一三维坐标,对多个第一三维坐标进行相关处理,得到处理后的第一三维坐标;确定每个第二标志点对应的第二三维坐标,得到多个第二三维坐标,对多个第二三维坐标进行相关处理,得到处理后的第二三维坐标;根据处理后的第一三维坐标与处理后的第二三维坐标重建得到标尺长度。其中,对多个第一三维坐标进行相关处理可以包括取均值处理。上述方法通过对预设标尺的端部设置多个标志点,能够提高标尺长度确定的准确性。[0082] S52,根据多个标尺长度确定所述第一标尺长度。[0083] 在本申请的至少一实施例中,每组同步图像均存在对应的标尺长度,将多个标尺长度进行相关处理,得到第一标尺长度。例如,对多个标尺长度进行取均值处理,将平均值作为第一标尺长度;又例如,对多个标尺长度进行取中位数处理,将选取的中位数作为第一标尺长度;又例如,对多个标尺长度选取最大值,将最大值作为第一标尺长度。[0084] 在本申请实施例提供的上述方法中,通过确定预设标尺在第一时刻的第一标尺长度,之后结合第一标尺长度调整扫描设备中至少两个拍摄装置的平移向量,能够在不依赖温度与标尺位置的情况下,补偿不同时刻的温度变化对平移向量的影响,能够提高温度补偿的准确性,从而提高三维扫描的效果。[0085] 在本申请的至少一实施例中,在三维空间中,当至少两个拍摄装置拍摄同一对象时,它们之间的相对位置和姿态可以通过旋转矩阵和平移向量来描述。其中,平移向量是指两个拍摄装置之间的直线位移。在一些实施例中,预设标定数据内包含至少两个拍摄装置的内参与外参,外参包括旋转矩阵与平移向量。如此,所述方法还包括:根据预设标定数据确定至少两个拍摄装置的外参矩阵;解析所述外参矩阵,得到所述至少两个拍摄装置的平移向量,作为所述至少两个拍摄装置在所述第一时刻对应的所述第一平移向量。其中,外参矩阵可以包括旋转矩阵与平移向量,通过解析外参矩阵,能够得到平移向量。本申请实施例通过解析预设标定数据,能够准确地得到至少两个拍摄装置在所述第一时刻对应的所述第一平移向量,提高温度补偿的效果,从而提高三维扫描的效果。[0086] 图7是本申请实施例提供的第二平移向量的确定方法流程图,第二平移向量的确定方法应用于扫描设备。如图7所示,包括如下步骤:[0087] S71,根据所述第一标尺长度与所述第二标尺长度,确定温度补偿系数。[0088] 在本申请的至少一实施例中,计算第一标尺长度与第二标尺长度的比值,将比值作为温度补偿系数。在其他实施例中,还可以对第一标尺长度与第二标尺长度进行其他数学处理,得到处理后的值,将处理后的值作为温度补偿系数。[0089] S72,根据所述温度补偿系数调整所述第一平移向量,得到所述第二平移向量。[0090] 在本申请的至少一实施例中,将温度补偿系数与第一平移向量进行乘积处理,将乘积处理的结果作为第二平移向量。[0091] 本申请实施例提供的上述扫描处理方法,根据预设标尺的第一标尺长度与第二标尺长度实时调整扫描设备中至少两个拍摄装置的平移向量,能够在不依赖温度与标尺位置的情况下,补偿不同时刻的温度变化对平移向量的影响,能够提高温度补偿的准确性,从而提高三维扫描的效果。[0092] 图8是本申请实施例提供的扫描处理装置的结构示意图。如图8所示,所述扫描处理装置100可以包括多个由计算机程序段所组成的功能模块。扫描处理装置100中的各个程序段的计算机程序可以存储于扫描设备20的存储器21中,并由处理器22所执行,以执行三维扫描的功能。[0093] 在一些实施例中,扫描处理装置100根据其所执行的功能,可以被划分为多个功能模块。功能模块可以包括:同步图像采集模块101、三维坐标重建模块102、第一长度确定模块103、第二长度确定模块104以及第二向量确定模块105。[0094] 本申请所称的模块是指一种能够被处理器22所执行并且能够完成固定功能的一系列计算机程序段,其存储在存储器21中。在本实施例中,关于各模块的功能将在后续的实施例中详述。[0095] 同步图像采集模块101可以用于利用所述至少两个拍摄装置在第一时刻采集预设标尺的图像序列,得到多组同步图像,所述预设标尺的端部包括预设的标志点。[0096] 三维坐标重建模块102可以用于在每组同步图像中,确定所述预设的标志点对应的像点坐标,并基于预设标定数据与所述像点坐标,重建得到所述预设的标志点对应的三维坐标。[0097] 第一长度确定模块103可以用于根据所述多组同步图像对应的三维坐标,确定所述预设标尺在所述第一时刻对应的第一标尺长度。[0098] 第二长度确定模块104可以用于基于所述至少两个拍摄装置在第二时刻采集的所述预设标尺的图像序列,确定所述预设标尺在第二时刻对应的第二标尺长度。[0099] 第二向量确定模块105可以用于基于所述至少两个拍摄装置在所述第一时刻对应的第一平移向量、所述第一标尺长度及所述第二标尺长度,确定第二平移向量,并根据所述第二平移向量控制所述扫描设备对目标对象进行扫描。[0100] 可以理解,扫描处理装置100与上述实施例的扫描处理方法属于同一发明构思,扫描处理装置100各模块的具体实现方式,与上述实施例中扫描处理方法的各步骤对应,本申请在此不赘述。[0101] 以上所描述的模块划分,为一种逻辑功能划分,实际实现时可以有另外的划分方式。另外,在本申请各个实施例中的各功能模块可以集成在相同处理单元中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在相同单元中。上述集成的模块既可以采用硬件的形式实现,也可以采用硬件加软件功能模块的形式实现。[0102] 图9是本申请实施例提供的扫描处理方法的应用设备图。如图9所示,扫描设备20包括存储器21、至少一个处理器22以及至少一条通信总线23,所述处理器22用于执行所述存储器21中存储的计算机程序时实现扫描处理方法,至少一条通信总线23被设置为实现存储器21以及处理器22等之间的连接通信。[0103] 图9示出的扫描设备的结构并不构成对本申请实施例的限定,扫描设备20还可以包括比图示更多或更少的其他硬件或者软件,或者不同的部件布置。[0104] 在本申请一些实施例中,扫描设备20还可连接客户端设备,客户端设备包括但不限于任何一种可与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互的电子产品,例如,个人计算机、平板电脑、智能手机、数码相机等。[0105] 需要说明的是,扫描设备20仅为举例,其他现有的或今后可能出现的电子产品如可适应于本申请,也应包含在本申请的保护范围以内,并以引用方式包含于此。[0106] 在一些实施例中,扫描设备20还可以包括多种传感器、蓝牙模块、Wi‑Fi模块等,在此不再赘述。[0107] 在一些实施例中,存储器21中存储有计算机程序,计算机程序被处理器22执行时实现如的扫描处理方法中的全部或者部分步骤。存储器21包括只读存储器(Read‑OnlyMemory,ROM)、可编程只读存储器(ProgrammableRead‑OnlyMemory,PROM)、可擦除可编程只读存储器(ErasableProgrammableRead‑OnlyMemory,EPROM)、一次可编程只读存储器(One‑timeProgrammableRead‑OnlyMemory,OTPROM)、电子擦除式可复写只读存储器(Electrically‑ErasableProgrammableRead‑OnlyMemory,EEPROM)、只读光盘(CompactDiscRead‑OnlyMemory,CD‑ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。[0108] 进一步地,计算机可读存储介质可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序等;存储数据区可存储根据扫描设备20的使用所创建的数据等。[0109] 在一些实施例中,至少一个处理器22是扫描设备20的控制核心(ControlUnit),利用各种接口和线路连接整个扫描设备20的各个部件,通过运行或执行存储在存储器21内的程序或者模块,以及调用存储在存储器21内的数据,以执行扫描设备20的各种功能和处理数据。例如,至少一个处理器22执行存储器中存储的计算机程序时实现本申请实施例中的扫描处理方法的全部或者部分步骤;或者实现三维扫描装置的全部或者部分功能。至少一个处理器22可以由集成电路组成,例如可以由单个封装的集成电路所组成,也可以是由多个相同功能或不同功能封装的集成电路所组成,包括一个或者多个中央处理器(CentralProcessingunit,CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。[0110] 上述以软件功能模块的形式实现的集成的单元,可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中,包括若干指令用以使得一台电子设备(可以是个人计算机,电子设备,或者网络设备等)或处理器(processor)执行本申请各个实施例方法的部分。[0111] 在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。[0112] 作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理单元,既可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。[0113] 另外,在本申请各个实施例中的各功能模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能模块的形式实现。[0114] 对于本领域技术人员而言,显然本申请不限于上述示范性实施例的细节,而且在不背离本申请的精神或基本特征的情况下,能够以其他的具体形式实现本申请。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本申请的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外,显然“包括”一词不排除其他单元或,单数不排除复数。说明书中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一,第二等词语用来表示名称,而并不表示任何特定的顺序。[0115] 最后应说明的是,以上实施例仅用以说明本申请的技术方案而非限制,尽管参照较佳实施例对本申请进行了详细说明,本领域的普通技术人员应当理解,可以对本申请的技术方案进行修改或等同替换,而不脱离本申请技术方案的精神和范围。
专利地区:浙江
专利申请日期:2024-07-05
专利公开日期:2024-09-03
专利公告号:CN118424108B