将三维深度图数据映射到二维图像上实用新型专利

专利名称：将三维深度图数据映射到二维图像上

专利类型：实用新型专利

专利申请号：CN202080050381.8

专利申请（专利权）人：魔眼公司
权利人地址：美国纽约州

专利发明（设计）人：木村昭辉

专利摘要：3D距离传感器将多个光点投影到目标上。具有相对于3D距离传感器的固定位置的2D照相机获取目标上的点的第一图像。3D距离传感器的光接收系统获取目标上的点的第二图像。将第一点的2D坐标的集合与第一点的距离坐标相关联，以形成第一点的坐标的单个集合。从第一图像获得2D坐标的集合，并且从第二图像获得距离坐标。从坐标的单个集合导出关系表达式并且该关系表达式描述光接收系统到目标的距离与2D照相机的图像传感器上的第一点的位置之间的关系。

主权利要求：
1.一种方法，包括：
由处理系统控制三维距离传感器以将光的图案投影到目标表面上，其中，光的图案包括多个光点；
由处理系统控制二维照相机以获取目标表面上的光的图案的第一图像，其中，二维照相机具有相对于三维距离传感器的固定位置；
由处理系统控制三维距离传感器的光接收系统以获取目标表面上的光的图案的第二图像；
由处理系统将多个光点中的第一光点的二维坐标的集合与第一光点的三维坐标的集合的距离坐标相关联以形成第一光点的坐标的单个集合，其中，二维坐标的集合是从第一图像获得的，并且其中，三维坐标的集合是从第二图像获得的；以及由处理系统从坐标的单个集合导出关系表达式，其中，关系表达式描述光接收系统到目标表面的距离与二维照相机的图像传感器上的第一光点的位置之间的关系。
2.根据权利要求1所述的方法，其中，在控制距离传感器以使用三维目标投影光的图案之前，校准三维距离传感器。
3.根据权利要求1所述的方法，其中，光的图案包括红外光，并且光接收系统包括红外带通过滤器。
4.根据权利要求3所述的方法，其中，二维照相机包括红外截止过滤器。
5.根据权利要求4所述的方法，其中，目标表面包括当材料被红外光激励时发射荧光的材料。
6.根据权利要求5所述的方法，其中，目标表面具有平面形状。
7.根据权利要求1所述的方法，其中，第一图像和第二图像分别由二维照相机和三维距离传感器同时获取。
8.根据权利要求1所述的方法，其中，第一光点的二维坐标的集合描述了二维照相机的图像传感器上的第一光点的位置。
9.根据权利要求1所述的方法，其中，关系表达式是从针对多个光点的子集形成的坐标的单个集合导出的，其中，子集包括第一光点和至少一个附加光点。
10.根据权利要求1所述的方法，其中，关联包括由处理系统基于相对于多个光点中的其他光点的第一光点的位置来标识第一图像中和第二图像中的第一光点。
11.根据权利要求1所述的方法，还包括在关联之后但在导出之前：由处理系统重复控制三维距离传感器以投影光的图案、控制二维照相机、控制三维距离传感器的光接收系统以及关联，其中，所述重复是在目标表面已被移动以改变目标表面与三维距离传感器之间的距离以及目标表面与二维照相机之间的距离之后执行的。
12.根据权利要求1所述的方法，还包括，在导出之后：由处理系统控制二维照相机以获取除目标表面之外的对象上的光的图案的第三图像；
由处理系统控制三维距离传感器的光接收系统以获取对象上的光的图案的第四图像，其中，第三图像和第四图像是同时获取的；以及由处理系统基于由三维距离传感器测量的第二光点的三维距离坐标并且基于关系表达式来标识多个光点中的第二光点的二维坐标的集合。
13.根据权利要求1所述的方法，其中，二维照相机的透镜被设置为控制透镜的变焦或聚焦的固定值。
14.根据权利要求13所述的方法，其中，关联包括将固定值与坐标的单个集合相关联。
15.根据权利要求14所述的方法，还包括在关联之后但在导出之前：由处理系统重复控制三维距离传感器以投影光的图案、控制二维照相机、控制三维距离传感器的光接收系统以及关联，其中，所述重复是在固定值已被设置为新的固定值之后执行的。
16.一种编码有可由处理器执行的指令的非暂时性机器可读存储介质，其中，当被执行时，所述指令使处理器执行操作，所述操作包括：控制三维距离传感器以将光的图案投影到目标表面上，其中，光的图案包括多个光点；
控制二维照相机以获取目标表面上的光的图案的第一图像，其中，二维照相机相对于三维距离传感器具有固定位置；
控制三维距离传感器的光接收系统以获取目标表面上的光的图案的第二图像；
将多个光点中的第一光点的二维坐标的集合与第一光点的三维坐标的集合的距离坐标相关联以形成第一光点的坐标的单个集合，其中，二维坐标的集合是从第一图像获得的，并且其中，三维坐标的集合是从第二图像获得的；以及从坐标的单个集合导出关系表达式，其中，关系表达式描述光接收系统到目标表面的距离与二维照相机的图像传感器上的第一光点的位置之间的关系。
17.根据权利要求16所述的非暂时性机器可读存储介质，其中，光的图案包括红外光，其中，光接收系统包括红外带通过滤器，并且其中，二维照相机包括红外截止过滤器。
18.根据权利要求17所述的非暂时性机器可读存储介质，其中，目标表面包括当材料被红外光激励时发射荧光的材料。
19.根据权利要求16所述的非暂时性机器可读存储介质，还包括，在导出之后：控制二维照相机以获取除目标表面之外的对象上的光的图案的第三图像；
控制三维距离传感器的光接收系统以获取对象上的光的图案的第四图像，其中，第三图像和第四图像是同时获取的；以及基于由三维距离传感器测量的第二光点的三维距离坐标并且基于关系表达式来标识多个光点中的第二光点的二维坐标的集合。
20.一种装置，包括：
处理器；以及
编码有可由处理器执行的指令的非暂时性机器可读存储介质，其中，当被执行时，所述指令使处理器执行操作，所述操作包括：控制三维距离传感器以将光的图案投影到目标表面上，其中，光的图案包括多个光点；
控制二维照相机以获取目标表面上的光的图案的第一图像，其中，二维照相机相对于三维距离传感器具有固定位置；
控制三维距离传感器的光接收系统以获取目标表面上的光的图案的第二图像；
将多个光点中的第一光点的二维坐标的集合与第一光点的三维坐标的集合的距离坐标相关联以形成第一光点的坐标的单个集合，其中，二维坐标的集合是从第一图像获得的，并且其中，三维坐标的集合是从第二图像获得的；以及从坐标的单个集合导出关系表达式，其中，关系表达式描述光接收系统到目标表面的距离与二维照相机的图像传感器上的第一光点的位置之间的关系。 说明书 : 将三维深度图数据映射到二维图像上[0001] 相关申请的交叉引用[0002] 本申请要求在2019年5月12日提交的美国临时专利申请系列号62/846,696的优先权，其全部内容通过引用并入本文。背景技术[0003] 系列号14/920,246，15/149,323和15/149,429的美国专利申请描述了距离传感器的各种配置。这样的距离传感器在各种应用中可以是有用的，各种应用包括安全、游戏、无人交通工具的控制、机器人或自主器具的操作以及其他应用。[0004] 在这些申请中描述的距离传感器包括投影系统（例如，包括激光器、衍射光学元件和/或其他协作部件），其将人眼基本上不可见的波长的光束（例如，红外线）投影到视场中。光束展开以创建可由适当的光接收系统（例如，透镜、图像捕捉设备和/或其他部件）检测的图案（点、短划线（dash）或其他赝像的图案）。当图案入射到视场中的对象上时，可以基于可以由传感器的光接收系统捕捉的视场的一个或多个图像中的图案的外观（例如，点、短划线或其他赝像的位置关系）来计算从传感器到对象的距离。还可以确定对象的形状和尺寸。[0005] 例如，图案的外观可以随着到对象的距离而改变。作为示例，如果图案包括点的图案，则当对象更靠近传感器时，点可以显得更靠近彼此，并且当对象更远离传感器时，点可以显得更远离彼此。发明内容[0006] 在一个示例中，一种由处理系统执行的方法包括控制三维距离传感器将光的图案投影到目标表面上，其中，光的图案包括多个光点，控制二维照相机以获取目标表面上的光的图案的第一图像，其中，二维照相机具有相对于三维距离传感器的固定位置，控制三维距离传感器的光接收系统以获取目标表面上的光的图案的第二图像，将多个光点中的第一光点的二维坐标的集合与第一光点的三维坐标的集合的距离坐标相关联以形成第一光点的坐标的单个集合，其中，二维坐标的集合从第一图像获得，并且其中，三维坐标的集合从第二图像获得，以及从坐标的单个集合导出关系表达式，其中，关系表达式描述光接收系统到目标表面的距离与二维照相机的图像传感器上的第一光点的位置之间的关系。[0007] 在另一示例中，非暂时性机器可读存储介质编码有可由处理器执行的指令。当执行时，指令使得处理器执行操作，所述操作包括控制三维距离传感器以将光的图案投影到目标表面上，其中，光的图案包括多个光点，控制二维照相机以获取目标表面上的光的图案的第一图像，其中，二维照相机具有相对于三维距离传感器的固定位置，控制三维距离传感器的光接收系统以获取目标表面上的光的图案的第二图像，将多个光点中的第一光点的二维坐标的集合与第一光点的三维坐标的集合的距离坐标相关联以形成第一光点的坐标的单个集合，其中，二维坐标的集合从第一图像获得，并且其中，三维坐标的集合从第二图像获得，以及从坐标的单个集合导出关系表达式，其中，关系表达式描述光接收系统到目标表面的距离与二维照相机的图像传感器上的第一光点的位置之间的关系。[0008] 在另一示例中，一种装置包括处理器和编码有可由处理器执行的指令的非暂时性机器可读存储介质。当执行时，指令使得处理器执行操作，所述操作包括控制三维距离传感器以将光的图案投影到目标表面上，其中，光的图案包括多个光点，控制二维照相机以获取目标表面上的光的图案的第一图像，其中，二维照相机具有相对于三维距离传感器的固定位置，控制三维距离传感器的光接收系统以获取目标表面上的光的图案的第二图像，将多个光点中的第一光点的二维坐标的集合与第一光点的三维坐标的集合的距离坐标相关联以形成第一光点的坐标的单个集合，其中，二维坐标的集合从第一图像获得，并且其中，三维坐标的集合从第二图像获得，以及从坐标的单个集合导出关系表达式，其中，关系表达式描述光接收系统到目标表面的距离与二维照相机的图像传感器上的第一光点的位置之间的关系。附图说明[0009] 图1示出了示例距离传感器的侧视图；[0010] 图2示出了包括图1的三维距离传感器和二维照相机的示例系统的侧视图；[0011] 图3是示出了根据本公开的用于校准三维距离传感器的方法的一个示例的流程图，该三维距离传感器诸如是图1或图2中示出的距离传感器；[0012] 图4是示出了根据本公开的用于校准包括三维距离传感器和二维照相机的诸如图2中所示的系统之类的系统使得三维深度图信息可以被映射到二维图像上的方法的一个示例的流程图；[0013] 图5A示出了可以由3D距离传感器的光接收系统捕捉的示例图像；[0014] 图5B示出了可以由2D照相机捕捉的示例图像；[0015] 图6是示出了用于将由三维距离传感器获取的三维深度图信息映射到由二维照相机获取的二维图像上的方法的一个示例的流程图；[0016] 图7描绘了用于将三维深度图数据映射到二维图像上的示例电子设备的高级框图；以及[0017] 图8是示出了可以如何导出图3的方法中导出的关系表达式的一个示例的示意图。具体实施方式[0018] 本公开广泛地描述了用于将三维（3D）深度图数据映射到二维（2D）图像上的方法、计算机可读介质和装置。如上所述，诸如在系列号14/920,246、15/149,323和15/149,429的美国专利申请中描述的距离传感器之类的距离传感器通过投影光束来确定到对象的距离（以及，潜在地，对象的形状和尺寸），该光束展开以在包括对象的视场中创建图案（例如，点、短划线或其他赝像的图案）。光束可以从一个或多个激光光源投影，该激光光源发射对于人眼基本上不可见但是对于（例如光接收系统的）适当的检测器是可见的波长的光。然后，可以基于图案到检测器的外观来计算到对象的3D距离。[0019] 所计算的3D距离可以用于各种应用，包括安全（例如，面部识别以获得对安全位置和/或资源的访问）、导航（例如，用于无人交通工具）和其他应用。诸如可能从3D距离计算获得的3D深度图信息也可以与2D图像数据组合，以便使能更直观的深度显示。例如，当仅3D深度图信息可用时，对象或曲面的轮廓可能就难以辨别；然而，当映射到相同对象或曲面的2D图像信息时，可以更准确地标识和再现轮廓。[0020] 用于将3D深度图信息与2D图像组合的常规技术通常依赖于立体照相机的使用。例如，立体照相机可以用于检测诸如棋盘之类的对象上的特征点。在特征点检测之前，例如通过校准可以知道两个照相机的成像射线之间的相对位置关系。在该情况下，然后通过求解将对象的2D图像位置与成像光位置相关的方程来计算对象的3D位置。[0021] 尽管该技术在特征点容易被检测到时可以很好地工作，但是当特征点不能被容易地检测到时，该技术就不太可靠。此外，深度计算往往非常复杂，因为计算涉及多个步骤，其中的许多步骤可能依赖于可能易于出错的渐近（asymptotic）和/或近似计算。如果2D照相机规范是多值的（例如，通过变焦和/或聚焦），或者变化率是快的，则深度计算可能甚至更加复杂。[0022] 本公开的示例提供了一种将3D深度图数据映射到2D图像上的方式，其不受被成像的对象上的特征点的存在的影响。代之以，本公开的示例使用3D距离传感器用于测距的投影光束利用深度图信息与2D图像之间的直接关系。因此，在一个示例中，例如通过3D距离传感器，使用光束投影来获得3D深度图。[0023] 在进一步的示例中，包括3D距离传感器和2D照相机的系统可被校准以使用荧光目标（例如，由在被红外光激励时发射荧光的材料制成的目标）来确定深度图信息和2D图像之间的关系。[0024] 应当注意，诸如“第一”、“第二”、“第三”以及诸如此类术语的使用不一定暗示本公开的示例需要某数量的元素或条目。例如，对“第三图像”的引用不一定暗示存在“第一图像”和“第二图像”。而是，这样的术语可以在这里被用来在相同类型的元素或条目之间区分（例如，在两个或更多不同的图像之间区分）。[0025] 图1示出了诸如上述传感器中的任何传感器之类的示例距离传感器100的侧视图。如图1中所示，距离传感器100通常可以包括光投影系统102和光接收系统104。[0026] 光投影系统102通常可以包括激光发射器106和衍射光学元件（DOE）108。激光发射器106可以包括激光发光二极管（LED），其发射人眼基本上不可见的波长的光束（例如，红外光）。在一个示例中，激光发射器106包括竖直腔表面发射激光器（VCSEL）。[0027] DOE108可以包括诸如光栅、全息膜、锥形镜或诸如此类的光学部件，其被定位成将由激光发射器106发射的光束分成多个光束110。尽管图1示出了单个激光发射器106和DOE108对，但是应当注意，光投影系统可以包括任何数量的激光发射器/DOE对。例如，多个激光发射器/DOE对可以围绕光接收系统104布置，例如，使得光接收系统104位于多个激光发射器/DOE对的中心。在该情况下，多个激光发射器/DOE对中的每个激光发射器/DOE对可以按类似于图1中所示的激光发射器106和DOE108的方式来配置。[0028] 在一个示例中，多个光束110从中心轴C在多个不同方向上扇形散开（fanout）。多个光束110中的每对光束之间的角度可以相等。当多个光束110入射到表面112上时，每个光束可以在表面112上创建诸如点、短划线或诸如此类的赝像。总体来说，由多个光束110创建的赝像形成了上述图案，从该图案可以计算到对象的距离。例如，图案可以包括网格，其中，多个赝像被布置在多个行和列中。[0029] 图案的至少一部分（例如，创建图案的赝像中的至少一些）可以由光接收系统104检测，光接收系统104可以包括被配置为检测由光投影系统102发射的光的波长中的光的照相机。例如，光接收系统104通常可以包括图像传感器114（例如，3D图像传感器）、带通过滤器116和透镜118。多个光束110的部分可以从表面112反射离开并通过光接收系统的透镜118到达带通过滤器116。带通过滤器可以被配置为允许预定波长的光（例如，红外光）通过以到达图像传感器114，而滤除所有其他波长。图像传感器114可以是包括多个像素传感器单元的有源像素（active‑pixel）传感器（APS），其中，每个像素传感器单元包括光电检测器及至少一个有源晶体管。像素传感器单元可吸收通过带通过滤器116的光的光子。这样，图像传感器114可以生成表面112的3D图像。[0030] 如上所述，由多个光束110在表面112上创建的图案的外观可以随着到表面112的距离而改变。作为示例，如果图案包括点的图案，则当表面112更靠近距离传感器100时，点可以显得彼此更靠近，并且当表面112更远离距离传感器100时，点可以显得彼此更远离。因此，点的轨迹（即，移动范围）可以表现为彼此更靠近在一起或更远离。[0031] 点的轨迹由在平面（例如，横向）方向和高度方向（例如，垂直于横向方向的方向）上的距离传感器的光投影系统102和光接收系统104之间的位置关系来确定。点的轨迹可以表现为径向图案或线（如图1的插图120所示）并且描述当距离传感器100与投影图案所投影到的对象（例如，表面112）之间的距离变化时的点的移动。更具体讲，点的轨迹描述随着距离的变化相对于距离传感器的图像传感器114的点的移动。[0032] 例如，插图120示出了可以由多个光束110在表面112上创建的多个赝像的示例轨迹。以轨迹122为例，轨迹122示出了对应的点（或其他赝像）P可以随着距离传感器100和表面112之间的距离改变而在其中移动的物理范围。如轨迹122所示，当距离传感器100和表面112之间的距离等于距离A时，光接收系统104可以观看到第一位置p（a）处的点p，并且当距离传感器100和表面112之间的距离等于距离B时，可以观看到第二位置p（b）处的点p。[0033] 图2示出了包括图1的三维距离传感器100和二维照相机200的示例系统的侧视图。距离传感器100可以是图1中所示的相同距离传感器100；因此，相同的附图标记用于表示图2中的相同部件。[0034] 2D照相机200通常可以包括图像传感器202（例如，2D图像传感器）、截止过滤器204和透镜206。反射离开表面（例如，表面112）的光可以通过透镜206去往截止过滤器204。在一个示例中，截止过滤器是红外截止过滤器（即，反射红外波长而允许其他波长的光通过的过滤器）。图像传感器202可以是包括多个像素传感器单元的有源像素传感器（APS），其中，每个像素传感器单元包括光电检测器和至少一个有源晶体管。通过截止过滤器204的光的光子可以被图像传感器202的像素传感器单元吸收，这可以生成表面112的对应2D图像。[0035] 如上文所讨论的，由3D距离传感器100的光投影系统102发射的光可以是红外光，且距离传感器100的光接收系统104可阻挡红外范围外的波长，以便最小化外部光噪声对距离测量的影响。然而，如果2D照相机200包括红外截止过滤器，则2D照相机200可能不能检测由3D距离传感器100创建的投影图案的点（例如，包括点p（a）/p（b））。[0036] 因此，出于校准目的（例如，为了校准图2的系统，使得可以确定3D深度图信息与2D图像之间的关系），在一个示例中，表面112可以包括荧光材料。特别地，表面112可以由红外荧光材料形成，红外荧光材料即是当被红外光激励时发射荧光的材料。在该情况下，当通过红外光束在表面112上创建点p时，表面112上点p出现的位置将发射荧光，该荧光可以由2D照相机200的图像传感器202检测到。[0037] 因此，3D距离传感器100可以基于反射的红外光来计算在三维（x，y，z）坐标空间中的点p的位置。2D照相机200可以基于表面112对荧光的发射来同时计算二维（u，v）图像传感器坐标系中的点p的位置。然后，3D（x，y，z）坐标可以被直接映射到2D（u，v）坐标，给出了3D距离传感器100的光接收系统104和2D照相机200之间的位置关系。换句话说，点p的2D位置（在2D图像中）可以被映射到相同点的3D对象距离。该映射随后可以虑及其他点的2D位置映射到其他点的3D对象距离。[0038] 在一个示例中，荧光表面112具有小于3D距离传感器100的视场和2D照相机200的视场的大小的大小。荧光表面112也可以被成形以改进校准过程的效率。例如，诸如矩形之类的形状可以容易识别，而平面表面可以简化要计算的距离关系。[0039] 图3是示出了根据本公开的用于校准诸如图1或图2中示出的距离传感器100之类的三维距离传感器的方法300的一个示例的流程图。方法300可以例如由与3D距离传感器和2D照相机通信（并且从其接收图像数据）的处理器来执行，处理器诸如是图7中所示的处理器702。作为替代，方法300可以由作为3D距离传感器或2D照相机的部分的处理器来执行。出于示例的原因，方法300被描述为由处理系统执行。[0040] 方法300可以在步骤302中开始。在步骤304中，处理系统可以控制3D距离传感器将光的图案投影到目标表面上。如上所述，光的图案可以包括光的点的图案（或其他投影赝像，诸如点、短划线、x或诸如此类），其中，每个光的点都可以由3D距离传感器的光投影系统发射的相应光束来创建。特别地，当相应的光束入射到目标表面上时，可以创建每个光点。光束可以包括红外光束（或者人眼基本上不可见但3D距离传感器的光接收系统可见的另一波长的光）。[0041] 在步骤304中使用的目标表面可以包括三维目标，例如，使得目标表面的不同部分可以位于距3D距离传感器的光接收系统的不同距离处。[0042] 在步骤306中，处理系统可以控制3D距离传感器获取目标表面上的光的图案的图像。如上所述，在一个示例中，3D距离传感器可以包括光接收系统，该光接收系统包括红外带通过滤器和3D图像传感器。光接收系统可以捕捉投影到目标表面上的光的图案的图像并且可以将该图像传输到处理系统（例如，经由有线或无线连接）。[0043] 在步骤308中，处理系统可以基于图像计算3D距离传感器的光接收系统和（光的图案的）第一光点之间的距离。在一个示例中，可以使用系列号14/920,246、15/149,323和15/149,429的美国专利申请中讨论的任何技术来计算距离。在另外的示例中，可以以该方式针对两个或更多个光点（例如，针对第一光点和至少第二光点）计算距离。[0044] 在步骤310中，处理系统可以与3D距离传感器的3D图像传感器上的第一光点的位置相关联地存储在步骤308中计算的距离。在已经针对多个光点计算了步骤308中计算的距离的情况下，可以针对多个光点中的所有光点存储距离和对应的图像传感器位置。[0045] 在步骤312中，处理系统可以导出描述3D距离传感器的光接收系统到目标表面的距离（其中该距离可以连续地改变）与3D图像传感器上的第一光点的位置之间的关系的关系表达式。在一个示例中，如上所述，在步骤308中可以计算光接收系统和多个光点之间的距离。在该情况下，在步骤312中可以导出多个关系表达式。例如，在3D距离传感器的光投影系统发射n束光（n＞1）的情况下，针对每个光束（例如，针对由光束之一创建的每个光点）的关系表达式可以被导出并且被存储在处理系统可访问的存储器中，使得导出n个不同的关系表达式。[0046] 方法300可以在步骤314中结束。[0047] 图8是示出了可以如何导出在方法300的步骤312中导出的关系表达式的一个示例的示意图。类似的附图标记用于与图1和2中所示的元素类似的元素。[0048] 如图8中所示，目标表面112可以被移动以改变到3D距离传感器100的距离，如上所述。目标表面112的每个位置在图8中被示为平面1121‑1123。尽管为了便于解释和说明示出了三个平面，但是应当理解也可以使用任何数量的平面（例如，n个平面）。相同的点可以在每个平面上成像；z1示出了在平面1121上的点的z（与3D距离传感器100的线性距离）位置，z2示出了在平面1122上的点的位置，并且z3示出了在平面1123上的点的位置。[0049] 相同的点也可以成像在图像传感器114上；（px1，py1，z1）示出了第一平面1121中的点在图像传感器114上的x，y（照相机图像）位置，（px2，py2，z）2 示出了第二平面1122中的点在图像传感器114上的x，y（平面）位置，并且（px3，py3，z）3 示出了第三平面1123中的点在图像传感器114上的x，y（平面）位置。[0050] 因此，如图表800所示，可以将距3D图像传感器100的各种距离处的点的z位置与2D照相机200的图像传感器上的各种距离处的相应px、py位置进行匹配。[0051] 在一个示例中，可针对每个平面中的点的px，py位置来绘制z位置，如由绘图802所示的。曲线804可以拟合到绘图802中的数据点，其中， 表示沿曲线804的长度。这样，在一个示例中，给定点的px，py位置可以通过近似函数f从给定点的z位置获得，在一个示例中表示为：[0052] （等式1）[0053] 图4是示出了根据本公开的用于校准包括三维距离传感器和二维照相机的诸如图2中所示的系统之类的系统使得三维深度图信息可被映射到二维图像上的方法400的一个示例的流程图。方法400可以在独立于系统校准3D距离传感器之后执行，例如，如上文结合图3所描述的。[0054] 方法400可以例如由与3D距离传感器和2D照相机通信（并且从其接收图像数据）的处理器来执行，处理器诸如是图7中所示的处理器702。作为替代，方法400可以由作为3D距离传感器或2D照相机的部分的处理器来执行。出于示例的原因，方法400被描述为由处理系统执行。[0055] 方法400可以在步骤402中开始。在步骤404中，处理系统可以控制3D距离传感器将光的图案投影到目标表面上。即，光的图案可以是用于校准3D距离传感器（例如，根据上述方法300）的相同的光的图案；然而，现在光的图案被投影到其上的目标表面可以是与三维目标表面用于校准3D距离传感器的目标表面不同的目标表面。在步骤404的情况下，目标表面可以包括二维目标，例如，使得目标表面的所有部分位于距3D距离传感器的光接收系统相同的距离处。在一个示例中，目标表面可以包括平面目标。目标表面的形状也可以是矩形的以促进校准。在光的图案由红外光束创建的情况下，目标表面可以包括红外荧光材料，即当被红外光激励时发射荧光的材料。[0056] 在步骤406中，处理系统可以控制2D照相机和3D距离传感器的光接收系统同时分别获取目标表面上的光的图案的第一图像和第二图像，其中，2D照相机具有相对于3D距离传感器的固定位置。也就是说，3D距离传感器和2D照相机之间的位置关系是固定的。如上所述，在一个示例中，2D照相机可以包括红外截止过滤器和2D图像传感器。[0057] 图5A例如示出了可以由3D距离传感器的光接收系统捕捉的示例图像500（例如，根据步骤406的“第二图像”），而图5B示出了可以由2D照相机捕捉的示例图像502（例如，根据步骤406的“第一图像”）。[0058] 如图所示，图像500可以描绘光的图案的多个光点的位置。多个光点的子集可以入射到目标表面上（在506处以短划线示出）。然而，由于3D距离传感器的图像传感器能够检测由光投影系统发射的红外光，所以图像500甚至可以描绘没有入射在目标表面506上的那些光点。[0059] 相对地，图像502可以仅描绘入射到目标表面506上的多个点的子集508。这是由于2D照相机的图像传感器可能仅能够检测当红外光入射在目标表面506上时由目标表面506发射的荧光，但可能不能够检测红外光本身。因此，2D照相机可以对光的图案的比3D距离传感器图像小的部分成像。[0060] 2D照相机和3D距离传感器可以分别捕捉投影到目标表面上的光的图案的第一图像和第二图像，并且可以将第一图像和第二图像传输到处理系统（例如，经由有线或无线连接）。[0061] 在步骤408中，处理系统可以将从第一图像获得的第一光点的2D坐标与从第二图像获得的第一光点和3D距离传感器之间的距离相关联。即，2D照相机的2D图像传感器上的第一光点的（u，v）坐标与3D距离传感器的3D图像传感器上的第一光点的（z）坐标相关联，以生成第一光点的坐标（u，v，z）的单个集合。在一个示例中，基于光点在光的图案中的相对位置，在第二图像和第三图像两者中标识第一光点（例如，标识为相同的光点）。例如，再次参考图5A和5B，基于相对于其他光点的光点504的位置，光点504可以被标识为图像500和502中的相同光点。[0062] 在步骤410中，处理系统可以确定是否应该移动目标表面。在一个示例中，为了校准3D距离传感器和2D照相机之间的位置关系，步骤404‑408被重复多次，其中，目标表面每次被移动，使得目标表面和3D距离传感器之间（以及目标表面和2D照相机之间）的距离改变。[0063] 如果处理系统在步骤410中得出结论：目标表面应该被移动以虑及附加测量，则方法400可以返回到步骤404，并且处理系统可以以现在目标表面被移动以改变距离而如上所述地那样进行。[0064] 然而，如果处理系统在步骤410中得出结论：不应移动目标表面来虑及附加测量，那么方法400可以进行到步骤412。在步骤412中，处理系统可以导出描述3D距离传感器的光接收系统到目标表面的距离（其中该距离可以连续地改变）与2D图像传感器上的第一光点的位置之间的关系表达式。在一个示例中，如结合步骤408所描述的，可针对包括第一光点和至少一个附加光点的多个光点的子集形成坐标的单个集合。[0065] 例如，在步骤404‑408已经重复了k次（k＞1）的情况下，关系表达式可以从多个数据点（u1、v1、z1）、（u2、v2、z2）、……（uK、vK、zK）导出。关系表达式可以存储在处理系统可访问的存储器中。关系表达式可以结合等式1如上所述地导出。[0066] 方法400可以在步骤414中结束。[0067] 图6是示出了用于将由三维距离传感器获取的三维深度图信息映射到由二维照相机获取的二维图像上的方法600的一个示例的流程图。方法600可以例如由与3D距离传感器和2D照相机通信（并且从其接收图像数据）的处理器来执行，处理器诸如是图7中所示的处理器702。作为替代，方法600可以由作为3D距离传感器或2D照相机的部分的处理器来执行。出于示例的原因，方法600被描述为由处理系统执行。[0068] 方法600可以在步骤602中开始。在步骤604中，处理系统可以控制3D距离传感器将光的图案投影到对象（例如，除了在校准方法300和400中使用的目标表面之外的对象）上。即，光的图案可以是用于校准3D距离传感器和2D照相机的相同光的图案（例如，根据上述方法300和400）；然而，现在光的图案被投影到其上的对象可以是目标表面用于校准的不同的对象。例如，对象可以是正在被成像的对象。[0069] 在步骤606中，处理系统可以控制2D照相机和3D距离传感器的光接收系统以同时分别获取对象上的光的图案的第三图像和第四图像，其中，2D照相机具有相对于3D距离传感器的固定位置。也就是说，3D距离传感器和2D照相机之间的位置关系是固定的。[0070] 在步骤608中，处理系统可以基于由3D距离传感器测量的3D距离（z）坐标和根据方法400导出的第二关系表达式（即，描述3D距离传感器的光接收系统到第二目标表面的距离与2D图像传感器上的第一光点的位置之间的关系的关系表达式）来标识光的图案的第二光点的2D（u，v）坐标。[0071] 方法600可以在步骤610中结束。[0072] 在一些示例中，2D照相机可以具有变焦和/或聚焦能力。在该情况下，可以在2D照相机的透镜被设置为固定值的情况下执行方法400。然后，由2D照相机记录的任何坐标在存储器中不仅与来自3D距离传感器的相应3D坐标相关联，而且与透镜设置的固定值相关联。可以以用于透镜设置的多个不同固定值重复方法400，其中，在方法400的每个迭代中使用的特定值与存储器中的对应坐标相关联。在该情况下，所导出的任何第二关系表达式也可以在存储器中与透镜设置的对应值相关联。[0073] 应当注意，尽管未明确指定，但是上述方法300、400或600的框、功能或操作中的一些可以包括针对特定应用的存储、显示和/或输出。换句话说，取决于特定应用，在方法300、400或600中讨论的任何数据、记录、字段和/或中间结果可以被存储、显示和/或输出到另一设备。此外，图3、4或6中记载确定操作或涉及决定的框、功能或操作并不暗示实践确定操作的两个分支。换句话说，根据确定操作的结果，可以不执行确定操作的分支之一。[0074] 在一个示例中，如上所述，一旦基于光点的Z位置确定了光点的Px，Py位置，就可以容易地确定相同投影中的其他光点的Px，Py位置。这是因为投影图案中的光点之间的间隔是先验已知的。例如，在将投影图案投影到对象上之前，给定的光点和相邻的光点之间的x和y距离是已知的。[0075] 在进一步的示例中，可以使用其距3D距离传感器的距离是变化的相对小的目标表面来确定第一光点的px、py、z位置。例如，小的目标表面可以足够小以确保投影图案的仅一个光点（例如，第一光点）入射在目标表面上。然后，一旦确定了第一光点px、py、z位置，就可以如上所述那样从投影图案的已知间隔来确定投影图案中的其他光点的位置。[0076] 图7描绘了用于将3D深度图数据映射到2D图像上的示例电子设备700的高级框图。这样，电子设备700可以被实现为电子设备或系统的处理器，诸如距离传感器。[0077] 如图7中所描绘的，电子设备700包括硬件处理器元件702，例如中央处理单元（CPU）、微处理器或多核处理器，存储器704，例如随机存取存储器（RAM）和/或只读存储器（ROM），用于将3D深度图数据映射到2D图像上的模块705，以及各种输入/输出设备706，例如存储设备，包括但不限于带驱动器、软盘驱动器、硬盘驱动器或光盘驱动器、接收器、发射器、显示器、输出端口、输入端口，以及用户输入设备，诸如键盘、小键盘、鼠标、麦克风、照相机、激光光源、LED光源以及诸如此类。[0078] 尽管示出了一个处理器元件，但是应当注意，电子设备700可以采用多个处理器元件。此外，尽管在图中示出了一个电子设备700，但是如果对于特定的说明性示例以分布式或并行的方式实现如上所述的（一个或多个）方法，即，跨多个或并行的电子设备来实现上述（一个或多个）方法的框或整个（一个或多个）方法，则该图的电子设备700旨在表示那些多个电子设备中的每个。[0079] 应当注意，本公开可以由机器可读指令和/或机器可读指令和硬件的组合来实现，例如使用专用集成电路（ASIC）、可编程逻辑阵列（PLA），包括现场可编程门阵列（FPGA）、或部署在硬件设备、通用计算机或任何其他硬件等同物上的状态机，例如，与上述（一个或多个）方法有关的计算机可读指令可以用于配置硬件处理器以执行上述（一个或多个）方法的框、功能和/或操作。[0080] 在一个示例中，用于将3D深度图数据映射到2D图像上的本模块或过程705的指令和数据，例如机器可读指令，可以被加载到存储器704中并且由硬件处理器元件702执行，以实现如上结合方法300、400和600所讨论的框、功能或操作。此外，当硬件处理器执行指令以执行“操作”时，这可以包括硬件处理器直接执行操作和/或促进、引导例如协处理器以及诸如此类的另一硬件设备或部件，或与例如协处理器以及诸如此类的另一硬件设备或部件协作以执行操作。[0081] 执行与上述（一个或多个）方法相关的机器可读指令的处理器可以被认为是编程的处理器或专用处理器。因此，本公开的用于将3D深度图数据映射到2D图像上的本模块905可以存储在有形或物理（广义上非暂时性）计算机可读存储设备或介质上，有形或物理（广义上非暂时性）计算机可读存储设备或介质例如是易失性存储器、非易失性存储器、ROM存储器、RAM存储器、磁或光驱动器、设备或磁盘以及诸如此类。更具体地说，计算机可读存储设备可以包括提供存储信息的能力的任何物理设备，所述信息诸如是将由处理器或电子设备访问的数据和/或指令，处理器或电子设备诸如是安全传感器系统的计算机或控制器。[0082] 应当理解，上述公开的变型和其他特征和功能或其替代方案可以组合到许多其他不同的系统或应用中。随后可以做出也旨在由以下权利要求书涵盖的其中各种目前未预见或未预料到的替代、修改或变化。

专利地区：美国

专利申请日期：2020-05-07

专利公开日期：2024-06-18

专利公告号：CN114073075B