图像处理装置、以及图像处理方法实用新型专利

专利名称：图像处理装置、以及图像处理方法

专利类型：实用新型专利

专利申请号：CN202010371180.X

专利申请（专利权）人：阿尔派株式会社
权利人地址：日本东京都

专利发明（设计）人：须田亮平

专利摘要：一种图像处理装置、以及图像处理方法，即使在后方车辆接近到极近距离时，也使用后方车辆的三维信息，容易地对由第一相机摄影的图像和由第二相机摄影的图像进行合成。具备：图像取得部，取得第一～三相机所摄影的图像；合成部，对由第一相机摄影的图像的死角区域合成由第二相机摄影的死角区域图像；三维信息取得部，通过第二相机和第三相机的立体视觉而取得后方车辆的三维信息；以及保持部，保持在后方车辆的整体处于立体视觉的范围内时后方车辆的车辆形状信息，在后方车辆的一部分成为立体视觉的范围外的情况下，使用三维信息取得部所取得的三维信息和保持部所保持的车辆形状信息，决定与后方车辆的一部分对应的三维信息，并合成图像。

主权利要求：
1.一种图像处理装置，具备：
图像取得部，被搭载于车辆，取得被配置为在摄影范围中包含所述车辆的车身的一部分的第一相机所摄影的图像、和对在由所述第一相机摄影的图像中由于所述车身的一部分而成为死角的死角区域进行摄影的第二相机以及第三相机所摄影的图像；以及合成部，对由所述第一相机摄影的图像的所述死角区域，合成由所述第二相机摄影的图像之中与所述死角区域对应的死角区域图像，所述图像处理装置具备：
三维信息取得部，通过所述第二相机和所述第三相机的立体视觉，取得表示后方车辆的形状的三维信息；以及保持部，保持在所述后方车辆的整体处于所述立体视觉的范围内时，所述后方车辆的整体的车辆形状信息，所述合成部在所述后方车辆的一部分成为所述立体视觉的范围外的情况下，使用所述三维信息取得部所取得的所述三维信息、和所述保持部所保持的所述后方车辆的整体的所述车辆形状信息，决定与进入了所述第二相机或所述第三相机的死角的所述后方车辆的一部分对应的所述三维信息，使用所决定的所述三维信息而对所述死角区域合成所述死角区域图像。
2.如权利要求1所述的图像处理装置，
所述合成部在所述后方车辆的一部分成为所述立体视觉的范围外的情况下，使用所决定的与所述后方车辆的一部分对应的所述三维信息、和所述三维信息取得部所取得的所述后方车辆的三维信息，将所述第二相机所摄影的图像变换为所述第一相机的视点，与由所述第一相机摄影的图像进行合成。
3.如权利要求1所述的图像处理装置，
所述后方车辆的三维信息包含通过所述立体视觉而测量的至后方车辆上的多个点为止的距离信息、或者基于至所述多个点为止的距离信息而得到的所述多个点的三维坐标信息。
4.如权利要求3所述的图像处理装置，
所述车辆形状信息包含所述后方车辆的整体处于所述立体视觉的范围内时的所述后方车辆的三维信息。
5.如权利要求1所述的图像处理装置，具有：
显示控制部，使所述合成部所合成的图像显示于对所述车辆的后方图像进行显示的显示部。
6.如权利要求1所述的图像处理装置，具备：
所述第一相机、所述第二相机、以及所述第三相机。
7.如权利要求1所述的图像处理装置，
所述第一相机是从所述车辆的侧方对所述车辆的后方进行摄影的相机，所述第二相机是从所述车辆的后方对所述车辆的后方进行摄影的广角相机，所述第三相机是从所述车辆的后方，以比所述第二相机窄的视场角对所述车辆的后方进行摄影的相机。
8.一种图像处理方法，是供以下系统执行的图像处理方法，该系统具备：第一相机，被搭载于车辆，被配置为在摄影范围中包含所述车辆的车身的一部分；
第二相机以及第三相机，对在由所述第一相机摄影的图像中由于所述车身的一部分而成为死角的死角区域进行摄影；以及图像处理装置，对由所述第一相机摄影的图像的所述死角区域，合成由所述第二相机摄影的图像之中与所述死角区域对应的死角区域图像，在所述图像处理方法中，所述图像处理装置执行：
三维信息取得处理，通过所述第二相机和所述第三相机的立体视觉，取得表示后方车辆的形状的三维信息；
保持处理，保持在所述后方车辆的整体处于所述立体视觉的范围内时，所述后方车辆的整体的车辆形状信息；
决定处理，在所述后方车辆的一部分成为所述立体视觉的范围外的情况下，使用在所述三维信息取得处理中取得的所述后方车辆的三维信息、和在所述保持处理中保持的所述后方车辆的整体的所述车辆形状信息，决定与进入了所述第二相机或所述第三相机的死角的所述后方车辆的一部分对应的所述三维信息；以及合成处理，使用所决定的所述三维信息，对所述死角区域合成所述死角区域图像。 说明书 : 图像处理装置、以及图像处理方法技术领域[0001] 本发明涉及图像处理装置、以及图像处理方法。背景技术[0002] 在被搭载于汽车等车辆的相机监视系统(CMS:CameraMonitoringSystem)中，有对侧相机的影像的本车辆部分合成后置相机的影像，使车身看起来透明的方法(以下，称为透视图)。[0003] 例如，已知将由对后方进行摄影的侧相机摄影的图像、和由以广角的方式对后方进行摄影的后置相机摄影的图像，基于至后方车辆为止的距离的信息进行视点变换并进行合成，显示合成后的图像的车辆周边监视装置(例如，参照专利文献1)。[0004] 在先技术文献[0005] 专利文献[0006] 专利文献1：特开2016‑175586号公报发明内容[0007] 发明要解决的课题[0008] 在这样的透视图中，为了将由侧相机摄影的图像、和由广角的后置相机摄影的图像漂亮地进行合成，希望使用后方车辆的三维信息(例如，至后方车辆上的多个点为止的距离等)对两个图像进行合成。[0009] 但是，在专利文献1中公开的技术中，基于由侧相机摄影的图像和由后置相机摄影的图像，测量与后方车辆之间的距离，因此后方车辆进入侧相机的死角，难以取得后方车辆的三维信息。[0010] 此外，作为其它方法，考虑利用对后方进行摄影的广角相机(用于停车时的后置监视等)、和通常的相机(用于厢内监视的替换等)，取得后方车辆的三维信息的方法。但是，在该方法中，通常的相机例如也在后方车辆接近到极近距离时，后方车辆的一部分进入死角，所以难以取得后方车辆的整体的三维信息。[0011] 这样，在以往的技术中，在后方车辆接近到极近距离时，使用后方车辆的三维信息，对由侧相机摄影的图像和由后置相机进行摄影的图像进行合成存在困难。[0012] 另外，这样的问题不限于侧相机和后置相机，在将摄影范围中包含车辆的一部分的第一相机的图像、和对所述第一相机的死角进行摄影的第二相机的图像使用后方车辆的三维信息进行合成的图像处理系统中共通地存在。[0013] 本发明的一实施方式是鉴于上述的问题点而完成的，即使在后方车辆接近到极近距离时，也使用后方车辆的三维信息，容易地对由第一相机摄影的图像和由第二相机摄影的图像进行合成。[0014] 用于解决课题的手段[0015] 为了解决上述课题，本发明的一实施方式所涉及的图像处理装置具备：图像取得部，被搭载于车辆，取得被配置为在摄影范围中包含所述车辆的车身的一部分的第一相机所摄影的图像、和对在由所述第一相机摄影的图像中由于所述车身的一部分而成为死角的死角区域进行摄影的第二相机以及第三相机所摄影的图像；以及合成部，对由所述第一相机摄影的图像的所述死角区域，合成由所述第二相机摄影的图像之中与所述死角区域对应的死角区域图像，所述图像处理装置具备：三维信息取得部，通过所述第二相机和所述第三相机的立体视觉，取得表示后方车辆的形状的三维信息；以及保持部，保持在所述后方车辆的整体处于所述立体视觉的范围内时，所述后方车辆的车辆形状信息，所述合成部在所述后方车辆的一部分成为所述立体视觉的范围外的情况下，使用所述三维信息取得部所取得的所述三维信息、和所述保持部所保持的所述车辆形状信息，决定与所述后方车辆的一部分对应的所述三维信息，使用所决定的所述三维信息而对所述死角区域合成所述死角区域图像。[0016] 发明效果[0017] 根据本发明的一实施方式，即使在后方车辆接近到极近距离时，也使用后方车辆的三维信息，容易地对由第一相机摄影的图像和由第二相机摄影的图像进行合成。附图说明[0018] 图1是表示一实施方式所涉及的图像处理系统的系统结构的一例的图。[0019] 图2是用于说明使用了虚拟投影面的透视图的图(1)。[0020] 图3是用于说明使用了虚拟投影面的透视图的图(2)。[0021] 图4是用于说明本发明的一实施方式所涉及的透视图的图。[0022] 图5是用于说明使用了三维信息的透视图的课题的图。[0023] 图6是用于说明一实施方式所涉及的图像处理装置的处理的概要的图。[0024] 图7是表示一实施方式所涉及的图像处理装置的硬件结构的一例的图。[0025] 图8是表示一实施方式所涉及的图像处理装置的功能结构的例的图。[0026] 图9是表示一实施方式所涉及的图像处理装置的处理的例的流程图。[0027] 图10是表示一实施方式所涉及的三维信息的取得处理的例的流程图。[0028] 标号说明[0029] 1图像处理系统[0030] 10车辆[0031] 100图像处理装置[0032] 101第一相机[0033] 102第二相机[0034] 103第三相机[0035] 211车身[0036] 801图像取得部[0037] 802三维信息取得部[0038] 803车辆形状信息保持部(保持部)[0039] 804合成部[0040] 805显示控制部具体实施方式[0041] 在以下，针对本发明的实施的方式，参照附图进行说明。[0042] ＜系统结构＞[0043] 图1是表示一实施方式所涉及的图像处理系统的系统结构的一例的图。在图1的例中，图像处理系统1包含被搭载于汽车等车辆10的、图像处理装置100、第一相机101、第二相机102、以及第三相机103等。[0044] 图像处理装置100例如是实现被搭载于汽车等车辆10的相机监视系统(CMS:CameraMonitoringSystem)的信息处理装置。图像处理装置100也可以是预先被搭载于车辆10的车载ECU(电子控制单元(ElectronicControlUnit))，也可以是能够在之后搭载于车辆10的信息处理装置。[0045] 第一相机101被配置为在摄影范围中包含车辆10的车身的一部分，是对车辆的后方的图像(影像)进行摄影，并向图像处理装置进行输出的相机。例如，第一相机101如图2的(A)所例示，被配置于车辆10的侧方，是如图2的(B)所示，对包含车辆10的车身211的一部分的后方的图像210进行摄影的侧相机等。[0046] 第二相机102、以及第三相机103是对包含在由第一相机101摄影的后方的图像210中由于车身211的一部分而成为死角的区域(以下，称为死角区域)的图像(影像)进行摄影，并向图像处理装置进行输出的相机。[0047] 第二相机102例如图2的(A)所例示，被配置于车辆10的后方，能够应用以如图2的(C)所示那样比第一相机101宽的视场角对后方的图像220进行摄影的广角相机或鱼眼相机等。[0048] 第三相机103例如被配置于车辆10的后方等，是以比第二相机102窄的视场角对车辆10的后方的图像进行摄影的相机。第三相机103例如能够应用对用于替换内置镜的图像进行摄影的相机等。第三相机103例如与第二相机相隔规定的距离而被配置，被用于使用第二相机所摄影的图像、和第三相机所摄影的图像通过立体视觉而对距离进行测量等。[0049] 图像处理装置100对在由第一相机101摄影的图像中由于车身211的一部分而成为死角的死角区域，合成由第二相机102摄影的图像之中与死角区域对应的死角区域图像，使显示后方的图像的显示部进行显示。由此，在被搭载于车辆10的相机监视系统中，图像处理装置100例如对侧相机的影像的本车辆部分合成后置相机的影像，实现使车身看起来透明的透视图。[0050] 另外，图1所示的图像处理系统1的系统结构是一例。例如，第一相机101、第二相机102、以及第三相机之中至少一部分也可以被包含于图像处理装置100。此外，侧相机、后置相机、用于替换内置镜的相机等是第一～三相机的一例，不限定于此。[0051] ＜使用了虚拟投影面的透视图＞[0052] 在此，在针对本实施方式所涉及的使用了三维信息的透视图进行说明之前，针对使用了虚拟投影面的透视图简单地进行说明。[0053] 图2、3是用于说明使用了虚拟投影面的透视图的图。如图2的(A)所示，设为在车辆10中，配置有第一相机101和第二相机102。[0054] 第一相机101作为一例，如2的(A)所示，被配置于与车辆10的侧镜对应的位置等，如图2的(B)所示，对与一般的侧镜同样的摄影范围201进行摄影。由此，第一相机101例如图2的(B)所示，对包含车辆10的车身211的一部分的后方的图像210进行摄影，并向图像处理装置100进行输出。[0055] 第二相机102作为一例，如图2的(A)所示，被配置于车辆10的后方，如图2的(C)所示，对比第一相机101视场角宽的摄影范围202进行摄影。由此，第二相机102例如图2的(C)所示，对包含在第一相机101所摄影的图像210中由于车身211的一部分而成为死角的死角区域的、更宽的范围的后方的图像220进行摄影，并向图像处理装置100进行输出。[0056] 图像处理装置100例如使用第二相机102所摄影的图像220进行图像辨识处理，若检测到后方车辆20，则如图3的(A)所示，测量至后方车辆20为止的距离d。例如，图像处理装置100与专利文献1中公开的技术同样地，通过第一相机101和第二相机102的立体视觉，测量至后方车辆20为止的距离d。[0057] 此外，图像处理装置100在从车辆10相隔距离d的位置上设定虚拟投影面301，向虚拟投影面301投影将由第二相机102摄影的图像220变换为第一相机101的视点的图像310。[0058] 进而，图像处理装置100例如对图3的(B)所例示的、投影至虚拟投影面301的图像310、和第一相机101所摄影的图像210进行合成。由此，例如，如图3的(C)所示，能够制成使车身看起来透明的透视图的后方图像320。所制成的后方图像320例如被输出并显示于在车辆10的仪表盘、或在A柱附近等设置的用于显示后方图像的显示部等。[0059] 通过该方法，例如图3的(C)所示，能够显示透视图的后方图像320。其中，在该方法中，例如能够将由第二相机102摄影的后方车辆20的图像与由第一相机101摄影的后方车辆20的图像准确地(漂亮地)合成的是，位于从车辆10相隔距离d的虚拟投影面301上的情况。例如，如图3的(A)所示，在后方车辆20的前格栅的中央部分设定了虚拟投影面301的情况下，至车辆10的引擎盖、前玻璃、侧面等为止的距离变得比距离d远，因此有时不能将后方车辆20准确地(漂亮地)进行合成。[0060] 因此，在本实施方式中，取得表示后方车辆20的形状的三维信息，使用所取得的三维信息，对由第一相机101摄影的后方车辆20的图像、和由第二相机102摄影的后方车辆20的图像进行合成。[0061] ＜使用了三维信息的透视图＞[0062] 图4是用于说明本发明的一实施方式所涉及的透视图的图。在本实施方式中，例如图4的(A)所示，对车辆10除了第一相机101、第二相机102外，还设置有第三相机103。[0063] 第三相机103例如与第二相机相隔规定的距离而被设置，被用于使用第二相机所摄影的图像、和第三相机所摄影的图像通过立体视觉而测量至后方车辆20上的任意的点为止的距离。[0064] 例如，图像处理装置100从由第二相机102摄影的后方车辆20的图像、和由第三相机103摄影的后方车辆20的图像的各个中，例如图4的(B)所示，提取多个特征点。此外，图像处理装置100以公知的三角测量的原理来测量至在由第二相机102摄影的后方车辆20的图像、和由第三相机103摄影的后方车辆20的图像中公共的多个特征点为止的距离。[0065] 由此，例如，通过将第二相机102和第三相机103在车辆10的后端隔开规定的距离而配置，能够测量从车辆10至后方车辆20上的多个特征点(以下，称为多个点)为止的距离。另外，将第二相机102和第三相机103配置于车辆10的后端并非必须。图像处理装置100能够测量从车辆10上的任意的点至后方车辆20上的多个点为止的距离即可。[0066] 在本实施方式中，将从该车辆10上的任意的点至后方车辆20上的多个点为止的距离信息，或者基于至多个点为止的距离信息而决定的三维坐标信息称为后方车辆20的三维信息。[0067] 通过该后方车辆20的三维信息，图像处理装置100能够掌握后方车辆20的形状。此外，图像处理装置100能够使用该后方车辆20的三维信息，将由第二相机102摄影的图像220投影至与由第一相机101摄影的图像210相同的平面上，并进行扩大、缩小、旋转等任意的坐标变换。[0068] 例如，在使用了图2、3中说明的图像投影面的透视图中，能够将由第一相机101摄影的后方车辆20的图像、和由第二相机102摄影的后方车辆20的图像准确地(漂亮地)合成是，仅虚拟投影面301上的部分。另一方面，在本实施方式所涉及的使用了三维信息的透视图中，能够将由第一相机101摄影的后方车辆20的图像、和由第二相机102摄影的后方车辆20的图像在后方车辆20上的多个点上准确地合成。[0069] ＜针对课题＞[0070] 图5是用于说明使用了三维信息的透视图的课题的图。如图5所示，后方车辆20与车辆10接近到极近距离的情况下，有时后方车辆20的一部分进入第三相机103的死角501。在这样的情况下，图像处理装置100不能从后方车辆20上的三维信息之中取得进入了第三相机103的死角501的部分的三维信息。因此，图像处理装置100在对由第一相机101摄影的后方车辆20的图像、和由第二相机102摄影的后方车辆20的图像进行合成时，有时不能对进入了第三相机103的死角501的部分准确地进行合成。[0071] ＜图像处理装置的处理的概要＞[0072] 图6是用于说明一实施方式所涉及的图像处理装置的处理的概要的图。[0073] 如图6的(A)所示，在后方车辆20没有进入第三相机103的死角501的情况下，图像处理装置100能够通过第二相机102和第三相机103的立体视觉，取得后方车辆20的整体的三维信息。此时，图像处理装置100将所取得的后方车辆20的整体的三维信息作为车辆形状信息601而保持至图像处理装置100的存储部610等。[0074] 此外，如图6的(B)所示，在后方车辆20进入了第三相机103的死角501的情况下，图像处理装置100通过第二相机102和第三相机103的立体视觉，取得后方车辆20的三维信息602。其中，在该情况下，不能从后方车辆20的三维信息之中，取得进入了第三相机103的死角501的、后方车辆20的一部分的三维信息603。[0075] 在该情况下，图像处理装置100使用所取得的后方车辆20的三维信息602、和存储部610中保持的后方车辆20的车辆形状信息601，决定进入了第三相机103的死角501的、后方车辆20的一部分的三维信息603。[0076] 例如，存储部610中保持的后方车辆20的车辆形状信息601与所述的后方车辆20的三维信息同样地，能够进行扩大/缩小、旋转等坐标变换。因此，图像处理装置100例如能够通过将存储部610中保持的车辆形状信息601配合于所取得的后方车辆的三维信息602而进行坐标变换，决定后方车辆20的一部分的三维信息603。[0077] 图像处理装置100能够使用所取得的后方车辆20的三维信息602、和所决定的后方车辆20的一部分的三维信息603，将由第二相机102摄影的图像220变换为第一相机101的视点。[0078] 这样，根据本实施方式，即使在后方车辆20接近到极近距离时，也容易地将由第一相机101摄影的图像210和由第二相机102摄影的图像220使用后方车辆20的三维信息进行合成。[0079] ＜硬件结构＞[0080] 在此，针对图像处理装置100的硬件结构的例进行说明。[0081] 图7是表示一实施方式所涉及的图像处理装置的硬件结构的一例的图。图像处理装置100具备一般的计算机的结构，例如，具有CPU(中央处理单元(CentralProcessingUnit))701、存储器702、储存设备703、通信I/F(接口(Interface))704、外部连接I/F705、显示装置706、输入装置707、GPU(图形处理单元(GraphicsProcessingUnit))708、以及系统总线709等。[0082] CPU701例如是通过执行储存设备703、存储器702等中存储的程序，执行图像处理装置100的各功能的运算装置。在存储器702中，例如包含被用作CPU701的工作区域等的挥发性的存储器即RAM(随机存取存储器(RandomAccessMemory))、或对图像处理装置100的启动用的程序等进行存储的非易失性的存储器即ROM(只读存储器(ReadOnlyMemory))等。[0083] 储存设备703例如是对OS(操作系统(OperatingSystem))、应用程序、以及各种数据进行存储的大电容的存储装置，例如通过HDD(硬盘驱动器(HardDiskDrive))、SSD(固态驱动器(SolidStateDrive))等来实现。[0084] 通信I/F704是用于与外部装置进行通信的接口。例如，通信I/F704将图像处理装置100与车载网络进行连接，能够进行与被搭载于车辆10的一个以上的ECU、相机等的通信。此外，通信I/F704也可以能够通过无线LAN(局域网(LocalAreaNetwork))、或近距离无线通信等进行与外部装置的通信。[0085] 外部连接I/F705是用于在图像处理装置100上连接外部装置的接口。在外部连接I/F705中，例如能包含用于在图像处理装置100上，连接第一～三相机的接口、连接对后方的图像进行显示的显示装置的接口、以及连接外部存储装置的接口等。[0086] 在显示装置706中，例如能包含对图像处理装置100所合成的后方的图像进行显示的显示器、或对动作状态、警告等信息进行显示的LED(发光二极管(LightEmittingDiode))等显示设备。在输入装置707中，能包含受理利用者的输入操作的触摸面板、操作按钮、电源按钮等。[0087] GPU708是在图像处理装置100所执行的处理之中主要进行与图像处理相关的运算的运算装置。另外，图像处理装置100也可以将图像处理由CPU701来执行。在该情况下，图像处理装置100也可以不具有GPU708。[0088] 系统总线709与上述的各结构元素进行连接，例如，传输地址信号、数据信号、以及各种控制信号等。另外，图7所示的图像处理装置100的硬件结构是一例，图像处理装置100也可以是具备计算机的结构的各种各样的硬件结构。[0089] ＜功能结构＞[0090] 接下来，针对图像处理装置100的功能结构进行说明。图8是表示一实施方式所涉及的图像处理装置的功能结构的例的图。图像处理装置100例如具有图像取得部801、三维信息取得部802、车辆形状信息保持部803、合成部804、以及显示控制部805等。[0091] 图像取得部801例如通过由图7的CPU701执行的程序来实现，持续地取得第一相机101所摄影的图像210、第二相机102所摄影的图像220、以及第三相机103所摄影的图像(影像)。例如，图像取得部801使用图7的外部连接I/F705、或者通信I/F704等，取得从第一～三相机输出的图像。[0092] 三维信息取得部802例如通过由图7的CPU701执行的程序、GPU708等来实现，通过第二相机102和第三相机103的立体视觉，取得后方车辆20的三维信息。例如，三维信息取得部802使用从第二相机102取得的图像、和从第三相机103取得的图像，通过公知的立体匹配，测量至后方车辆20上的多个点(特征点)为止的距离。此外，三维信息取得部802作为后方车辆20的三维信息而取得至后方车辆20上的多个点为止的距离信息、或者基于至多个点为止的距离信息而决定的三维坐标。[0093] 车辆形状信息保持部(保持部)803例如通过由图7的CPU701执行的程序来实现。车辆形状信息保持部803在后方车辆20的整体位于基于第二相机102和第三相机103的立体视觉的范围内时，将后方车辆20的车辆形状信息601例如保持至图7的存储器702、储存设备703等存储部610。[0094] 例如，三维信息取得部802在如图6的(A)所说明那样，后方车辆20没有进入第三相机103的死角501的情况下，能够通过第二相机102和第三相机103的立体视觉而取得后方车辆20的整体的三维信息。在该情况下，车辆形状信息保持部803判断为后方车辆20的整体位于基于第二相机102和第三相机103的立体视觉的范围内，将所取得的后方车辆20的整体的三维信息作为车辆形状信息601而临时地存储至存储部610。[0095] 合成部804例如通过由图7的CPU701执行的程序、GPU708等来实现，对由第一相机101摄影的图像210的死角区域，合成由第二相机102摄影的图像220之中与死角区域对应的死角区域图像。[0096] 例如，合成部804在后方车辆20的整体处于立体视觉的范围内的情况下，使用三维信息取得部802所取得的后方车辆20的整体的三维信息，将第二相机102所摄影的图像220坐标变换(视点变换)为第一相机101的视点。此外，合成部804对由第一相机101摄影的图像210之中在车身211上成为死角的死角区域，合成变换后的图像之中与死角区域对应的死角区域图像，制成例如图3的(C)所示的透视图的后方图像320。[0097] 另一方面，合成部804在后方车辆20的一部分成为立体视觉的范围外的情况下，如在图6中前述的那样，使用作为所取得的后方车辆20的三维信息602而保持的后方车辆20的车辆形状信息601来决定后方车辆20的一部分的三维信息603。[0098] 例如，车辆形状信息保持部803所保持的后方车辆20的车辆形状信息601与所述的后方车辆20的三维信息同样地，能够进行扩大/缩小、旋转等坐标变换。因此，合成部804例如能够通过将车辆形状信息保持部803所保持的车辆形状信息601，匹配于所取得的后方车辆的三维信息602的朝向以及大小而进行坐标变换，从而决定后方车辆20的一部分的三维信息603。[0099] 合成部804使用所取得的后方车辆20的三维信息602、和所决定的后方车辆20的一部分的三维信息603，将第二相机102所摄影的图像220坐标变换(视点变换)为第一相机101的视点。此外，合成部804对由第一相机101摄影的图像210之中在车身211上成为死角的死角区域，合成变换后的图像之中与死角区域对应的死角区域图像，制成例如图3的(C)所示的透视图的后方图像320。[0100] 显示控制部805例如通过由图7的CPU701执行的程序来实现，将合成部804所制成的后方图像320输出至对后方图像进行显示的显示部，并使其进行显示。[0101] ＜处理的流程＞[0102] 接下来，针对本实施方式所涉及的图像处理系统1的图像处理方法的处理的流程进行说明。[0103] (图像处理装置的处理)[0104] 图9是表示一实施方式所涉及的图像处理装置的处理的例的流程图。该处理例如表示车辆10在正行驶时，图像处理装置100反复执行的处理的例。另外，设为在正在执行该处理的期间，第一相机101对图2的(B)所示的后方的图像210(影像)持续地进行摄影，并进行输出。此外，设为第二相机102对图2的(C)所示的后方的图像220(影像)持续地进行摄影，并进行输出。进而，设为第三相机103以比第二相机102窄的视场角，对车辆10的后方的图像(影像)持续地进行摄影，并进行输出。[0105] 在步骤S901中，图像取得部801取得第一～三相机所摄影的图像。[0106] 在步骤S902中，三维信息取得部802通过第二相机102和第三相机103的立体视觉，取得处于车辆10的后方的后方车辆20的三维信息。另外，针对三维信息取得部802所进行的三维信息的取得处理，在图10中详细叙述。[0107] 在步骤S903中，图像处理装置100判断是否有后方车辆20。例如，图像处理装置100也可以在三维信息取得部802已取得后方车辆20的三维信息的情况下，判断为有后方车辆20，在未取得后方车辆20的三维信息的情况下，判断为没有后方车辆20。[0108] 在有后方车辆20的情况下，图像处理装置100使处理转移至步骤S904。另一方面，在没有后方车辆20的情况下，图像处理装置100使处理转移至步骤S910。[0109] 若转移至步骤S904，则车辆形状信息保持部803判断三维信息取得部802是否已取得后方车辆20的整体的三维信息。[0110] 在已取得后方车辆20的整体的三维信息的情况下，车辆形状信息保持部803判断为后方车辆20的整体处于基于第二相机102和第三相机103的立体视觉的范围内，使处理转移至步骤S905。另一方面，在未取得后方车辆20的全部三维信息的情况下，车辆形状信息保持部803例如判断为后方车辆20的一部分成为基于第二相机102和第三相机103的立体视觉的范围外，使处理转移至步骤S906。[0111] 若转移至步骤S905，则车辆形状信息保持部803将三维信息取得部802所取得的后方车辆20的三维信息作为后方车辆20的车辆形状信息601而保持(存储)至存储器702、储存设备703等存储部610。[0112] 另一方面，若从步骤S904转移至步骤S906，则图像处理装置100判断是否通过车辆形状信息保持部803，保持有后方车辆20的车辆形状信息601。[0113] 在保持有车辆形状信息601的情况下，图像处理装置100使处理转移至步骤S907。另一方面，在没有保持车辆形状信息601的情况下，图像处理装置100使处理转移至步骤S912。[0114] 若转移至步骤S907，则合成部804根据三维信息取得部802所取得的后方车辆20的三维信息、和车辆形状信息保持部803所保持的车辆形状信息，决定(估计)后方车辆20的整体的三维信息。[0115] 例如，合成部804将在图6的(B)中进入死角501而不能取得的后方车辆20的一部分的三维信息603，使用所取得的后方车辆20的三维信息602、和所保持的后方车辆20的车辆形状信息601进行决定。此外，合成部804对所取得的后方车辆20的三维信息602、和所决定的后方车辆20的一部分的三维信息603进行组合，决定后方车辆20的整体的三维信息。[0116] 或者，合成部804也可以通过使所保持的后方车辆20的车辆形状信息601扩大/缩小、旋转，与所取得的后方车辆20的三维信息602朝向，大小等一致，从而决定后方车辆20的整体的三维信息。[0117] 若从步骤S905或者步骤S907转移至步骤S908，则合成部804使用后方车辆20的整体的三维信息，将第二相机102所摄影的图像视点变换(坐标变换)为第一相机101的视点。[0118] 另一方面，若从步骤S906转移至步骤S909，则合成部804使用在步骤S902中取得的后方车辆20的一部分的三维信息，将第二相机102所摄影的图像坐标变换(视点变换)为第一相机101的视点。[0119] 此外，若从步骤S903转移至步骤S910，则车辆形状信息保持部803若有所保持的车辆形状信息则进行丢弃。此外，在步骤S911中，合成部804不使用后方车辆20的三维信息，将第二相机102所摄影的图像坐标变换(视点变换)为第一相机101的视点。[0120] 在步骤S912中，合成部804对由第一相机摄影的图像、和在步骤S908、S909、S911中视点变换的第二相机102的图像进行合成，制成例如图3的(C)所示的透视图的后方图像320。此外，显示控制部805将合成部804所制成的后方图像320输出至车辆10所具备的对后方图像进行显示的显示部，并使其进行显示。[0121] 另外，例如，认为在如图6的(B)所示那样后方车辆20接近车辆10的极近距离之前，如图6的(A)所示能够取得后方车辆20的整体的三维信息的情况较多。因此，图像处理装置100通过反复执行图9的处理，即使在后方车辆20接近到极近距离时，也能够使用后方车辆20的三维信息，容易地对由第一相机101摄影的图像和由第二相机102摄影的图像进行合成。[0122] (三维信息的取得处理)[0123] 图10是表示一实施方式所涉及的三维信息的取得处理的例的流程图。该处理例如表示在图9的步骤S902中，三维信息取得部702所执行的维信息的取得处理的例子。[0124] 在步骤S1001中，三维信息取得部702使用第二相机102、或者第三相机103所摄影的图像，通过图像辨识而检测后方车辆20。[0125] 在步骤S1002中，三维信息取得部702在已检测到后方车辆20的情况下，执行步骤S1003以后的处理。另一方面，三维信息取得部702在未检测到后方车辆20的情况下，中止步骤S1003以后的处理的执行。[0126] 在步骤S1003中，三维信息取得部702从由第二相机102摄影的后方车辆20的图像、和由第三相机103摄影的后方车辆20的图像的各个，提取例如图4的(B)所示多个特征点。[0127] 在步骤S1004中，三维信息取得部702通过立体视觉进行测量至在由第二相机102摄影的后方车辆20的图像、和由第三相机103摄影的后方车辆20的图像中公共的多个特征点为止的距离。[0128] 在步骤S1005中，三维信息取得部702作为后方车辆20的三维信息而取得至所测量的多个特征点为止的距离信息、或者基于至多个特征点为止的距离信息的三维坐标信息。[0129] 通过上述的处理，图像处理装置100能够使用第二相机102所摄影的图像、和第三相机103所摄影的图像，取得表示后方车辆20的形状的三维信息。[0130] 此外，图像处理装置100在后方车辆20的整体处于第二相机102和第三相机103的立体视觉的范围内时，取得后方车辆20的三维信息，从而能够取得表示后方车辆20的车辆形状的车辆形状信息。[0131] 进而，图像处理装置100在后方车辆20的一部分进入了第三相机103的死角501时，能够使用车辆形状信息，对与进入了死角501的后方车辆20的一部分对应的三维信息进行决定(估计)。[0132] 因此，根据本实施方式所涉及的图像处理装置100，即使在后方车辆20接近到极近距离时，也使用后方车辆20的三维信息，容易地对由第一相机101摄影的图像和由第二相机102摄影的图像进行合成。[0133] 以上，针对本发明的一实施方式进行了说明，但本发明并非限定于上述的实施方式，在权利要求书中记载的本发明的要旨的范围内，能够进行各种各样的变形或变更。

专利地区：日本

专利申请日期：2020-05-06

专利公开日期：2024-07-26

专利公告号：CN111918020B