校正装置、校正方法、行车记录仪、车辆以及存储介质

专利名称：校正装置、校正方法、行车记录仪、车辆以及存储介质

专利类型：发明专利

专利申请号：CN202210198617.3

专利申请（专利权）人：本田技研工业株式会社
权利人地址：日本东京都港区南青山2-1-1

专利发明（设计）人：安井裕司

专利摘要：本发明涉及校正装置、校正方法、行车记录仪、车辆以及存储介质。对视线检测处理进行校正的校正装置具备：判定部，判定能否检测到用户的眼瞳；指示部，指示用户看向多个位置；获取部，获取用户看着各个位置时的面部的图像；以及校正部，基于面部的图像对视线检测处理进行校正。校正装置执行：第一校正处理，指示移动面部并看向多个位置，基于用户看着单个位置时的面部的图像对视线检测处理进行校正；以及第二校正处理，指示不移动面部并看向多个位置，基于用户看着单个位置时的面部的图像对视线检测处理进行校正。在判定为能检测到眼瞳的情况下执行第一和第二校正处理，在判定为无法检测到眼瞳的情况下执行第一校正处理，不执行第二校正处理。

主权利要求：
1.一种校正装置，其对用户的视线检测处理进行校正，在所述校正装置中，具备：判定单元：其判定是否能够检测到所述用户的眼瞳；
指示单元，其指示所述用户看向多个位置的各个位置；
获取单元，其针对所述多个位置的各个位置，获取所述用户看着各个位置时的面部的图像；以及校正单元，其基于所述用户的面部的图像，对视线检测处理进行校正，所述校正装置能够执行如下处理：第一校正处理，所述指示单元指示移动面部并看向所述多个位置的各个位置，所述校正单元基于所述用户根据该指示而看着单个位置时的面部的图像，对所述视线检测处理进行校正；以及第二校正处理，所述指示单元指示不移动面部并看向所述多个位置的各个位置，所述校正单元基于所述用户根据该指示而看着单个位置时的面部的图像，对所述视线检测处理进行校正，所述校正装置在由所述判定单元判定为能够检测到所述用户的眼瞳的情况下，执行所述第一校正处理和所述第二校正处理这两方，所述校正装置在由所述判定单元判定为无法检测到所述用户的眼瞳的情况下，执行所述第一校正处理，不执行所述第二校正处理。
2.根据权利要求1所述的校正装置，其特征在于，所述判定单元在所述用户戴着太阳镜的情况下，判定为无法检测到所述用户的眼瞳。
3.根据权利要求1所述的校正装置，其特征在于，所述多个位置包括所述用户乘坐的车辆的前窗的角落。
4.根据权利要求1所述的校正装置，其特征在于，所述指示单元在指示所述用户看向所述多个位置之前，指示所述用户握持方向盘。
5.一种行车记录仪，其作为根据权利要求1至4中的任一项所述的校正装置发挥功能。
6.一种车辆，其内置作为根据权利要求1至4中的任一项所述的校正装置发挥功能的控制装置。
7.一种存储介质，其存储程序，该程序用于使计算机作为根据权利要求1至4中的任一项所述的校正装置的各单元发挥功能。
8.一种校正方法，在校正装置中对用户的视线检测处理进行校正，在所述校正方法中，所述校正装置能够执行以下处理：第一校正处理，指示移动面部并看向多个位置的各个位置，基于所述用户根据该指示而看着单个位置时的面部的图像，对视线检测处理进行校正，以及第二校正处理，指示不移动面部并看向多个位置的各个位置，基于所述用户根据该指示而看着单个位置时的面部的图像，对视线检测处理进行校正，所述校正方法包括：
判定工序，判定是否能够检测到所述用户的眼瞳；
第一执行工序，在所述判定工序中在判定为能够检测到所述用户的眼瞳的情况下，执行所述第一校正处理和所述第二校正处理这两方；以及第二执行工序，在所述判定工序中在判定为无法检测到所述用户的眼瞳的情况下，执行所述第一校正处理，不执行所述第二校正处理。 说明书 : 校正装置、校正方法、行车记录仪、车辆以及存储介质技术领域[0001] 本发明涉及校正装置、校正方法、行车记录仪、车辆以及存储介质。背景技术[0002] 为了对车辆的乘员提供适当的服务，或者记录乘员的工作，有时将用于对乘员的视线进行检测的视线检测装置搭载于车辆。视线检测装置基于人的面部的图像来检测该人的视线。作为用于提高视线检测的精度的方法，在专利文献1记载有对视线的检测结果进行校正(校准)的技术。[0003] 现有技术文献[0004] 专利文献[0005] 专利文献1：日本特开2017‑129898号公报发明内容[0006] 发明所要解决的问题[0007] 车辆的乘员(特别是驾驶员)根据车辆的速度，以不同的特性来移动视线。因此，也根据各自的特性来进行对视线检测处理的校正。另外，也存在乘员戴着太阳镜的情况等无法检测到乘员的眼瞳的情况。适当地进行校正能够提高视线检测的精度。本发明的一部分的方面的目的在于，提供用于提高视线检测的精度的技术。[0008] 用于解决问题的方案[0009] 鉴于上述问题，根据一部分的实施方式，提供一种校正装置，其对用户的视线检测处理进行校正，在所述校正装置中，具备：判定单元，其判定是否能够检测到所述用户的眼瞳；指示单元，其指示所述用户看向多个位置的各个位置；获取单元，其针对所述多个位置的各个位置，获取所述用户看着各个位置时的面部的图像；以及校正单元，其基于所述用户的面部的图像，对视线检测处理进行校正，所述校正装置能够执行：第一校正处理，所述指示单元指示移动面部并看向所述多个位置的各个位置，所述校正单元基于所述用户根据该指示而看着单个位置时的面部的图像，对所述视线检测处理进行校正；以及第二校正处理，所述指示单元指示不移动面部并看向所述多个位置的各个位置，所述校正单元基于所述用户根据该指示而看着单个位置时的面部的图像，对所述视线检测处理进行校正，所述校正装置在由所述判定单元判定为能够检测到所述用户的眼瞳的情况下，执行所述第一校正处理和所述第二校正处理这两方，在由所述判定单元判定为无法检测到所述用户的眼瞳的情况下，执行所述第一校正处理，不执行所述第二校正处理。[0010] 根据其它一部分的实施方式，提供一种在校正装置中对用户的视线检测处理进行校正的方法，所述校正装置能够执行：第一校正处理，指示移动面部并看向多个位置的各个位置，基于所述用户根据该指示而看着单个位置时的面部的图像，对视线检测处理进行校正；以及第二校正处理，指示不移动面部并看向多个位置的各个位置，基于所述用户根据该指示而看着单个位置时的面部的图像，对视线检测处理进行校正，所述方法包括：判定工序，判定是否能够检测到所述用户的眼瞳；第一执行工序，在所述判定工序中在判定为能够检测到所述用户的眼瞳的情况下，执行所述第一校正处理和所述第二校正处理这两方；以及第二执行工序，在所述判定工序中在判定为无法检测到所述用户的眼瞳的情况下，执行所述第一校正处理，不执行所述第二校正处理。[0011] 发明的效果[0012] 通过上述技术，提高视线检测的精度。附图说明[0013] 图1是说明本公开的一部分的实施方式的车辆的结构例的示意图。[0014] 图2是说明本公开的一部分的实施方式的行车记录仪的结构例的框图。[0015] 图3是说明本公开的一部分的实施方式的车厢内的图像例的图。[0016] 图4是说明本公开的一部分的实施方式的行车记录仪的工作例的流程图。[0017] 图5是说明本公开的一部分的实施方式的行车记录仪的工作例的流程图。[0018] 图6是说明本公开的一部分的实施方式的驾驶员的视线的运动的示意图。[0019] 图7是说明本公开的一部分的实施方式的行车记录仪的工作例的流程图。具体实施方式[0020] 以下，参照附图，详细说明实施方式。此外，以下的实施方式并非用于限定权利要求涉及的发明，另外，发明也不需要实施方式中说明的全部特征的组合。也可以是，将实施方式中说明的多个特征中的两个以上特征任意组合。另外，对同一或同样的结构附加同一附图标记，省略重复的说明。[0021] 本发明的一部分的实施方式涉及用于对车辆的用户的视线进行检测的视线检测装置。视线检测装置作为基于用户的面部的图像来对视线检测处理进行校正的校正装置发挥功能。在以下的说明中，说明用户为车辆的乘员的实施方式。即，视线检测以及校正在车内进行。但是，以下的实施方式也能够应用于其它环境中的视线检测以及校正。车辆通常为四轮车。但是，以下的实施方式也可以应用于其它类型的车辆。车辆的乘员通常为车辆的驾驶员。但是，以下的实施方式也可以应用于驾驶员以外的乘员，例如乘坐于副驾驶座的乘员。在以下的说明中，说明对驾驶员作为车辆的乘员而进行视线检测的情况。[0022] 参照图1说明视线检测装置的安装位置的例子。在车辆100安装有行车记录仪101。在图1的例子中，行车记录仪101安装于车辆100的车内后视镜。行车记录仪101的安装位置不限于此，也可以是能够对车辆100的乘员的面部进行拍摄的任意的位置。行车记录仪101作为视线检测装置发挥功能。[0023] 行车记录仪101既能够作为单体进行工作，也能够与车辆100的控制装置(例如，控制ECU(ElectronicControlUnit：电子控制单元)102)协同工作。在行车记录仪101能够作为单体进行工作的情况下，行车记录仪101也可以从车辆100接受电力的供给。[0024] 参照图2，说明行车记录仪101的结构例。行车记录仪101具备处理器201、存储装置202、前方用摄像机203、车内用摄像机204、输入装置205、输出装置206以及通信装置207。[0025] 处理器201控制行车记录仪101整体的工作。处理器201例如也可以由CPU(CentralProcessingUnit：中央处理器)实现。存储装置202存储与行车记录仪101的工作关连的数据。例如，存储装置202也可以存储规定行车记录仪101的工作的程序、执行该程序时的临时数据、由前方用摄像机203以及车内用摄像机204拍摄到的图像、驾驶员的视线检测的结果等。存储装置202也可以由RAM(RandomAccessMemory：随机存取存储器)、ROM(ReadOnlyMemory：只读存储器)等存储器实现。还有，存储装置202也可以包括SSD(SolidStateDrive：固态硬盘)等辅助存储装置。[0026] 前方用摄像机203是用于对车辆100的前方的情景进行拍摄的摄像机。前方用摄像机203例如也可以是广角摄像机。前方用摄像机203位于行车记录仪101的前侧(车辆100前方侧)的位置。车内用摄像机204是用于对车辆100的车厢内的情景进行拍摄的摄像机。车内用摄像机204例如也可以是鱼眼摄像机。车内用摄像机204位于行车记录仪101的后侧(车辆100后方侧)的位置。[0027] 输入装置205是用于输入来自车辆100的乘员的指示的装置。输入装置205例如能够由按钮、触摸面板等实现。输出装置206是用于向车辆100的乘员输出信息的装置。输出装置206也可以是提供视觉信息的显示装置(例如，液晶显示器、指示器)，也可以是提供听觉信息的音响装置(例如，喇叭)，也可以包括这两者。行车记录仪101具有输出装置206，也可以是，取而代之或者除此之外，行车记录仪101对车辆100进行指示来输出信息。接受到指示的车辆100从自身的输出装置(未图示)向乘员输出信息。[0028] 通信装置207是行车记录仪101用于与其它装置(例如，控制ECU102)进行通信的装置。通信装置207可以与其它装置进行有线通信，也可以与其它装置进行无线通信。无线通信也可以是符合短距离通信(例如，Bluetooth(蓝牙，注册商标))等协议的通信。也能够省略通信装置207。[0029] 图3的(A)是示出由行车记录仪101的车内用摄像机204拍摄到的图像300的一例。在图像300中，拍摄有车辆100的车厢内情形，具体来说，拍摄有驾驶员301。在该实施例中车辆100为右方向盘，因此驾驶员301位于图像300的左侧的位置。车辆100如果为左方向盘，则与之相反。图3的(B)是示出由行车记录仪101的车内用摄像机204拍摄到的图像310的其它例。图像310在驾驶员301戴着太阳镜311这点与上图像300不同。[0030] 然后，说明行车记录仪101执行的视线检测处理。视线检测处理是对驾驶员的视线(正在看着哪里)进行检测的处理。通过对由车内用摄像机204拍摄到的驾驶员的面部的图像进行分析来进行视线检测处理。[0031] 一般来讲，车辆的驾驶员有如下倾向：如果在车辆停止中则移动面部使视线朝向对象物，如果在车辆行驶中则尽量不移动面部(保持使面部朝向正面的状态)而仅移动眼瞳来使视线朝向对象物。因而，行车记录仪101考虑车辆100的速度来进行视线检测处理。例如，在车辆100的速度为零的情况下，行车记录仪101优先以面部的方向进行视线检测处理。以下，将这样的优先以面部的方向进行的视线检测处理称为面部优先处理。在车辆100的速度不为零的情况下，行车记录仪101优先以眼瞳的方向进行视线检测处理。以下，将这样的优先以眼瞳的方向进行的视线检测处理称为眼瞳优先处理。眼瞳可以是虹膜，也可以是瞳孔，还可以是虹膜和瞳孔的组合。[0032] 行车记录仪101也可以使用与既有方法同样的方法来进行面部优先处理以及眼瞳优先处理。例如，行车记录仪101也可以如下那样来执行这些处理。在一部分的实施方式中，为了执行面部优先处理，行车记录仪101基于图像中包括的驾驶员的面部的轮廓的各部分(眼睛、鼻子、嘴等)的位置来检测驾驶员的视线。也可以是，在面部优先处理中，不考虑眼瞳的位置，对基于眼瞳位置的视线分配低权重。为了执行眼瞳优先处理，行车记录仪101基于图像中包括的、驾驶员的眼睛中眼瞳的位置来检测驾驶员的视线。也可以是，在眼瞳优先处理中，不考虑面部的方向，对基于面部方向的视线分配低权重。[0033] 在其它实施方式中，也可以是，行车记录仪101基于通过机器学习得到的模型来进行面部优先处理以及眼瞳优先处理。例如也可以是，在行车记录仪101的存储装置202存储有以下两个模型的DNN(DeepNeuralNetwork：深度神经网络)模型：将驾驶员移动面部并使视线朝向对象物而获得的驾驶员的图像作为训练数据来学习的模型(以下，称为面部优先模型)；以及将驾驶员尽量不移动面部而仅移动眼瞳并使视线朝向对象物而获得的驾驶员的图像作为训练数据来学习的模型(以下，称为眼瞳优先模型)。为了执行面部优先处理，行车记录仪101将获取到的驾驶员的图像应用于面部优先模型来检测驾驶员的视线。为了执行眼瞳优先处理，行车记录仪101将获取到的驾驶员的图像应用于眼瞳优先模型来检测驾驶员的视线。[0034] 也可以是，行车记录仪101基于车辆100的速度，对面部优先处理与眼瞳优先处理进行择一地选择。例如也可以是，在车辆100的速度为零的情况下行车记录仪101执行面部优先处理，在车辆100的速度不为零的情况下行车记录仪101执行眼瞳优先处理。也可以是，取而代之，行车记录仪101使用作为车辆100的速度的函数而得到的权重，对面部优先处理的结果和眼瞳优先处理的结果进行加权，由此检测视线。行车记录仪101可以基于前方用摄像机203或者车内用摄像机204拍摄的图像来确定车辆100的速度，也可以从车辆100获取车辆100的速度。[0035] 为了提高视线检测的精度，行车记录仪101对视线检测处理进行校正(校准)。校正是为了使由行车记录仪101识别的视线与实际的视线之间的误差减轻而对视线检测处理的参数进行调整的处理。具体来说，行车记录仪101指示驾驶员看向特定的校正位置(例如，正面、前窗的角落)，并且将校正位置与正在看着校正位置的驾驶员的面部的图像相关连。校正位置是为了进行校正而对驾驶员指示的要看向的位置。行车记录仪101对面部优先处理与眼瞳优先处理分别进行个别地校正。也可以是，先执行面部优先处理以及眼瞳优先处理中的某一者。[0036] 参照图4说明面部优先处理的校正方法。可以是，行车记录仪101的处理器201执行从存储装置202(具体来讲，存储器)读出的程序，来进行图4的工作。也可以是，取而代之，由如ASIC(ApplicationSpecificIntegratedCircuit：专用集成电路)、FPGA(FieldProgrammableGateArray：现场可编程门阵列)那样的专用电路来执行图4的一部分或者全部工作。也可以是，根据接受到驾驶员发出的校正开始的指示而开始图4的工作。为了确保安全，在车辆停止中进行校正。[0037] 在步骤S401中，处理器201指示驾驶员采取驾驶中的姿态。例如通过输出装置206(例如，喇叭)，向乘员输出该指示。以下，也可以用同样的方式向驾驶员输出指示。驾驶中的姿态例如是与驾驶中同样地坐在座椅上并握持方向盘的姿态。处理器201例如对驾驶员进行“请用双手握方向盘，保持驾驶姿态。”这样的通知，来作为用于使驾驶员采取这样的姿态的指示。可以用声音来进行该通知，也可以通过在显示器上显示来进行该通知。[0038] 在步骤S402中，处理器201选择事先设定的多个校正位置中的、未处理的一个校正位置。例如，事先设定的多个校正位置包括驾驶员的正面、前窗的四个角落。多个校正位置也可以不包括这些中的一部分，也可以包括其它位置。该多个校正位置的设定事先存储于存储装置202。未处理的校正位置是没有进行在后记述的步骤S403以及S404的处理的校正位置。[0039] 在步骤S403中，处理器201指示驾驶员移动面部并看向所选择的一个校正位置(例如，前窗的右上)。之后，处理器201在既定时间内待机，该既定时间是考虑到驾驶员移动视线所需要的时间。也可以是，取而代之，处理器201基于来自车内用摄像机204的图像，判定驾驶员的面部的方向开始移动并且之后停止的情形。移动面部并看向校正位置的指示也可以是明确地包括例如“请移动面部并看向前窗的右上。”这样的移动面部的指示。也可以是，取而代之，移动面部并看向校正位置的指示是隐含地包括例如“请自然地看向前窗的右上。”这样的移动面部的指示。执行该步骤时车辆处于停止中。因此，考虑到驾驶员如果被指示自然地看，则会移动面部并看向校正位置。[0040] 在步骤S404中，处理器201获取由车内用摄像机204拍摄的驾驶员的图像。该图像包括正在看着所指示的校正位置的驾驶员的面部。之后，处理器201将获取到的图像与所选中的校正位置相关连地存储于存储装置202。[0041] 在步骤S405中，处理器201判定在事先设定的多个校正位置中是否残留有未处理的校正位置。在残留有未处理的校正位置的情况下(在步骤S405中“是”)，处理器201使处理返回步骤S402，并重复步骤S402～S405。在没有残留未处理的校正位置的情况下(在步骤S405中“否”)，处理器201使处理移至步骤S406。[0042] 在步骤S406中，处理器201基于与多个校正位置关连地存储于存储装置202的驾驶员的面部的图像，对面部优先处理进行校正。例如，也可以是，处理器201基于图像间的面部方向的移动量(移动角度)以及校正位置间的距离，调整视线的移动距离相对于面部方向的移动量而言的比率。在通过机器学习进行面部优先处理的情况下，处理器201例如通过以下方式进行校正。首先，作为DNN的模型，选择具有能够对DNN的输出进行校正的输入参数的模型。处理器201在校正时以使DNN的输出与实际的校正位置之间的误差为最小的方式调整该参数。校正位置间的距离会因车种而不同，因此可以事先存储于存储装置202。[0043] 参照图5说明眼瞳优先处理的校正方法。可以是，行车记录仪101的处理器201执行从存储装置202(具体来讲，存储器)读出的程序，由此进行图5的工作。也可以是，取而代之，由如ASIC、FPGA这样的专用电路来执行图5的一部分或者全部工作。也可以是，根据接受到驾驶员发出的校正开始的指示而开始图5的工作。为了确保安全，在车辆停止中进行校正。[0044] 在步骤S501中，处理器201指示驾驶员采取驾驶中的姿态。步骤S501也可以与步骤S401同样。[0045] 在步骤S502中，处理器201选择事先设定的多个校正位置中的、未处理的一个校正位置。步骤S502也可以与步骤S402同样。对眼瞳优先处理的校正中的多个校正位置与对面部优先处理的校正中的多个校正位置可以相同，也可以不同。[0046] 在步骤S503中，处理器201指示驾驶员不移动面部并看向所选择的一个校正位置(例如，前窗的右上)。之后，处理器201在既定时间内待机，该既定时间是考虑到驾驶员移动视线所需要的时间。也可以是，取而代之，处理器201基于来自车内用摄像机204的图像，判定驾驶员的眼瞳的位置开始移动并且之后停止的情形。不移动面部并看向校正位置的指示可以明确地包括例如“请不移动面部并看向前窗的右上。”这样的不移动面部的指示。也可以是，取而代之，不移动面部并看向校正位置的指示可以隐含地包括例如“请仅用眼睛看向前窗的右上。”这样的不移动面部的指示。[0047] 在步骤S504中，处理器201获取由车内用摄像机204拍摄到的驾驶员的图像。该图像包括正在看着校正位置的驾驶员的面部(特别是，眼瞳)。之后，处理器201将获取到的图像与所选中的校正位置相关连地存储于存储装置202。[0048] 在步骤S505中，处理器201判定事先设定的多个校正位置中是否残留有未处理的校正位置。在残留有未处理的校正位置的情况下(在步骤S505中“是”)，处理器201使处理返回步骤S502，并重复步骤S502～S505。在没有残留未处理的校正位置的情况下(在步骤S505中“否”)，处理器201使处理移至步骤S506。[0049] 在步骤S506中，处理器201基于与多个校正位置关连地存储于存储装置202的驾驶员的面部的图像，对眼瞳优先处理进行校正。例如，也可以是，处理器201基于图像间的眼瞳的移动量(移动角度)以及校正位置间的距离，调整视线的移动距离相对于眼瞳的移动量而言的比率。也可以是，在通过机器学习进行眼瞳优先处理的情况下，处理器201与上述的对面部优先处理的校正同样地进行对眼瞳优先处理的校正。[0050] 参照图6，说明校正位置。视野600示出驾驶员的视野。视野600包括如前窗601、方向盘等那样的车辆100的车厢前方的部件。在图6的例子中，多个校正位置包括处于驾驶员的正面的位置602、处于前窗601的四个角落的位置603～606。位置603～606均不处于驾驶员的正面。选择多个校正位置的顺序可以是任意的。在以下中，在步骤502中按位置602～606顺次选择校正位置。在该例中，最先选择处于驾驶员的正面的位置602，但也可以在中途选择位置602。[0051] 在图5的对眼瞳优先处理的校正方法中，基于眼瞳的位置对视线检测处理进行校正。但是，如图3的(B)所示，当驾驶员戴着太阳镜311时，行车记录仪101无法检测到驾驶员的眼瞳。在这样的情况下，即使执行图5的对眼瞳优先处理的校正方法，也无法适当地进行校正。因而，在一部分的实施方式中，行车记录仪101在判定为能够检测到驾驶员的眼瞳的情况下，执行用于面部优先处理的校正处理、用于眼瞳优先处理的校正处理这两方。另一方面，行车记录仪101在判定为无法检测到驾驶员的眼瞳的情况下，执行用于面部优先处理的校正处理，不执行用于眼瞳优先处理的校正处理。如上所述，用于面部优先处理的校正处理如图4中所说明的那样，包括：处理器201指示移动面部并看向多个校正位置的各个位置，基于驾驶员根据该指示而看着单个位置时的面部的图像，对视线检测处理进行校正。用于眼瞳优先处理的校正处理如图5中所说明的那样，包括：处理器201指示不移动面部并看向多个校正位置的各个位置，基于驾驶员根据该指示而看着单个位置时的面部的图像，对视线检测处理进行校正。[0052] 参照图7，说明执行用于什么样的视线检测处理的校正处理的工作。可以是，行车记录仪101的处理器201执行从存储装置202(具体来讲，存储器)读出的程序，来进行图7的工作。也可以是，取而代之，由如ASIC、FPGA这样的专用电路来执行图5的一部分或者全部工作。也可以是，根据接受到驾驶员发出的校正开始的指示而开始图7的工作。[0053] 在步骤S701中，处理器201执行图4中所说明的用于面部优先处理的校正处理。在步骤S702中，处理器201判定是否能够检测到驾驶员的眼瞳。在能够检测到驾驶员的眼瞳的情况下(在步骤S702中“是”)，处理器201使处理移至步骤S703，执行图5中所说明的用于眼瞳优先处理的校正处理。在无法检测到驾驶员的眼瞳的情况下(在步骤S702中“否”)，处理器201结束处理。[0054] 在步骤S702中，处理器201例如可以通过对由车内用摄像机204拍摄到的驾驶员的面部的图像进行分析来判定是否能够检测到驾驶员的眼瞳。例如可以是，在驾驶员戴着太阳镜的情况、驾驶员把帽子戴的很低的情况、驾驶员戴着眼镜而光反射到镜头的情况等，处理器201判定为无法检测到驾驶员的眼瞳。也可以是，取而代之，处理器201基于驾驶员事先的输入(例如对于来自行车记录仪101的询问“是否处于能够检测到眼瞳的状态？”的应答)，来判定是否能够检测到驾驶员的眼瞳。[0055] 如图7所示，与是否能够检测到驾驶员的眼瞳无关，处理器201执行用于面部优先处理的校正处理。另一方面，处理器201仅在能够检测到驾驶员的眼瞳的情况下，执行用于眼瞳优先处理的校正处理，在除此之外的情况下，不执行用于眼瞳优先处理的校正处理。由此，避免在会使校正的精度降低的状况下进行用于眼瞳优先处理的校正处理。[0056] 在上述的实施方式中，将面部优先模型设为用驾驶员的图像作为训练数据来学习的模型，该驾驶员的图像是驾驶员移动面部来使视线朝向对象物而获得的。也可以是，取而代之或者除此之外，面部优先模型是在校正时一边移动面部一边进行适应的模型。另外，在上述的实施方式中，将眼瞳优先模型设为用驾驶员的图像作为训练数据来学习的模型，该驾驶员的图像是驾驶员尽量不移动面部而仅移动眼瞳来使视线朝向对象物而获得的。也可以是，取而代之或者除此之外，眼瞳优先模型是在校正时一边不移动面部而移动眼瞳一边进行适应的模型。[0057] 上述的实施方式中，行车记录仪101作为视线检测装置发挥功能。也可以是，取而代之，内置于车辆100的控制ECU102作为视线检测装置发挥功能。该情况下，控制ECU102执行图4以及图5中说明的行车记录仪101的工作。控制ECU102可以获取由行车记录仪101的车内用摄像机204拍摄到的驾驶员的图像，也可以获取由其它车内用摄像机拍摄到的驾驶员的图像。在后者的情况下能够省略行车记录仪101。[0058] <实施方式的总结>[0059] <项目1>[0060] 一种校正装置101，对用户301的视线检测处理进行校正，在所述校正装置101中，具备：[0061] 判定单元201，其判定是否能够检测到所述用户的眼瞳；[0062] 指示单元201，其指示所述用户看向多个位置602～606的各个位置；[0063] 获取单元201，其针对所述多个位置的各个位置，获取所述用户看着各个位置时的面部的图像(300、310)；以及[0064] 校正单元201，其基于所述用户的面部的图像，对视线检测处理进行校正，[0065] 所述校正装置能够执行以下处理：[0066] 第一校正处理，所述指示单元指示移动面部并看向所述多个位置的各个位置，所述校正单元基于所述用户根据该指示而看着单个位置时的面部的图像，对所述视线检测处理进行校正；以及[0067] 第二校正处理，所述指示单元指示不移动面部并看向所述多个位置的各个位置，所述校正单元基于所述用户根据该指示而看着单个位置时的面部的图像，对所述视线检测处理进行校正，[0068] 所述校正装置在由所述判定单元判定为能够检测到所述用户的眼瞳的情况下，执行所述第一校正处理和所述第二校正处理这两方，[0069] 所述校正装置在由所述判定单元判定为无法检测到所述用户的眼瞳的情况下，执行所述第一校正处理，不执行所述第二校正处理。[0070] 根据该项目，能够适当地进行对视线检测处理的校正，因此视线检测的精度提高。[0071] <项目2>[0072] 根据项目1所述的校正装置，在所述用户戴着太阳镜311的情况下，所述判定单元判定为无法检测到所述用户的眼瞳。[0073] <项目3>[0074] 根据项目1或者2所述的校正装置，所述多个位置包括所述用户乘坐的车辆100的前窗601的角落。[0075] 根据该项目，能够更适当地进行对视线检测处理的校正。[0076] <项目4>[0077] 根据项目1至3中的任一项所述的校正装置，所述指示单元在指示所述用户看向所述多个位置之前，指示所述用户握持方向盘。[0078] 根据该项目，在校正时用户采取驾驶中的姿态的可能性增高。[0079] <项目5>[0080] 一种行车记录仪101，其作为项目1至4中的任一项所述的校正装置发挥功能。[0081] 根据该项目，能够利用可外置的行车记录仪进行视线检测。[0082] <项目6>[0083] 一种车辆100，其内置作为项目1至4中的任一项所述的校正装置发挥功能的控制装置102。[0084] 根据该项目，能够利用车辆进行视线检测。[0085] <项目7>[0086] 一种程序，其用于使计算机作为项目1至4中的任一项所述的校正装置的各单元发挥功能。[0087] 根据该项目，能够提供构成上述的校正装置的程序。[0088] <项目8>[0089] 一种校正方法，在校正装置101中对用户301的视线检测处理进行校正，在所述方法中，[0090] 所述校正装置能够执行以下处理：[0091] 第一校正处理，指示移动面部并看向多个位置602～606的各个位置，基于所述用户根据该指示而看着单个位置时的面部的图像(300、310)，对视线检测处理进行校正；以及[0092] 第二校正处理，指示不移动面部并看向多个位置的各个位置，基于所述用户根据该指示而看着单个位置时的面部的图像，对视线检测处理进行校正，[0093] 所述校正方法包括：[0094] 判定工序，判定是否能够检测到所述用户的眼瞳；[0095] 第一执行工序，在所述判定工序中在判定为能够检测到所述用户的眼瞳的情况下，执行所述第一校正处理和所述第二校正处理这两方；以及[0096] 第二执行工序，在所述判定工序中在判定为无法检测到所述用户的眼瞳的情况下，执行所述第一校正处理，不执行所述第二校正处理。[0097] 根据该项目，能够适当地进行对视线检测处理的校正，因此对视线检测的精度提高。[0098] 发明不限定于上述的实施方式，能够在发明的主旨的范围内进行各种的变形、变更。

专利地区：日本

专利申请日期：2022-03-02

专利公开日期：2024-06-18

专利公告号：CN115050089B