一种基于驾驶员监测与识别的座舱协同控制系统和方法

专利名称：一种基于驾驶员监测与识别的座舱协同控制系统和方法

专利类型：发明专利

专利申请号：CN202210621298.2

专利申请（专利权）人：重庆邮电大学
权利人地址：重庆市南岸区黄桷垭崇文路2号

专利发明（设计）人：蒋建春,梁大彬,曾素华,连皓宁,林峰,夏云俊

专利摘要：本发明涉及一种基于驾驶员监测与识别的座舱协同控制系统和方法，属于人工智能领域。该系统包括座舱控制器、座椅、后视镜、车载摄像头和车载状态传感器，座舱控制器包括激活模块、驾驶员识别模块、信息获取模块、座椅调节模块、后视镜调节模块、信息存储模块和身份判断模块，各模块间相互协同，采用尺寸检测算法和视角定位检测算法实现座椅和后视镜的协同调节，并根据所识别的驾驶员身份信息结合车辆状态，将车辆状态为正常行驶时，座舱的座椅和后视镜设备的协同调节信息与身份信息结合进行记忆存储。提高座舱环境调节的准确性，增加体验感，实现最优化、最舒适和最安全的驾驶体验。

主权利要求：
1.一种基于驾驶员监测与识别的座舱协同控制系统，其特征在于：所述系统包括座舱控制器、座椅、后视镜、车载摄像头和车载传感器；
座舱控制器包括：
激活模块，在接收到激活信号时启动车载摄像头和车载状态传感器；
驾驶员识别模块，根据车载摄像头获取当前驾驶员的身份信息；
信息获取模块，根据车载摄像头获取当前驾驶员的视频图像，并根据车载传感器获取车辆状态信息；
座椅调节模块，处理当前驾驶员的视频图像生成座椅控制信号，调节驾驶员的座椅；
后视镜调节模块，获取座椅调节模块调整完成后的视频图像，并生成后视镜调节信号调节后视镜；
信息存储模块，将当前驾驶员在正常行驶状态下的座椅控制信号、后视镜控制信号、身份信息和车辆状态信息组成四元组进行存储；
身份判断模块，根据驾驶员识别模块的身份信息，判断信息存储模块是否有该身份信息对应的调节数据，若是，则直接调节座椅和后视镜，若不是，则启动座椅调节模块和后视镜调节模块；
所述后视镜调节的前提是座椅位置固定且驾驶员姿态正确；后视镜调节模块根据所设计的视角定位检测算法得到驾驶员的视线坐标信息，根据视线坐标信息与后视镜空间位置生成后视镜控制信号调节后视镜的过程为：S201.获取座椅调节完成后的视频图像，对输入的每一帧视频先进行人脸检测，确定驾驶员处于正确的驾驶位置，确定其脸部的位置；
S202.采用人脸坐标模型分析视频帧图像，得到人脸关键点，进行PNP求解，得到头部偏转角，这样的偏转由头部与摄像头位置决定；
S203.根据每一帧视频图像的头部偏转角，获取一帧驾驶员正面居中的静态图像；
S204.使用重新裁剪模型分离出原始图像中的眼睛区域，以用于虹膜地标模型，得到视线坐标信息，并结合后视镜空间位置生成后视镜调节信号；
所述虹膜地标模型确定人眼与相机的距离，虹膜深度估计实现如下：虹膜地标模型确定虹膜的深度信息；摄像机将图像映射到方形区域上成像；人眼到摄像头的距离通过摄像机的焦距长度估算，摄像机的焦距通过图像中的EXIF元信息获得，摄像机的其他参数为固有参数，给定焦距长度，通过人眼实际尺寸与成像人眼的像素尺寸求得人眼与摄像机的距离。
2.根据权利要求1所述的一种基于驾驶员监测与识别的座舱协同控制系统，其特征在于：所述座椅调节模块采用多级管道流的尺寸检测算法获取当前驾驶员的身体尺寸信息；
实现调节座椅的过程包括：
S101.对车载摄像头获取的视频图像进行人体识别，得到驾驶员图像；
S102.以获取到的较低固定分辨率的驾驶员视频帧作为预训练好的姿势估计模型的输入，得到上半身人体骨骼关键点坐标；
S103.根据上半身人体骨骼关键点坐标定位推导出头部感兴趣区域(ROI)，并采用重新裁剪模型来提取驾驶员头部图像；
S104.将全分辨率输入帧裁剪到的头部感兴趣区域，应用于人脸坐标模型来估计其相应的特征；将所有坐标与姿势模型的坐标合并，以生成完整的新关键点坐标图像；
S105.根据新关键点图像中的上半身整体关键节点坐标转换为世界坐标系中位置坐标,对驾驶员身体尺寸进行测量估算，得到身体尺寸信息；
S106.根据身体尺寸信息得到座椅调节数据，通过座椅调节数据生成座椅控制信号调节座椅。
3.根据权利要求2所述的一种基于驾驶员监测与识别的座舱协同控制系统，其特征在于：将所述上半身整体关键节点坐标转换为世界坐标系中坐标，根据转换后的坐标计算得到身体尺寸信息，坐标转换关系表示为：其中，R为3×3的旋转矩阵，t为3×1的平移矢量，0为(0，0，0)，(xc,yc,zc,1)为相机坐标系的齐次坐标，(xw,yw,zw,1)为世界坐标系的齐次坐标；得到世界坐标系内所需关键点坐标后，计算身体尺寸信息，并根据人体工学估算腿长。
4.根据权利要求3所述的一种基于驾驶员监测与识别的座舱协同控制系统，其特征在于：所述身体尺寸信息包括驾驶员的腿长数据、臂长数据和上身长数据；座椅调节数据包括座椅与踏板间距离所对应的前后调节数据与腿长相关、座椅与方向盘间距离所对应的靠背调节数据与臂长相关，和座椅高度所对应的上下调节数据上身长相关。
5.基于权利要求1～4中任一项所述系统的控制方法，其特征在于：该方法包括以下步骤：S301.当汽车接收到激活信号时，激活模块被激活启动车载摄像头和车载状态传感器；
S302.通过车载摄像头获取当前驾驶员的视频图像，并利用驾驶员识别模块确认当前驾驶员的身份信息；
S303.调取信息存储模块中当前驾驶员的相关信息，判断是否存有该驾驶员的座舱调节数据，若有，则直接调节座椅和后视镜，否则进入步骤S304；
S304.调用座椅调节模块处理当前驾驶员的视频图像，生成座椅控制信号调节座椅；
S305.获取座椅调节后的视频图像，调用后视镜调节模块对其进行处理生成后视镜控制信号，调节后视镜；
S306.调节完成后，采用车载状态传感器获取车辆状态信息，当车辆正常行驶时，采用信息存储模块将当前驾驶员的座椅控制信号、后视镜控制信号、身份信息和车辆状态信息组成四元组进行存储。 说明书 : 一种基于驾驶员监测与识别的座舱协同控制系统和方法技术领域[0001] 本发明属于人工智能领域，涉及一种基于驾驶员监测与识别的座舱协同控制系统和方法。背景技术[0002] 车辆是重要的出行工具之一，恰当的座舱环境不仅能为驾驶员提供舒适的驾驶体验，还能提高驾驶安全性。目前，座舱内座椅、后视镜等设备的调节大多是驾驶员根据个人感官进行的手动调节，但每次更换驾驶员都进行手动调节费时又费力，且不一定调节恰当；也有部分驾驶员不在意座舱环境，即无论座舱内的设备是否调节适当，能够正常使用就行，但不符合科学设置的座舱环境，会影响驾驶员驾驶体验，也存在安全隐患。[0003] 因此，需要一种依赖于人工智能技术的汽车座舱协同控制方法，能在驾驶员即将驾驶时自动调节汽车座舱内的设备，得到最适合当前驾驶员的座舱设置，实现最优化、最舒适和最安全的驾驶体验，并可以根据当前驾驶员的改变进行自适应调整，达到千人千面的调整目标。发明内容[0004] 有鉴于此，本发明的目的在于提供一种基于驾驶员监测与识别的座舱协同控制系统和方法。[0005] 为达到上述目的，本发明提供如下技术方案：[0006] 一种基于驾驶员监测与识别的座舱协同控制系统，所述系统包括座舱控制器、座椅、后视镜、车载摄像头和车载传感器；[0007] 座舱控制器包括：[0008] 激活模块，在接收到激活信号时启动车载摄像头和车载状态传感器；[0009] 驾驶员识别模块，根据车载摄像头获取当前驾驶员的身份信息；[0010] 信息获取模块，根据车载摄像头获取当前驾驶员的视频图像，并根据车载传感器获取车辆状态信息；[0011] 座椅调节模块，处理当前驾驶员的视频图像生成座椅控制信号，调节驾驶员的座椅；[0012] 后视镜调节模块，获取座椅调节模块调整完成后的视频图像，并生成后视镜调节信号调节后视镜；[0013] 信息存储模块，将当前驾驶员在正常行驶状态下的座椅控制信号、后视镜控制信号、身份信息和车辆状态信息组成四元组进行存储；[0014] 身份判断模块，根据驾驶员识别模块的身份信息，判断信息存储模块是否有该身份信息对应的调节数据，若是，则直接调节座椅和后视镜，若不是，则启动座椅调节模块和后视镜调节模块。[0015] 可选的，所述座椅调节模块采用多级管道流的尺寸检测算法获取当前驾驶员的身体尺寸信息；实现调节座椅的过程包括：[0016] S101.对车载摄像头获取的视频图像进行人体识别，得到驾驶员图像；[0017] S102.以获取到的较低固定分辨率的驾驶员视频帧作为预训练好的姿势估计模型的输入，得到上半身人体骨骼关键点坐标；[0018] S103.根据上半身人体骨骼关键点坐标定位推导出头部感兴趣区域(ROI)，并采用重新裁剪模型来提取驾驶员头部图像；[0019] S104.将全分辨率输入帧裁剪到的头部感兴趣区域，应用于人脸坐标模型来估计其相应的特征；将所有坐标与姿势模型的坐标合并，以生成完整的新关键点坐标图像；[0020] S105.根据新关键点图像中的上半身整体关键节点坐标转换为世界坐标系中位置坐标,对驾驶员身体尺寸进行测量估算，得到身体尺寸信息；[0021] S106.根据身体尺寸信息得到座椅调节数据，通过座椅调节数据生成座椅控制信号调节座椅。[0022] 可选的，将所述上半身整体关键节点坐标转换为世界坐标系中坐标，根据转换后的坐标计算得到身体尺寸信息，坐标转换关系表示为：[0023][0024] 其中，R为3×3的旋转矩阵，t为3×1的平移矢量，0为(0，0，0)，(xc,yc,zc,1)为相机坐标系的齐次坐标，(xw,yw,zw,1)为世界坐标系的齐次坐标；得到世界坐标系内所需关键点坐标后，计算身体尺寸信息，并根据人体工学估算腿长。[0025] 可选的，所述身体尺寸信息包括驾驶员的腿长数据、臂长数据和上身长数据；座椅调节数据包括座椅与踏板间距离所对应的前后调节数据与腿长相关、座椅与方向盘间距离所对应的靠背调节数据与臂长相关，和座椅高度所对应的上下调节数据上身长相关。[0026] 可选的，所述后视镜调节的前提是座椅位置固定且驾驶员姿态正确；后视镜调节模块根据所设计的视角定位检测算法得到驾驶员的视线坐标信息，根据视线坐标信息与后视镜空间位置生成后视镜控制信号调节后视镜的过程为：[0027] S201.获取座椅调节完成后的视频图像，对输入的每一帧视频先进行人脸检测，确定驾驶员处于正确的驾驶位置，确定其脸部的位置；[0028] S202.采用人脸坐标模型分析视频帧图像，得到人脸关键点，进行PNP求解，得到头部偏转角，这样的偏转由头部与摄像头位置决定；[0029] S203.根据每一帧视频图像的头部偏转角，获取一帧驾驶员正面居中的静态图像；[0030] S204.使用重新裁剪模型分离出原始图像中的眼睛区域，以用于虹膜地标模型，得到视线坐标信息，并结合后视镜空间位置生成后视镜调节信号。[0031] 可选的，所述虹膜地标模型确定人眼与相机的距离，虹膜深度估计实现如下：[0032] 虹膜地标模型确定虹膜的深度信息；摄像机将图像映射到方形区域上成像；人眼到摄像头的距离通过摄像机的焦距长度估算，摄像机的焦距通过图像中的EXIF元信息获得，摄像机的其他参数为固有参数，给定焦距长度，通过人眼实际尺寸与成像人眼的像素尺寸求得人眼与摄像机的距离。[0033] 基于所述系统的控制方法，该方法包括以下步骤：[0034] S301.当汽车接收到激活信号时，激活模块被激活启动车载摄像头和车载状态传感器；[0035] S302.通过车载摄像头获取当前驾驶员的视频图像，并利用驾驶员识别模块确认当前驾驶员的身份信息；[0036] S303.调取信息存储模块中当前驾驶员的相关信息，判断是否存有该驾驶员的座舱调节数据，若有，则直接调节座椅和后视镜，否则进入步骤S304；[0037] S304.调用座椅调节模块处理当前驾驶员的视频图像，生成座椅控制信号调节座椅；[0038] S305.获取座椅调节后的视频图像，调用后视镜调节模块对其进行处理生成后视镜控制信号，调节后视镜；[0039] S306.调节完成后，采用车载状态传感器获取车辆状态信息，当车辆正常行驶时，采用信息存储模块将当前驾驶员的座椅控制信号、后视镜控制信号、身份信息和车辆状态信息组成四元组进行存储。[0040] 本发明的有益效果在于：[0041] 本发明所述的一种基于驾驶员监测与识别的智能座舱协同控制方法，主要特点是采用人体尺寸测量算法对驾驶员身体数据进行测量估算，对驾驶员的身体数据量化，实现对智能座舱内座椅的自动调节；并协同座椅与后视镜的调节，更加科学智能。在完成座椅调节确定驾驶员位置的前提下再采用视角定位检测算法，得到驾驶员视线坐标，并结合后视镜空间位置坐标，实现对智能座舱内后视镜的自动调节。避免因驾驶员不符合科学设置的汽车座舱，影响汽车的驾驶体验，带来安全隐患的问题。其中该方法是基于图像的检测方法能在驾驶员无感的情况下直接完成身体数据的测量，高效、准确、快速，能在驾驶员即将驾驶时得到最适合当前驾驶员的座舱设置，这种多阶段流水线设计的关键点检测降低了计算的成本，提高了效率。提高驾驶员监测的实时性，并控制汽车座舱进行调节，最终实现最优化、最舒适和最安全的驾驶体验；还可以识别驾驶员的身份，根据当前驾驶员的改变进行自适应调整，达到千人千面的调整目标。能提高整个系统智能化程度，提高系统反应时间和灵敏度。[0042] 本发明所述的一种基于驾驶员监测与识别的智能座舱协同控制系统，主要特点是通过座舱控制器分别与本发明中汽车智能座椅、汽车后视镜和摄像头之间的通信连接，能高效、准确地接收视频图像，并基于驾驶员特征识别，在驾驶员无感的情况下直接完成身份识别、身体数据的测量、虹膜坐标的定位，高效、准确、快速，能在驾驶员即将驾驶时得到最适合当前驾驶员的座舱设置，并控制汽车座舱进行自动座舱调节，相比于传统的基于驾驶员经验的手动调节座舱设备或者基于体重、距离传感器的座舱调节。采用基于视觉的深度学习算法实现座舱设备协同调节。提高调节的准确性，增加体验感。实现最优化、最舒适和最安全的驾驶体验，并可以根据当前驾驶员的改变进行自适应调整，达到千人千面的调整目标。[0043] 本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。附图说明[0044] 为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：[0045] 图1为本发明系统框架图；[0046] 图2为本发明获取虹膜深度信息原理图；[0047] 图3为本发明基于驾驶员监测与识别的智能座舱协同控制方法流程图。具体实施方式[0048] 以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。[0049] 其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本发明的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。[0050] 本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本发明的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。[0051] 一种基于驾驶员监测与识别的智能座舱协同控制系统，如图1所示，包括座舱控制器、车载摄像头、车载传感器、座椅和后视镜，所述协同调节系统的工作大致分为感测、控制和执行三个阶段：[0052] 在感测阶段中主要获取车辆状态信息、驾驶员身体尺寸信息、驾驶员视线坐标信息和驾驶员身份信息，其中，车辆状态信息是利用车载传感器获取的车辆行驶状态信息；驾驶员身体尺寸是利用车载摄像头获取视频图像，基于尺寸检测算法对视频图像进行处理，得到与座椅调节相关的人体尺寸信息；驾驶员视线坐标信息是利用车载摄像头获取座椅调节完成后的视频图像，采用视角定位检测算法对其进行处理得到的与后视镜调节相关的信息；驾驶员身份信息是利用车载摄像头获取视频图像，通过人脸识别技术判断是否有驾驶员，若有则进一步确认驾驶员的身份信息。[0053] 在控制阶段生成相关控制信号、记录存储相关信息，包括根据驾驶员身体尺寸信息生成座椅控制信号，根据驾驶员视线坐标信息生成后视镜控制信号，将驾驶员身份信息、车辆状态信息、座椅控制信号和后视镜控制信号组成四元组进行存储。[0054] 在执行阶段，根据座椅控制信号和后视镜控制信号执行相关设备的位置调节，或者根据已存储的信息实现设备的自适应调节。[0055] 在一实施例中，一种基于驾驶员监测与识别的智能座舱协同控制系统，包括：[0056] 激活模块，用于在接收到激活信号时启动车载摄像头和车载传感器；[0057] 驾驶员识别模块，用于根据信息获取模块中当前驾驶员的视频图像，确认当前驾驶员的身份信息；[0058] 信息获取模块，用于根据车载摄像头获取当前驾驶员的视频图像，并根据车载传感器获取车辆状态信息；[0059] 座椅调节模块，用于处理当前驾驶员的视频图像生成座椅控制信号，调节驾驶员的座椅；[0060] 后视镜调节模块，用于获取座椅调节模块调整完成后的视频图像，并生成后视镜控制信号调节后视镜；[0061] 信息存储模块，用于将当前驾驶员在正常行驶状态下的座椅控制信号、后视镜控制信号、身份信息和车辆状态信息组成四元组进行存储；[0062] 身份判断模块，用于根据驾驶员识别模块的身份信息，判断信息存储模块是否有该身份信息对应的调节数据，若是，则直接调节座椅和后视镜，若不是，则启动座椅调节模块和后视镜调节模块。[0063] 具体地，座椅调节模块采用尺寸检测算法获取当前驾驶员的身体尺寸信息，调节座椅的过程包括：[0064] S101.对车载摄像头获取的视频图像进行人体识别，得到驾驶员图像；[0065] S102.以获取到的较低固定分辨率的驾驶员视频帧作为预训练好的姿势估计模型的输入，得到上半身人体骨骼关键点坐标；[0066] S103.根据上半身人体骨骼关键点坐标定位推导出头部感兴趣区域(ROI)，并采用重新裁剪模型来提取驾驶员头部图像；[0067] S104.将全分辨率输入帧裁剪到的头部感兴趣区域，应用于特定任务的人脸坐标模型来估计其相应的特征。将所有坐标与姿势模型的坐标合并，以生成完整的新关键点坐标图像；[0068] S105.根据新关键点图像中的上半身整体关键节点坐标转换为世界坐标系中位置坐标,对驾驶员身体尺寸进行测量估算，得到身体尺寸信息；[0069] S106.根据身体尺寸信息得到座椅调节数据，通过座椅调节数据生成座椅控制信号调节座椅。[0070] 具体地，采用关键点识别来进行驾驶员人体尺寸检测。首先用低分辨率驾驶员图像通过姿势估计模型提取身体骨骼关键点，再通过骨骼关键点定位到头部区域，通过重剪裁，剪裁下原图像的头部图像，以此为面部关键点识别模型输入。利用面部关键点提取模型提取出关键点再和身体骨骼关键点重新整合成一个新的关键点图像输出，这种多阶段流水线设计降低了计算的成本，提高了效率。提高驾驶员监测的实时性。[0071] 具体地，身份尺寸信息包括驾驶员的腿长数据、臂长数据和上身长数据；座椅调节数据包括座椅与踏板间距离所对应的前后调节数据、座椅与方向盘间距离所对应的靠背调节数据，和座椅高度所对应的上下调节数据。[0072] 具体地，将上半身人体模型中的坐标进行转换，根据转换后的坐标计算得到身体尺寸信息，坐标转换表示为：[0073][0074] 其中，R为3×3的旋转矩阵，t为3×1的平移矢量，0为(0，0，0)，(xc,yc,zc,1)为相机坐标系的齐次坐标，(xw,yw,zw,1)为世界坐标系的齐次坐标；[0075] 在一实施例中，采用Pc表示关键点P在相机坐标系坐标，Pw是其在世界坐标系下的坐标，则Pc和Pw坐标间的变换可用一个3×3的旋转矩阵R和一个3×1的平移矩阵t表示为Pc＝PwR+t，采用坐标矩阵将Pc和Pw分别表示在X,Y,Z三个方向上的旋转平移：[0076][0077] 为了计算方便，改为齐次坐标表示为：[0078][0079] 得到关键点的世界坐标后，采用欧几里得距离公式计算臂长数据和上身长数据，假设其中一点坐标信息为C(x,y,z)，另一点坐标为D(x1，y1，z1)，两个坐标点之间的距离：[0080][0081] 得到臂长数据和上身长数据后，根据人体工学估计腿长数据l：[0082] l＝k*h[0083] 其中，k为根据人体工学得到的正常人上、下半身长度比例系数，h为上身长数据。[0084] 根据当前驾驶员的身体尺寸信息调节座椅时需要考虑以下几方面：[0085] 对座椅高度进行上下调节时，驾驶员头部离车顶部至少有一个拳头的距离，座椅调得太高，车辆颠簸时头部易触到车顶，影响行车；考虑不同人的身高臂长、双手自然伸开、身体转动方便、肘部与肩部放松等情况，驾驶员手握方向盘的高度大约低于肩部10厘米左右。另外，当司机的目光平视时，视线能够落在前挡风玻璃的中线上，这样就能够保持最佳的视野。[0086] 对座椅与踏板间距离进行前后调节时，如果座椅与踏板的距离较大，司机伸腿会比较舒服，但用脚踩踏板时的准确度与力度都会比较差；反之，则腿脚容易疲劳。调整的方法：一是将座椅后推，让左腿踩踏离合器踏板能够自然轻松；二是当脚向下踩住制动踏板至最深处时，腿部仍要有一定弯曲，这时的座椅前后位置比较合适。三是背部紧靠座椅，当胳膊伸直搭在方向盘上时，手腕部恰好落在方向盘上。[0087] 对座椅与方向盘间距离进行靠背调节时，靠背越往后倾斜，人的感觉越舒服，但过于倾斜会影响操控汽车，所以要保持恰当的倾斜度。让座椅支撑住腰，向后靠时，不要让腰部悬空，这样就可以减少驾驶过程中的疲劳。[0088] 具体地，后视镜调节模块根据视角定位检测算法得到驾驶员的视线坐标信息，根据视线坐标信息与后视镜空间位置生成后视镜控制信号调节后视镜的过程为：[0089] S201.获取座椅调节完成后的视频图像，对输入的每一帧视频先进行人脸检测，确定驾驶员处于正确的驾驶位置，确定其脸部的位置；[0090] S202.采用人脸坐标模型分析视频帧图像，得到人脸关键点，进行PNP求解，得到头部偏转角，这样的偏转由头部与摄像头位置决定；头部偏转角度就是用来估计头部状态的直接线索，其逻辑如公式如下：[0091][0092] 式中，(xY‑ZERO，xP‑ZERO，xR‑ZERO)表示标准角度，(xY，xP，xR)表示测量角度，h表示输出标志。[0093] 基于上面的考虑，旋转向量、旋转矩阵、四元数和欧拉角四种表示方法可以用来描述头部的偏转状态。这四个变量可以相互转化，其中欧拉角可读性好，最为直观，可以更好地表示头部的状态，使用更为广泛。因此将获得的驾驶员头部姿态信息用三个欧拉角(pitch，yaw，roll)表示。其中pitch表示物体绕x轴旋转，yaw表示物体绕y轴旋转，roll表示物体绕z轴旋转。[0094] 采用solvePnP函数解出旋转向量。头部姿态是通过从3D模型到图片中人脸关键点的仿射变换矩阵得到，该矩阵包含旋转和平移的信息。solvePnP函数输出结果包括旋转向量(roatationvector)，在调用solvePnP函数前需要初始化cameraMatrix，也就是相机内参，并调用solvePnP函数；将旋转向量转换为欧拉角，先由旋转向量装化为旋转矩阵，再由旋转矩阵转化为欧拉角。欧拉角是驾驶员姿态是否正确的重要依据，通过驾驶员头部姿态确定驾驶员是否正对居中。[0095] S203.根据每一帧视频图像的头部偏转角，获取一帧驾驶员正面居中的静态图像；[0096] S204.使用重新裁剪模型分离出原始图像中的眼睛区域，以用于虹膜地标模型，得到视线坐标信息，并结合后视镜空间位置生成后视镜调节信号。[0097] 优选地，虹膜地标模型能够确定人眼与相机的距离，再不需要任何其他额外设备的情况下做到。这依赖于人类横向虹膜尺寸的一致性，研究表明，人眼尺寸持续保持在11.7±0.5毫米并且拥有简单的几何结构。如图2所示，摄像机将图像映射到方形区域上成像。人眼到摄像头的距离可以通过摄像机的焦距长度估算，摄像机的焦距可以通过图像中的EXIF元信息获得，摄像机的其他参数为固有参数，给定焦距长度，可以直接通过人眼实际尺寸与成像人眼的像素尺寸求得人眼与摄像机的距离。人眼与摄像机的距离d通过相机焦距f人眼固定尺寸b以及成像尺寸a，结合相似三角形定律求得：[0098][0099] 一种基于驾驶员监测与识别的智能座舱协同控制方法，如图3所示，包括以下步骤：[0100] S301.当汽车接收到激活信号时，激活模块被激活启动车载摄像头和车载传感器；[0101] S302.通过车载摄像头获取当前驾驶员的视频图像，并利用驾驶员识别模块确认当前驾驶员的身份信息；[0102] S303.调取信息存储模块中当前驾驶员的相关信息，判断是否存有该驾驶员的调节数据，若有，则直接调节座椅和后视镜，否则进入步骤S304；[0103] S304.调用座椅调节模块处理当前驾驶员的视频图像，生成座椅控制信号调节座椅；[0104] S305.获取座椅调节后的视频图像，调用后视镜调节模块对其进行处理生成后视镜控制信号，调节后视镜；[0105] S306.调节完成后，采用车载传感器获取车辆状态信息，当车辆正常行驶时，采用信息存储模块将当前驾驶员的座椅控制信号、后视镜控制信号、身份信息和车辆状态信息组成四元组进行存储。[0106] 最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

专利地区：重庆

专利申请日期：2022-06-01

专利公开日期：2024-07-26

专利公告号：CN114889542B