基于动态特征辅助的静态手势意图识别方法、系统及车辆

专利名称：基于动态特征辅助的静态手势意图识别方法、系统及车辆

专利类型：发明专利

专利申请号：CN202210575775.6

专利申请（专利权）人：重庆长安汽车股份有限公司
权利人地址：重庆市江北区建新东路260号

专利发明（设计）人：石林,吴锐

专利摘要：本发明公开了一种基于动态特征辅助的静态手势意图识别方法、系统及车辆，包括以下步骤：步骤1、手部检测；步骤2、手部追踪，步骤3、静态手势分类，步骤4、判断空间位置，步骤5、连续帧识别，步骤6、动态特征提取及判断，步骤7、静态手势判断输出，步骤8、车机应用事件响应。本发明基于用户手部动作信息，对静态手势动作进行分类，同时结合静态手势操控过程中前向手部动作趋势特征，能够更加准确地识别出用户的静态手势意图，减少了相似手势静止无操作或无意识随意挥动导致的误识别情况，降低了误触发率，从而提升用户座舱手势操控功能体验。

主权利要求：
1.一种基于动态特征辅助的静态手势意图识别方法，其特征在于：包括以下步骤：步骤1：获取手势图像数据，对手势图像数据进行检测，若检测到手部位置，则输出手部的位置并进入步骤2，否则重复执行步骤1；
步骤2：利用手型位置和手型大小对多帧图像中的手部进行追踪，并进入步骤3和步骤
6；
步骤3：提取手势的图像特征并进行静态手势的分类；
步骤4：判断手势是否出现在预设范围内，若是，则视为有效手势，并进入步骤5，否则视为无效手势，并返回步骤1；
步骤5：计算连续帧的置信度，如连续帧的置信度大于预设置信度阈值，则认为是一个有效事件，并进入步骤7，否则认为是一个无效事件，则返回步骤1；
步骤6：获取静态手势前N帧动态手势，计算每一帧图像手框的中心位置坐标，利用手框的中心位置坐标计算每相邻两帧手框的移动距离，并对所有N帧图像的位移求和，判断位移总和是否达到预设位移阈值，若达到预设位移阈值，则判定用户在定格静态手势前有动态运动趋势特征，并进入步骤7，否则返回步骤1；
步骤7：判定静态手势为有效事件，并将有效事件输出到相应的车机的应用接口；
步骤8：车机应用对输入的有效事件进行对应的功能响应。
2.根据权利要求1所述的基于动态特征辅助的静态手势意图识别方法，其特征在于：所述步骤6具体为：步骤6.1、获取静态手势前N帧手势图像，标记静态手势的第一帧为n0，标记该帧手势图像前N帧为n0‑1、n0‑2、...、n0‑N；
步骤6.2、获取n0到n0‑N帧图像手框并计算每个手框中心位置坐标点Cn(xn,yn),n＝n0、n0‑1、n0‑2、...、n0‑N；
步骤6.3、计算每两个相邻帧中心位置之间的距离|Cn‑Cn‑1|,计算方法为：并将N‑1个距离求和SUM(|Cn‑Cn‑1|)，计算方法如下：步骤6.4、判断动态手势位移量SUM(|Cn‑Cn‑1|)是否达到预设位移阈值；
步骤6.5、若动态手势位移量SUM(|Cn‑Cn‑1|)达到预设位移阈值，则判定用户在定格静态手势前有动态运动趋势特征，并进入步骤7，否则返回步骤1。
3.根据权利要求1或2所述的基于动态特征辅助的静态手势意图识别方法，其特征在于：所述步骤4中，所述预设范围为前后排居中区域。
4.根据权利要求3所述的基于动态特征辅助的静态手势意图识别方法，其特征在于：所述步骤3中，静态手势的类别包括点赞手势、比心手势、胜利手势和负样本。
5.一种基于动态特征辅助的静态手势意图识别系统，其特征在于：包括存储器和控制器，所述存储器内存储有计算机可读程序，所述计算机可读程序被控制器调用时能执行如权利要求1至4任一所述的基于动态特征辅助的静态手势意图识别方法的步骤。
6.一种车辆，其特征在于：采用如权利要求5所述的基于动态特征辅助的静态手势意图识别系统。 说明书 : 基于动态特征辅助的静态手势意图识别方法、系统及车辆技术领域[0001] 本发明属于车辆控制技术领域，具体涉及一种基于动态特征辅助的静态手势意图识别方法、系统及车辆。背景技术[0002] 汽车是人们常用的交通工具，在保证安全性的同时，人们对在汽车使用过程中的便捷性、舒适性也提出了更高的要求。随着座舱内交互方式的不断发展和升级，从传统的物理按键，到触屏操控，到语音操控，到如今逐渐广泛应用的手势操控，交互方式愈发便捷、智能。手势识别在语音操控不便或尴尬的场景优势凸显，同时，自然且符合用户操控逻辑的手势应用更能体现座舱的无感交互体验。因此，合理准确判断用户手势操控意图，以及降低因手势误识带来的困扰显得尤为重要。[0003] 目前来说，对于手势识别领域研究成果较为成熟，在智能家居、智能娱乐设备等场景应用广泛，虽然在汽车上也得到较早应用，但由于车内手势复杂度较高、环境干扰较强(如光线变换、人为干扰、遮挡等)、关键区域不确定、以及用户操作手势不规范性等诸多问题导致手势误识别情况较多，因此也为用户带来困扰，对手势操控功能引来抱怨。因此，行业内在如何提高手势识别的准确率，降低手势的误识率上展开积极探索。如专利文献CN201711224479.7公开的手势识别和手势识别网络的训练方法及装置、设备、介质，其手势识别方法通过识别图像中的手势框图像，再将手势框图像输入手势识别网络，再经由识别网络输出坐标信息、手势分类信息及背景信息，当背景信息为前景图像时，根据手势分类信息输出坐标信息，其实现了将手势识别网络输出的各信息相结合处理，得到更精准的识别结果。该方法在不增加硬件成本的基础上，对识别网络输出信息做结合处理，由于输入信息本身的匮乏性、不准确性，导致性能优化效果不佳。又如CN201210565201.7公开的一种三维手势识别装置及三维手势识别方法，该方法中在增加识别装置的基础上进行方法优化，其识别装置包括两个红外摄像头、图像采集单元、红外发光二极管、红外发光二极管驱动单元、运算单元和手势识别单元，该方案采用红外照明和红外摄像头，解决了可见光干扰，朝上的摄像头摄取图像减少了背景的干扰，进一步提高了手势识别的可靠性，但在汽车领域中，零部件成本增加较为敏感，同时车内摄像头角度的局限性决定了该方法的应用并不适合。[0004] 因此，有必要开发一种基于动态特征辅助的静态手势意图识别方法、系统及车辆。发明内容[0005] 本发明的目的在于提供一种基于动态特征辅助的静态手势意图识别方法、系统及车辆，能更加准确识别用户的静态手势意图，减少相似手势静止无操作或无意识随意挥动导致的误识别情况，能降低误触发率，提升用户座舱手势操控功能体验。[0006] 第一方面，本发明所述的一种基于动态特征辅助的静态手势意图识别方法，包括以下步骤：[0007] 步骤1：获取手势图像数据，对手势图像数据进行检测，若检测到手部位置，则输出手部的位置并进入步骤2，否则重复执行步骤1；[0008] 步骤2：利用手型位置和手型大小对多帧图像中的手部进行追踪，并进入步骤3和步骤6；[0009] 步骤3：提取手势的图像特征并进行静态手势的分类；[0010] 步骤4：判断手势是否出现在预设范围内，若是，则视为有效手势，并进入步骤5，否则视为无效手势，并返回步骤1；[0011] 步骤5：计算连续帧的置信度，如连续帧的置信度大于预设置信度阈值，则认为是一个有效事件，并进入步骤7，否则认为是一个无效事件，则返回步骤1；[0012] 步骤6：获取静态手势前N帧动态手势，计算每一帧图像手框的中心位置坐标，利用手框的中心位置坐标计算每相邻两帧手框的移动距离，并对所有N帧图像的位移求和，判断位移总和是否达到预设位移阈值，若达到预设位移阈值，则判定用户在定格静态手势前有动态运动趋势特征，并进入步骤7，否则返回步骤1；[0013] 步骤7：判定静态手势为有效事件，并将有效事件输出到相应的车机的应用接口；[0014] 步骤8：车机应用对输入的有效事件进行对应的功能响应。[0015] 可选地，所述步骤6具体为：[0016] 步骤6.1、获取静态手势前N帧手势图像，标记静态手势的第一帧为n0；标记该帧手势图像前N帧为n0‑1、n0‑2、...、n0‑N；[0017] 步骤6.2、获取n0到n0‑N帧图像手框并计算每个手框中心位置坐标点Cn(xn,yn),n＝n0、n0‑1、n0‑2、...、n0‑N；[0018] 步骤6.3、计算每两个相邻帧中心位置之间的距离|Cn‑Cn‑1|,计算方法为：[0019][0020] 并将N‑1个距离求和SUM(|Cn‑Cn‑1|)，计算方法如下：[0021][0022] 步骤6.4、判断动态手势位移量SUM(|Cn‑Cn‑1|)是否达到预设位移阈值；[0023] 步骤6.5、若动态手势位移量SUM(|Cn‑Cn‑1|)达到预设位移阈值，则判定用户在定格静态手势前有动态运动趋势特征，则进入步骤7，否则返回步骤1。[0024] 可选地，所述步骤4中，所述预设范围为前后排居中区域。[0025] 可选地，所述步骤3中，静态手势的类别包括点赞手势、比心手势、胜利手势和负样本。[0026] 第二方面，本发明所述的一种基于动态特征辅助的静态手势意图识别系统，包括存储器和控制器，所述存储器内存储有计算机可读程序，所述计算机可读程序被控制器调用时能执行如本发明所述的基于动态特征辅助的静态手势意图识别方法的步骤。[0027] 第三方面，本发明所述的一种车辆，采用如本发明所述的基于动态特征辅助的静态手势意图识别系统。[0028] 本发明具有以下优点：本发明在不增加硬件成本的情况下，在原本静态手势识别模型的基础上，在捕捉静态手势图像之前增加获取前N帧(根据实际效果，取值进行动态调整)动态手势动作图像，对该N帧手势图像进行特征分析，结合静态手势分类结果及前N帧动态手势特征，综合判断用户静态手势操控意图。当静态手势分类达到相似阈值且前N帧手势特征符合条件阈值时，则判断该静态手势为用户有意图的有效手势，相应指令下发至车端，车端相应控制器响应对应手势功能。本发明能够把用户有意识操控的手势特征考虑进去，如用户定格静态手势前的手部动态趋势特征，综合手势动态运动特征及静态手势分类结果，能够有效降低用户无意识的相似手势的误识别情况，提高了用户手势操控意图识别性能，同时无需增加摄像头、传感器等硬件成本，在减少了用户因手势识别误识情况产生抱怨的同时，为提高手势操控性能提供的新的思路和方法。附图说明[0029] 图1为本实施例的流程图。具体实施方式[0030] 以下将结合附图对本发明进行详细的说明。[0031] 如图1所示，本实施例中，一种基于动态特征辅助的静态手势意图识别方法，包括一下步骤：[0032] 步骤1：手部检测阶段：获取手势图像数据，对手势图像数据进行检测，若检测到手部位置，则输出手部的位置并进入步骤2，否则重复执行步骤1。[0033] 本实施例中，将原始的手势图像数据输入到手部检测器模型，在手部检测模型中选择YOLOV3作为目标检测网络，检测类别为手一种类别，使用训练数据进行卷积神经网络的参数调整，并针对实际场景中误检、漏检的样例，进行场景分析，迭代完成模型训练该模型检测并输出手部位置，否则重新获取手势图像数据并进行检测。[0034] 步骤2：手部追踪：利用手型位置和手型大小对多帧图像中的手部进行追踪，并进入步骤3和步骤6。[0035] 本实施例中，由于手部检测器可输出手部位置，车内摄像头相对固定，同时手势执行过程中用户手部位置也相对固定，因此利用手部的大小变化关系、图片的相似度关系、与手部在图片中的相对位置关系等，对图像中的手部区域进行追踪并给予trackid，确保动作执行者的手势能够被正确识别。[0036] 步骤3：静态手势分类：提取手势的图像特征并进行静态手势的分类。[0037] 本实施例中，利用静态手势分类模型进行静态手势的分类，其中，静态手势分类模型通过手势分类数据采集、手势分类数据预处理、模型选型及参数调优完成训练。数据采集范围主要包括不同场景因素(光照、座椅位置、性别、身高等)下的手势信息；数据预处理即筛选出有效手势，过滤掉无效手势，并对数据进行标注，尽可能保证图像处理的准确性及丰富性；模型基于卷积神经网络，将处理好的数据输入到模型进行多次迭代训练和模型参数，训练好的静态手势分类模型能有效学习不同类别图像特征并进行识别。在本实施例中，静态手势包括点赞、比心、胜利、负样本四个类别的分类识别。[0038] 步骤4：判断空间位置：判断手势是否出现在预设范围内，若是，则视为有效手势，并进入步骤5，否则视为无效手势，并返回步骤1。[0039] 本实施例中，为进一步降低手势误识别情况，结合用户实际手势操控习惯，规定车内手势有效操控区域，限制在前后排居中区域。前排有效区域的规定能避免主驾多手势露出易导致的误识别问题，如系安全带、手握方向盘等与点赞较相似的手势。后排有效区域的规定能解决由于座椅遮挡等导致用户手势无法露出导致无法识别的用户疑虑。只有手势出现在规定区域内，才视为有效手势。[0040] 步骤5：连续帧识别：计算连续帧的置信度，如连续帧的置信度大于预设置信度阈值，则认为是一个有效事件，并进入步骤7，否则认为是一个无效事件，则返回步骤1。[0041] 本实施例中，因为单帧手势的分类结果可靠性不足，因此需要对分类结果做处理。本实施例中，对连续15帧的分类置信度做中值滤波，如大于设定的阈值则认为是一个有效事件，阈值可参数化，需要经过实验调整至合适值。[0042] 步骤6：动态特征提取及判断：获取静态手势前N帧动态手势，计算每一帧图像手框的中心位置坐标，利用手框的中心位置坐标计算每相邻两帧手框的移动距离，并对所有N帧图像的位移求和，判断位移总和是否达到预设位移阈值，若达到预设位移阈值，则判定用户在定格静态手势前有动态运动趋势特征，并进入步骤7，否则返回步骤1。[0043] 本实施例中，所述步骤6具体为：[0044] 步骤6.1、获取静态手势前N帧手势图像，标记静态手势的第一帧为n0；标记该帧手势图像前N帧为n0‑1、n0‑2、...、n0‑N；[0045] 步骤6.2、获取n0到n0‑N帧图像手框并计算每个手框中心位置坐标点Cn(xn,yn),n＝n0、n0‑1、n0‑2、...、n0‑N；[0046] 步骤6.3、计算每两个相邻帧中心位置之间的距离|Cn‑Cn‑1|,计算方法为：[0047][0048] 并将N‑1个距离求和SUM(|Cn‑Cn‑1|)，计算方法如下：[0049][0050] 步骤6.4、判断动态手势位移量SUM(|Cn‑Cn‑1|)是否达到预设位移阈值；[0051] 步骤6.5、若动态手势位移量SUM(|Cn‑Cn‑1|)达到预设位移阈值，则判定用户在定格静态手势前有动态运动趋势特征，并进入步骤7，否则返回步骤1。[0052] 步骤7：静态手势判断输出：判定静态手势为有效事件，并将有效事件输出到相应的车机的应用接口(比如:地图接口和拍照接口)。[0053] 步骤8：车机应用事件响应：车机应用对输入的有效事件进行对应的功能响应。[0054] 本方法基于用户手部动作信息，对静态手势动作进行分类，同时结合静态手势操控过程中前向手部动作趋势特征，能够更加准确地识别出用户的静态手势意图，减少了相似手势静止无操作或无意识随意挥动导致的误识别情况，降低了误触发率，从而提升用户座舱手势操控功能体验。[0055] 本实施例中，一种基于动态特征辅助的静态手势意图识别系统，包括存储器和控制器，所述存储器内存储有计算机可读程序，所述计算机可读程序被控制器调用时能执行如本实施例中所述的基于动态特征辅助的静态手势意图识别方法的步骤。[0056] 本实施例中，一种车辆，采用如本实施例中所述的基于动态特征辅助的静态手势意图识别系统。[0057] 上述实施例为本发明方法较佳的实施方式，但本发明方法的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

专利地区：重庆

专利申请日期：2022-05-25

专利公开日期：2024-07-09

专利公告号：CN114821810B