一种基于手势识别的车辆控制方法、装置、控制设备及介质

专利名称：一种基于手势识别的车辆控制方法、装置、控制设备及介质

专利类型：发明专利

专利申请号：CN202210588028.6

专利申请（专利权）人：重庆长安新能源汽车科技有限公司
权利人地址：重庆市江北区鱼嘴镇永和路39号2屋208室

专利发明（设计）人：张志文,李晓弘,苏琳珂,翟钧

专利摘要：本发明提供了一种基于手势识别的车辆控制方法，应用于云平台，包括：接收车辆上传的待识别手势；将待识别手势与车辆所属用户关联的预存个性化手势数据库进行特征相似度比对；在特征相似度比对成功时，输出包含待识别手势所属手势类型及其所表征的用户意图的比对结果；将所述比对结果下发车辆，供车辆按照所述比对结果中的用户意图进行操控；预存个性化手势数据库至少包括多组第一映射关系，一组第一映射关系包括表征一个用户意图的一个手势类型和属于同一手势类型的多个不同形态手势，多个不同形态手势由不同身高、体重、年龄和性别的多个试验对象提供。

主权利要求：
1.一种基于手势识别的车辆控制方法，应用于云平台，其特征在于，包括：接收车辆上传的待识别手势；
将待识别手势与车辆所属用户关联的预存个性化手势数据库进行特征相似度比对；
在特征相似度比对成功时，输出包含待识别手势所属手势类型及其所表征的用户意图的比对结果；
将所述比对结果下发车辆，供车辆按照所述比对结果中的用户意图进行操控；
预存个性化手势数据库至少包括多组第一映射关系，一组第一映射关系包括表征一个用户意图的一个手势类型和属于同一手势类型的多个不同形态手势，多个不同形态手势由不同身高、体重、年龄和性别的多个试验对象提供；
接收车辆基于所述比对结果反馈的操控结果；
若所述操控结果表现为车辆按照所述用户意图进行操控后在预定时间内按照与所述用户意图相反的意图执行反向操作，则确认比对结果有误，将特征相似度比对时所选择的目标形态手势进行一次标记；
在目标形态手势的标记次数达到预定次数时，将所述目标形态手势从预存个性化手势数据库中删除；
目标形态手势是指与待识别手势的特征相似度超过预设相似度值的形态手势。
2.根据权利要求1所述的基于手势识别的车辆控制方法，其特征在于，预存个性化手势数据库还包括至少一组第二映射关系，一组第二映射关系包括表征一个用户意图的一个手势类型和由车辆所属用户提供的至少一个形态手势。
3.根据权利要求1或2所述的基于手势识别的车辆控制方法，其特征在于，所述方法还包括：在特征相似度比对失败时，向车辆反馈比对失败的反馈信息；
在发送反馈信息后的预定时间内，若接收到车辆基于用户触发而执行操控的信息，则将车辆执行的操控划定为一个新用户意图，以及将所述待识别手势划定为与新用户意图相关联的新手势类型，再将新手势类型和待识别手势作为一组第二映射关系记录到预存个性化手势数据库中。
4.根据权利要求1所述的基于手势识别的车辆控制方法，其特征在于，所述用户意图至少为：表征用户对车辆的前舱盖、天窗、后背门、车门和车机的操控意图。
5.根据权利要求1所述的基于手势识别的车辆控制方法，其特征在于，所述方法还包括：针对同一车型，对所有车辆所属用户关联的预存个性化手势数据库进行比对；
若超过第一预定占比数量的预存个性化手势数据库中均对同一形态手势进行了删除，则在所有车辆所属用户关联的预存个性化手势数据库中均对其进行删除。
6.根据权利要求5所述的基于手势识别的车辆控制方法，其特征在于，所述方法还包括：若超过第二预定占比数量的预存个性化手势数据库中均增加了同一组包含新手势类型及新用户意图的映射关系，则在所有车辆所属用户关联的预存个性化手势数据库中均增加这一组映射关系，且将所有车辆所属用户的手势划定为这一组映射关系中的多个形态手势。
7.一种基于手势识别的车辆控制装置，其特征在于，包括：
第一接收模块，用于接收车辆上传的待识别手势；
比对模块，用于将待识别手势与车辆所属用户关联的预存个性化手势数据库进行特征相似度比对；
输出模块，用于在特征相似度比对成功时，输出包含待识别手势所属手势类型及其所表征的用户意图的比对结果；
下发模块，用于将所述比对结果下发车辆，供车辆按照所述比对结果中的用户意图进行操控；
预存个性化手势数据库至少包括多组第一映射关系，一组第一映射关系包括表征一个用户意图的一个手势类型和属于同一手势类型的多个不同形态手势，多个不同形态手势由不同身高、体重、年龄和性别的多个试验对象提供；
第二接收模块，用于接收车辆基于所述比对结果反馈的操控结果；
标记模块，用于若所述操控结果表现为车辆按照所述用户意图进行操控后在预定时间内按照与所述用户意图相反的意图执行反向操作，则确认比对结果有误，将特征相似度比对时所选择的目标形态手势进行一次标记；
删除模块，用于在目标形态手势的标记次数达到预定次数时，将所述目标形态手势从预存个性化手势数据库中删除；
目标形态手势是指与待识别手势的特征相似度超过预设相似度值的形态手势。
8.一种控制设备，其特征在于，包括处理器，存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1至6任一项所述的基于手势识别的车辆控制方法的步骤。
9.一种可读存储介质，其特征在于，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如权利要求1至6任一项所述的基于手势识别的车辆控制方法的步骤。 说明书 : 一种基于手势识别的车辆控制方法、装置、控制设备及介质技术领域[0001] 本发明用于智能电动汽车领域，更具体涉及一种基于手势识别的车辆控制方法、装置、控制设备及介质。背景技术[0002] 车用手势识别方法主要应用在车内影音娱乐、天窗控制等场景。现有技术中，将手势识别功能搭载在车端，实现该功能的方式通常有以下2种，一种为：在车辆端预存一个包含手势类型和用户意图的数据库，车辆在采集到这类手势后与该预存的数据库中进行手势查找，来进行用户意图分析；另一种为：车主购买车辆后，按照系统导航，按自身喜好输入一些手势，车辆基于用户输入的手势形成一个个性化的数据库，在利用该数据库来对车辆进行操控。上述这些实现方式存在如下问题：[0003] 1、手势识别的精确度与车辆的相关硬件性能相关，选用价格便宜的手势识别模块存在识别结果差的问题，识别结果较好的硬件成本又非常高昂；[0004] 2、在车辆端实现手势识别后，车辆端很难再对预先存储的数据库或生成的数据库进行持续优化，使该现有技术的个性化程度不高。发明内容[0005] 针对目前存在的问题，本发明提出一种基于手势识别的车辆控制方法、装置、控制设备及介质，用于提高手势识别操控车辆的准确率、缩减单车成本以及提高个性化程度。[0006] 本发明是通过如下的技术方案实现：[0007] 本发明提供了一种基于手势识别的车辆控制方法，应用于云平台，包括：[0008] 接收车辆上传的待识别手势；[0009] 将待识别手势与车辆所属用户关联的预存个性化手势数据库进行特征相似度比对；[0010] 在特征相似度比对成功时，输出包含待识别手势所属手势类型及其所表征的用户意图的比对结果；[0011] 将所述比对结果下发车辆，供车辆按照所述比对结果中的用户意图进行操控；[0012] 预存个性化手势数据库至少包括多组第一映射关系，一组第一映射关系包括表征一个用户意图的一个手势类型和属于同一手势类型的多个不同形态手势，多个不同形态手势由不同身高、体重、年龄和性别的多个试验对象提供。[0013] 优选地，预存个性化手势数据库还包括至少一组第二映射关系，一组第二映射关系包括表征一个用户意图的一个手势类型和由车辆所属用户提供的至少一个形态手势。[0014] 优选地，所述方法还包括：[0015] 接收车辆基于所述识别结果反馈的操控结果；[0016] 若所述操控结果表现为车辆按照所述用户意图进行操控后在预定时间内按照与所述用户意图相反的意图执行反向操作，则确认比对结果有误，将特征相似度比对时所选择的目标形态手势进行一次标记；[0017] 在目标形态手势的标记次数达到预定次数时，将所述目标形态手势从预存个性化手势数据库中删除；[0018] 目标形态手势是指与待识别手势的特征相似度超过预设相似度值的形态手势。[0019] 优选地，所述方法还包括：[0020] 在特征相似度比对失败时，向车辆反馈比对失败的反馈信息；[0021] 在发送反馈信息后的预定时间内，若接收到车辆基于用户触发而执行操控的信息，则将车辆执行的操控划定为一个新用户意图，以及将所述待识别手势划定为与新用户意图相关联的新手势类型，再将新手势类型和待识别手势作为一组第二映射关系记录到预存个性化手势数据库中。[0022] 优选地，所述用户意图至少为：表征用户对车辆的前舱盖、天窗、后背门、车门和车机的操控意图。[0023] 优选地，所述方法还包括：[0024] 针对同一车型，对所有车辆所属用户关联的预存个性化手势数据库进行比对；[0025] 若超过第一预定占比数量的预存个性化手势数据库中均对同一形态手势进行了删除，则在所有车辆所属用户关联的预存个性化手势数据库中均对其进行删除。[0026] 优选地，所述方法还包括：[0027] 若超过第二预定占比数量的预存个性化手势数据库中均增加了同一组包含新手势类型及新用户意图的映射关系，则在所有车辆所属用户关联的预存个性化手势数据库中均增加这一组映射关系，且将所有车辆所属用户的手势划定为这一组映射关系中的多个形态手势。[0028] 本发明还提供了一种基于手势识别的车辆控制装置，包括：[0029] 第一接收模块，用于接收车辆上传的待识别手势；[0030] 比对模块，用于将待识别手势与车辆所属用户关联的预存个性化手势数据库进行特征相似度比对；[0031] 输出模块，用于在特征相似度比对成功时，输出包含待识别手势所属手势类型及其所表征的用户意图的比对结果；[0032] 下发模块，用于将所述比对结果下发车辆，供车辆按照所述比对结果中的用户意图进行操控；[0033] 预存个性化手势数据库至少包括多组第一映射关系，一组第一映射关系包括表征一个用户意图的一个手势类型和属于同一手势类型的多个不同形态手势，多个不同形态手势由不同身高、体重、年龄和性别的多个试验对象提供。[0034] 优选地，预存个性化手势数据库还包括至少一组第二映射关系，一组第二映射关系包括表征一个用户意图的一个手势类型和由车辆所属用户提供的至少一个形态手势。[0035] 优选地，所述装置还包括：[0036] 第二接收模块，用于接收车辆基于所述比对结果反馈的操控结果；[0037] 标记模块，用于若所述操控结果表现为车辆按照所述用户意图进行操控后在预定时间内按照与所述用户意图相反的意图执行反向操作，则确认比对结果有误，将特征相似度比对时所选择的目标形态手势进行一次标记；[0038] 删除模块，用于在目标形态手势的标记次数达到预定次数时，将所述目标形态手势从预存个性化手势数据库中删除；[0039] 目标形态手势是指与待识别手势的特征相似度超过预设相似度值的形态手势。[0040] 优选地，所述装置还包括：[0041] 反馈模块，用于在特征相似度比对失败时，向车辆反馈比对失败的反馈信息；[0042] 新增模块，用于在发送反馈信息后的预定时间内，若接收到车辆基于用户触发而执行操控的信息，则将车辆执行的操控划定为一个新用户意图，以及将所述待识别手势划定为与新用户意图相关联的新手势类型，再将新手势类型和待识别手势作为一组第二映射关系记录到预存个性化手势数据库中。[0043] 优选地，所述用户意图至少为：表征用户对车辆的前舱盖、天窗、后背门、车门和车机的操控意图。[0044] 优选地，所述装置还包括：[0045] 比对模块，用于针对同一车型，对所有车辆所属用户关联的预存个性化手势数据库进行比对；[0046] 第一更新模块，用于若超过第一预定占比数量的预存个性化手势数据库中均对同一形态手势进行了删除，则在所有车辆所属用户关联的预存个性化手势数据库中均对其进行删除。[0047] 优选地，所述装置还包括：[0048] 第二更新模块，用于若超过第二预定占比数量的预存个性化手势数据库中均增加了同一组包含新手势类型及新用户意图的映射关系，则在所有车辆所属用户关联的预存个性化手势数据库中均增加这一组映射关系，且将所有车辆所属用户的手势划定为这一组映射关系中的多个形态手势。[0049] 本发明还提供了一种控制设备，包括处理器，存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如上述的基于手势识别的车辆控制方法的步骤。[0050] 本发明还提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如上述的基于手势识别的车辆控制方法的步骤。[0051] 本发明的有益效果为：[0052] 通过将原有的应用于车辆端的手势识别过程放在云平台端来实现，车端无需置入具有高计算能力的控制器和具有高传感精度的摄像头，因而可降低车辆的硬件成本；此外，基于5G通信的低时延高传输速率特性，来保障车辆与云平台之间的通信实时性。[0053] 在车端无需存储具有大规模样本的数据库，而在云平台端预先置入了基于不同车型、不同用户人群的个性化手势数据库，该个性化手势数据库的真实采集样本可随着车辆使用而逐步积累，随着真实采集样本的数量的增加，基于此个性化手势数据库对车辆提供的手势进行手势识别准确性将进逐渐提高。[0054] 云平台能够基于大数据进行车辆手势识别自学习，当出现用户意图和手势识别的识别结果不一致时，云平台可根据车辆反馈的操控结果分析用户行为得出偏差点，并完成自学习，以此优化该车辆所属用户的个性化手势数据库，最终形成针对每一车辆所属用户所独有的个性化手势数据库。在每一次优化后，利用优化后的该数据库来进行手势识别的精确度都会在前一步的基础上有所提升；并且，利用该自学习优化功能，能够对用户在新场景利用该手势识别执行车辆操控时的新手势和用户意图的映射关系进行自学习，增加本功能的场景覆盖度。附图说明[0055] 图1为本发明实施例中的基于手势识别的车辆方法流程图；[0056] 图2是实现车端和云端组成的手势识别系统的框图；[0057] 图3为本实施例中车端进行手势上传和云端进行手势识别的流程图；[0058] 图4为本实施例中的预先试验得到基于车型的手势数据库的原理图；[0059] 图5为本实施例中云平台对同一车型的全部个性化手势数据库进行更新的原理图；[0060] 图6为本实施例中的基于手势识别的车辆控制装置的框图。具体实施方式[0061] 下面对本发明作进一步描述。以下结合附图对本发明的原理和特征进行描述，所举实例仅用于解释本发明，并非限定本发明的范围。[0062] 本发明提供了一种基于手势识别的车辆控制方法，为了实现该方法，需要云端和车端共同参与，如图2，其中，车轮端的人机交互模块与摄像头模块建立连接，摄像头模块进行用户手势图像采集和预处理，人机交互模块用于通过5G通信模块与云平台建立连接，人机交互模块还用于根据云平台和来自车辆其它ECU的指令，对车辆执行相应操控。[0063] 参照图1和图3，本实施例中，该基于手势识别的车辆控制方法应用于云平台，包括：[0064] 步骤S101,接收车辆上传的待识别手势。[0065] 对于每一车辆来说，都需要建立与云平台的连接，车辆端设置有摄像头模块，该摄像头模块安装在车辆的各个需要采集用户手势的区域，如安装在车辆A柱前侧、前保险杠上、挡风玻璃内侧、车辆C柱等位置，摄像头通过拍摄视频来获得用户在一段时间内的手势变化状态。摄像头模块为集成信息采集单元和信息处理单元的一体化装置，信息处理单元对信息采集单元采集的用户手势视频信息的持续时间进行检测来识别出用户误触发的场景，在该用户手势视频信息的持续时间大于或等于2s时，认定用户输入的该手势是真实的用户输入；信息处理单元再通过图像帧截取，得到满足要求的用户手势图像，信息采集单元到用户手势图像后，将用户手势图像通过车辆的人机交互模块上传到云平台。其中，人际交互模块基于5G通信技术与云平台建立通信。[0066] 对于云平台来说，其能够获取到每个与其预先建立通信的车辆上传的待识别手势。[0067] 步骤S102,将待识别手势与车辆所属用户关联的预存个性化手势数据库进行特征相似度比对。[0068] 其中，预存个性化手势数据库至少包括多组第一映射关系，一组第一映射关系包括表征一个用户意图的一个手势类型和属于同一手势类型的多个不同形态手势，多个不同形态手势由不同身高、体重、年龄和性别的多个试验对象提供。[0069] 上述的多组第一映射关系可以组成该预存个性化手势数据库中的共有部分。同时，同一车型对应的预存个性化手势数据库中，该共有部分的初始数据相同；不同车型对应的预存个性化手势数据库中，该共有部分的初始数据不同。[0070] 该共有部分的初始数据是通过样本测试得到的，具体来说，如图4，工程师通过实车或者台架进行样本测试，试验基本思路如下：划分不同参数的多种车型（如大型、中型、紧凑型SUV，大型、中型、紧凑型轿车及其他车辆），再通过不同身高、体重、年龄、性别的等人群进行相同手势（如OK、V、握拳、五指并拢张开等），采集其手势照片并记录测试者信息。该共有部分的数据可以根据大数据分析进行删减、增加等更新处理，进行删减和增加处理的过程在后续实施例中进行介绍。[0071] 将待识别手势进行特征相似度比对的具体过程为，将待识别手势的特征提取出，将该特征与个性化手势数据库的各形态手势的特征进行相似度比对，若比对出某一形态手势与待识别手势的特征相似度超过预设值时，认定该形态手势为与待识别手势相同，将该形态手势确定为需求的目标形态手势。[0072] 本实施例中，进行特征相似度比对的具体原理可以采用现有技术中的相关技术来实现。[0073] 步骤S103,在特征相似度比对成功时，输出包含待识别手势所属手势类型及其所表征的用户意图的比对结果。[0074] 上述的该用户意图至少为：表征用户对车辆的前舱盖、天窗、后背门、车门和车机的操控意图。本实施例中，用户意图不限于对上述这些部件的控制，还可以用于车辆上其它涉及需要用户操控的场景，如空调控制，车辆启动、关闭等控制。[0075] 步骤S104,将所述比对结果下发车辆，供车辆按照所述比对结果中的用户意图进行操控。[0076] 通过本实施例上述步骤S101至S104，云平台在进行手势识别时，会将同一手势和不同人员所对应的不同形态手势进行特征比对，减少由于不同人群比划同一手势时的个体差异造成比对不成功或者比对错误的概率，以此提高对车辆控制的准确率。同时，将手势识别应用在云端来进行，而在车辆端无需进行手势识别，可以取消车辆端进行手势识别的装置，降低车端硬件成本。[0077] 为了对车辆执行该比对结果后的准确性进行检测，本实施例在上述步骤S104至S105的基础上，还包括下述的步骤S105至S107。[0078] 步骤S105，接收车辆基于所述比对结果反馈的操控结果。[0079] 其中，该处的操控结果包括两种，第一种操控结果为：为车辆按照该比对结果中的用户意图执行车辆操控后，在预定时间内未按照与该用户意图相反的意图执行反向操作；第二种操控结果为：为车辆按照所述用户意图进行操控后在预定时间内按照与所述用户意图相反的意图执行反向操作，例如比对结果中的用户意图为用户期望打开电动前舱盖，车辆在打开前舱盖后在10s内又在用户控制下进行了关闭电动前舱盖的动作。[0080] 第一种操控结果表明车辆执行该操控为是用户真实期望的，表明该比对结果是正确的；第二种操控结果表明按照该比对结果中的用户意图执行操控不是用户真实期望的，表明比对结果有偏差或有误。[0081] 在该操控结果为第一种操控结果时，云平台读取该结果的信息后，忽略该结果，不做任何处理。[0082] 步骤S106，若所述操控结果表现为车辆按照所述用户意图进行操控后在预定时间内按照与所述用户意图相反的意图执行反向操作，则确认比对结果有误，将特征相似度比对时所选择的目标形态手势进行一次标记。[0083] 此处的目标形态手势是指上述进行特征相似度比对时，比对出的与待识别手势的特征相似度超过预设相似度值的形态手势。[0084] 步骤S107，在目标形态手势的标记次数达到预定次数时，将所述目标形态手势从预存个性化手势数据库中删除。[0085] 结合图5，针对上述步骤S101至步骤S107进行举例说明。例如，某车型1的用户做出手势A，经过手势特征比对后，认定该手势A和车型1中的手势类型1中的形态手势2的特征相似度大于90%，则将该形态手势2作为目标形态手势，生成比对结果。车辆按照该比对结果执行操控后，反馈上述的第二种操控结果。云平台在接收到该第二种操控结果后，认定比对失败，将该形态手势2进行一次标记，若发现该形态手势2的累积标记次数已经达到2次，则认定该形态手势容易造成手势A的误识别，故将该形态手势2进行删除处理，避免在下一次对该手势A进行识别时再次出线误识别，提高手势识别精度，进而提高车辆操控精度。[0086] 结合图5，在执行对单个的个性化手势数据库中的一个或多个形态手势删除后，云平台还需要执行：[0087] 步骤S201,针对同一车型，对所有车辆所属用户关联的预存个性化手势数据库进行比对。[0088] 此步骤中，比对的目的是为了对各个预存个性化手势数据库中的全部形态手势进行比对，以筛选出对同一形态手势进行删除处理的预存个性化手势数据库，在多个预存个性化手势数据库中均对该形态手势进行了删除，表明该形态手势导致手势识别误差的几率很大。[0089] 步骤S202，若超过第一预定占比数量的预存个性化手势数据库中均对同一形态手势进行了删除，则在所有车辆所属用户关联的预存个性化手势数据库中均对其进行删除。[0090] 在该步骤中，对所有的预存个性化手势数据库中该形态手势都进行删除的目的作为一种补救措施，避免下一次再因该形态手势进行导致手势误识别。[0091] 在上述步骤S102进行特征相似度比对后，该步骤还包括：[0092] 步骤S108，在特征相似度比对失败时，向车辆反馈比对失败的反馈信息。[0093] 该反馈信息表征未查找到和待识别手势的特征相似度超过预设相似度的目标形态手势。[0094] 步骤S109，在发送反馈信息后的预定时间内，若接收到车辆基于用户触发而执行操控的信息，则将车辆执行的操控划定为一个新用户意图，以及将所述待识别手势划定为与新用户意图相关联的新手势类型，再将新手势类型和待识别手势作为一组第二映射关系记录到预存个性化手势数据库中。[0095] 执行该步骤S108的目的在于，某些情形下，某一特殊的手势会作为在一段时间内的潮流手势，这类潮流手势可能在之前从未出现，因而在原有预存个性化手势数据库中的可能未记录该手势，为此，需要执行步骤S109将这类手势添加更新到预存个性化手势数据库中。[0096] 本实施例中，车辆在出厂时，每一中仅包括上述多组第一映射关系组成的共有部分。随着车辆的使用，云平台利用大数据进行数据增加后，会使得预存个性化手势数据库还包括至少一组第二映射关系，一组第二映射关系包括表征一个用户意图的一个手势类型和由车辆所属用户提供的至少一个形态手势。至少一组第二映射关系组成该预存个性化手势数据库中的私有部分。[0097] 经过上述的步骤S107、S109动作后，每一车辆所属用户的预存个性化手势数据库中所存储的映射关系不完全相同，且同一组映射关系下所对应的形态手势也不完全相同。[0098] 在对预存个性化手势数据库进行数据更新后，云平台针对全部的预存个性化手势数据库执行判断，在一定占比的预测个性化手势识别数据库中都对同一组映射关系进行了增加，表面这一组映射关系受到了较多的用户关注，此时可将全部的预存个性化手势数据库进行更新，为初次使用该种手势期望执行同类车辆操控的用户进行手势识别，提高用户使用体验。为此，本实施例中还需要执行：[0099] 先执行上述的步骤S201；[0100] 再执行步骤S203，若超过第二预定占比数量的预存个性化手势数据库中均增加了同一组包含新手势类型及新用户意图的映射关系，则在所有车辆所属用户关联的预存个性化手势数据库中均增加这一组映射关系，且将所有车辆所属用户的手势划定为这一组映射关系中的多个形态手势。[0101] 步骤S203中的第二预定占比数量和步骤S202中的第一预定占比数量的具体数值可以基于实际情况划定，如设置为10%、30%、80%等。例如，针对某车企来说，与云平台建立过连接的车辆有10万辆，在30%的车辆都新增了同一组映射关系，则对这10万辆车辆对应的预存个性化手势数据库都新增这一组映射关系。这样，剩余的7万辆车在首次上传该新手势时，可以利用新增的这一组映射关系来识别用户的意图。故在执行该步骤S203之后，在每一车辆所属用户的预存个性化手势数据库中都存储有这一组映射关系，云平台可以利用这一组映射关系为所有的车辆服务。[0102] 在经过上述的步骤S201至S203动作后，每一车辆所属用户的预存个性化手势数据库中共有部分的映射关系组完全相同，且同一组映射关系下所对应的形态手势也完全相同。[0103] 本实施例上述方案，通过将原有的应用于车辆端的手势识别过程放在云平台端来实现，车端无需置入具有高计算能力的控制器和具有高传感精度的摄像头，因而可降低车辆的硬件成本；此外，基于5G通信的低时延高传输速率特性，来保障车辆与云平台之间的通信实时性。[0104] 在车端无需存储具有大规模样本的数据库，而在云平台端预先置入了基于不同车型、不同用户人群的个性化手势数据库，该个性化手势数据库的真实采集样本可随着车辆使用而逐步积累，随着真实采集样本的数量的增加，基于此个性化手势数据库对车辆提供的手势进行手势识别准确性将进逐渐提高。[0105] 云平台能够基于大数据进行车辆手势识别自学习，当出现用户意图和手势识别的比对结果不一致时，云平台可根据车辆反馈的操控结果分析用户行为得出偏差点，并完成自学习，以此优化该车辆所属用户的个性化手势数据库，最终形成针对每一车辆所属用户所独有的个性化手势数据库。在每一次优化后，利用优化后的该数据库来进行手势识别的精确度都会在前一步的基础上有所提升；并且，利用该自学习优化功能，能够对用户在新场景利用该手势识别执行车辆操控时的新手势和用户意图的映射关系进行自学习，增加本功能的场景覆盖度。[0106] 参照图6，本发明还提供了一种基于手势识别的车辆控制装置，包括：[0107] 第一接收模块301，用于接收车辆上传的待识别手势；[0108] 比对模块302，用于将待识别手势与车辆所属用户关联的预存个性化手势数据库进行特征相似度比对；[0109] 输出模块303，用于在特征相似度比对成功时，输出包含待识别手势所属手势类型及其所表征的用户意图的比对结果；[0110] 下发模块304，用于将所述比对结果下发车辆，供车辆按照所述比对结果中的用户意图进行操控；[0111] 预存个性化手势数据库至少包括多组第一映射关系，一组第一映射关系包括表征一个用户意图的一个手势类型和属于同一手势类型的多个不同形态手势，多个不同形态手势由不同身高、体重、年龄和性别的多个试验对象提供。[0112] 优选地，预存个性化手势数据库还包括至少一组第二映射关系，一组第二映射关系包括表征一个用户意图的一个手势类型和由车辆所属用户提供的至少一个形态手势。[0113] 优选地，所述装置还包括：[0114] 第二接收模块305，用于接收车辆基于所述比对结果反馈的操控结果；[0115] 标记模块306，用于若所述操控结果表现为车辆按照所述用户意图进行操控后在预定时间内按照与所述用户意图相反的意图执行反向操作，则确认比对结果有误，将特征相似度比对时所选择的目标形态手势进行一次标记；[0116] 删除模块307，用于在目标形态手势的标记次数达到预定次数时，将所述目标形态手势从预存个性化手势数据库中删除；[0117] 目标形态手势是指与待识别手势的特征相似度超过预设相似度值的形态手势。[0118] 优选地，所述装置还包括：[0119] 反馈模块308，用于在特征相似度比对失败时，向车辆反馈比对失败的反馈信息；[0120] 新增模块309，用于在发送反馈信息后的预定时间内，若接收到车辆基于用户触发而执行操控的信息，则将车辆执行的操控划定为一个新用户意图，以及将所述待识别手势划定为与新用户意图相关联的新手势类型，再将新手势类型和待识别手势作为一组第二映射关系记录到预存个性化手势数据库中。[0121] 优选地，所述用户意图至少为：表征用户对车辆的前舱盖、天窗、后背门、车门和车机的操控意图。[0122] 优选地，所述装置还包括：[0123] 比对模块，用于针对同一车型，对所有车辆所属用户关联的预存个性化手势数据库进行比对；[0124] 第一更新模块，用于若超过第一预定占比数量的预存个性化手势数据库中均对同一形态手势进行了删除，则在所有车辆所属用户关联的预存个性化手势数据库中均对其进行删除。[0125] 优选地，所述装置还包括：[0126] 第二更新模块，用于若超过第二预定占比数量的预存个性化手势数据库中均增加了同一组包含新手势类型及新用户意图的映射关系，则在所有车辆所属用户关联的预存个性化手势数据库中均增加这一组映射关系，且将所有车辆所属用户的手势划定为这一组映射关系中的多个形态手势。[0127] 本发明上述装置，具有与上述方法相同的技术效果。即，本实施例上述方案，通过将原有的应用于车辆端的手势识别过程放在云平台端来实现，车端无需置入具有高计算能力的控制器和具有高传感精度的摄像头，因而可降低车辆的硬件成本；此外，基于5G通信的低时延高传输速率特性，来保障车辆与云平台之间的通信实时性。[0128] 在车端无需存储具有大规模样本的数据库，而在云平台端预先置入了基于不同车型、不同用户人群的个性化手势数据库，该个性化手势数据库的真实采集样本可随着车辆使用而逐步积累，随着真实采集样本的数量的增加，基于此个性化手势数据库对车辆提供的手势进行手势识别准确性将进逐渐提高。[0129] 云平台能够基于大数据进行车辆手势识别自学习，当出现用户意图和手势识别的比对结果不一致时，云平台可根据车辆反馈的操控结果分析用户行为得出偏差点，并完成自学习，以此优化该车辆所属用户的个性化手势数据库，最终形成针对每一车辆所属用户所独有的个性化手势数据库。在每一次优化后，利用优化后的该数据库来进行手势识别的精确度都会在前一步的基础上有所提升；并且，利用该自学习优化功能，能够对用户在新场景利用该手势识别执行车辆操控时的新手势和用户意图的映射关系进行自学习，增加本功能的场景覆盖度。[0130] 本发明还提供了一种控制设备，包括处理器，存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如上述的基于手势识别的车辆控制方法的步骤。[0131] 本发明还提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如上述的基于手势识别的车辆控制方法的步骤。

专利地区：重庆

专利申请日期：2022-05-27

专利公开日期：2024-09-27

专利公告号：2024-09-27