一种基于多人交互动作判断的人机交互判断方法及装置

专利名称：一种基于多人交互动作判断的人机交互判断方法及装置

专利类型：发明专利

专利申请号：CN202210214053.8

专利申请（专利权）人：无锡乐骐科技股份有限公司
权利人地址：江苏省无锡市新吴区菱湖大道111号国家软件园天鹅座D座1601室

专利发明（设计）人：马勇,李青

专利摘要：本发明公开了一种基于多人交互动作判断的人机交互判断方法及装置，涉及机器学习领域。所述方法及装置是通过摄像头实现对多人交互动作的动态追踪并执行该动作对应的触发行为，并将该行为与传统的人机交互方式进行融合，从而实现智能化拍摄。本发明公开的目的是为了解决现有技术中无法对多人交互方式进行动态识别并处理的问题。本发明公开的系统能实现多人交互与人机交互的双重交互模式，交互性更强，更加智能化。

主权利要求：
1.一种基于多人交互动作判断的人机交互判断方法，其特征在于，包括：
S1：开启摄像头，从交互判断数据集中选择设定交互判断数据；
S2：根据交互判断数据确定要识别的人体特征点，通过摄像头识别拍照区域中多人对应特征点并标记；
S3：摄像头获取并识别时序连续的N帧图像，将所述N帧图像与交互判断数据进行比对判断；
S4：向目标设备返回判断结果，判断相同时触发拍照指令；
S1所述交互判断数据集包括不同多人交互动作对应的标记点移动数据，包括但不限于接吻、击掌，所述标记点根据不同的交互动作设定；
所述交互判断数据为按照时序排列的图像对应的标记点数据以及标记点位置关系数据，根据S1设定的交互判断数据，得到标记点的位置移动关系，初始状态为比对准备状态，在摄像头获取的时序连续图像中依次计算任意连续M帧图像中标记点位置的变化，当距离变化关系与设定的交互判断数据里任意连续M帧图像中标记点位置变化满足给定条件时，判定为匹配状态，继而执行匹配操作，触发拍照指令；
在比对判断开始后，若识别图像中的任意连续K帧标记点位置变化关系无法满足给定条件，则终止当前进程，重新进入比对准备状态，其中，K为大于2的自然数；
进入匹配状态后，对摄像头采集的图像中的差异图像进行平滑处理，所述差异图像为非终止状态下，标记点数据与预设的交互判断数据之间存在差异时的图像，所述平滑处理包括：将所述差异图像更正为与对应所述比对判断数据相同的状态，或者，将所述差异图像从摄像头采集的识别数据中剔除；
S2中摄像头识别的所述拍照区域为基于判断数据特征点的图像局部空间区域，由所述摄像头采集图像中，选择对应于判断数据特征点相关的局部图像区域，并执行比对处理。
2.一种基于多人交互动作判断的人机交互系统装置，其特征在于，所述系统装置用于权利要求1所述的方法，包括：影像获取模块，所述影像获取模块用于获取摄像头所获取的时序帧图像；影像判断模块，所述影像判断模块用于将所述影像获取模块获取的时序帧图像与预设的比对判断数据进行比对，并返回判断结果；影像输出模块，所述影像输出模块用于根据所述影像判断模块返回的判断结果执行相应指令，若判断成功则触发拍照功能并输出拍照图像，若判断失败则继续判断直至当前进程被终止。
3.一种电子设备，其特征在于：所述设备包括存储器、处理器，所述存储器用于存储可在处理器上运行的计算机指令，所述处理器用于在执行所述计算机指令时实现权利要求1所述的方法。
4.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现权利要求1所述的方法。 说明书 : 一种基于多人交互动作判断的人机交互判断方法及装置技术领域[0001] 本发明涉及机器学习领域，特别是涉及一种基于多人交互动作判断的人机交互判断方法及装置。背景技术[0002] 随着AI时代的来临，人们日常生活中的产品也在向着智能化、电子化的方向发展，同时，快节奏的生活不仅仅给人带来了生活上的便利，时间成本的提高也对人们的生活方式提出了更高的要求，智能与生活的互相促进，才帮助大家能够更好的进入智能化的时代，因此，出现了越来越多的智能化的人机交互方式，以满足人们对个性化的追求。例如手机及其相关交互系统，用户已经可以通过非触控的方式来对手机执行一些操作，但是现有的技术仅可以支持通过识别固有姿势的方式来实现指令的操作，缺少了多人交互对智能设备的执行实现方法，单一的图像识别只是做简单的0‑1判断，无法做到动态的追踪并执行相应的动作，即现有技术很难实现真正的智能化操作。发明内容[0003] 为了解决上述现有技术中无法对多人交互方式进行动态识别并处理的问题，本发明提出了一种基于多人交互动作判断的人机交互判断方法及装置，通过摄像头实现对多人交互动作的动态追踪并执行该动作对应的触发行为，并将该行为与传统的人机交互方式进行融合，从而实现真正意义上的智能化。[0004] 鉴于以上情况，本发明提出了一种基于多人交互动作判断的人机交互判断方法，其特征在于，包括：[0005] S1：开启摄像头，从交互判断数据集中选择设定交互判断数据；[0006] S2：根据交互判断数据确定要识别的人体特征点，通过摄像头识别拍照区域中多人对应特征点并标记；[0007] S3：摄像头获取并识别时序连续的N帧图像，将所述N帧图像与交互判断数据进行比对判断；[0008] S4：向目标设备返回判断结果，判断相同时触发拍照指令。[0009] 作为一种优选的实施方式，S1所述交互判断数据集包括不同多人交互动作对应的标记点移动数据，包括但不限于接吻、击掌，所述标记点根据不同的交互动作设定。[0010] 作为一种优选的实施方式，所述交互判断数据为按照时序排列的图像对应的标记点数据以及标记点位置关系数据，根据S1设定的交互判断数据，得到标记点的位置移动关系，初始状态为比对准备状态，在摄像头获取的时序连续图像中依次计算任意连续M帧图像中标记点位置的变化，当距离变化关系与设定的交互判断数据里任意连续M帧图像中标记点位置变化满足给定条件时，判定为匹配状态，继而执行匹配操作，触发拍照指令。[0011] 作为一种优选的实施方式，在比对判断开始后，若识别图像中的任意连续K帧标记点位置变化关系无法满足给定条件，则终止当前进程，重新进入比对准备状态，其中，K为大于2的自然数。[0012] 作为一种优选的实施方式，进入匹配状态后，对摄像头采集的图像中的差异图像进行平滑处理，所述差异图像为非终止状态下，标记点数据与预设的交互判断数据之间存在差异时的图像，所述平滑处理包括：将所述差异图像更正为与对应所述比对判断数据相同的状态，或者，将所述差异图像从摄像头采集的识别数据中剔除。[0013] 作为一种优选的实施方式，S2中摄像头识别的所述拍照区域为基于判断数据特征点的图像局部空间区域，由所述摄像头采集图像中，选择对应于判断数据特征点相关的局部图像区域，并执行比对处理。[0014] 一种基于多人交互动作判断的人机交互系统装置，包括：[0015] 影像获取模块，所述影像获取模块用于获取摄像头所获取的时序帧图像；[0016] 影像判断模块，所述影像判断模块用于将所述影像获取模块获取的时序帧图像与预设的比对判断数据进行比对，并返回判断结果；[0017] 影像输出模块，所述影像输出模块用于根据所述影像判断模块返回的判断结果执行相应指令，若判断成功则触发拍照功能并输出拍照图像，若判断失败则继续判断直至当前进程被终止。[0018] 一种电子设备，所述设备包括存储器、处理器，所述存储器用于存储可在处理器上运行的计算机指令，所述处理器用于在执行所述计算机指令时实现本公开任一所述的方法。[0019] 一种计算机课读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现本公开任一所述的方法。[0020] 与现有技术相比，本发明具有如下有益效果：通过摄像头实现对多人交互动作的动态追踪并执行该动作对应的触发行为，并将该行为与传统的人机交互方式进行融合，相较于传统的判断方式无法从本质上获取此姿势标记点的关系而言，本发明公开的系统交互性更强，更加智能化。附图说明[0021] 附图1为本发明提出的比对判断方法流程；[0022] 附图2为采用本发明所述方法的一种人机交互系统装置；[0023] 附图3为采用本发明所述方法的一种电子设备。具体实施方式[0024] 为使本发明的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本发明。[0025] 如图1所述，图1展示了一示例性的交互判断流程，该方法可以是由人机交互系统执行，该方法可以包括：[0026] S1：开启摄像头，从交互判断数据集中选择设定交互判断数据；本步骤所述摄像头为嵌入现有智能设备中的摄像头，且此智能设备具有可以联网，将摄像头捕捉到的图像上传到云端的功能，从而进行下一步的比对工作；[0027] 交互判断数据集是指在预先在云端存储的动作序列，用户在交互数据集中选定本动作后，智能设备上即可将本交互数据作为比对源存储到本地，包括需要识别的人体特征点和运动轨迹数据，以本实施例公开的接吻动作为例，即要通过框选人脸后，分别获取两人嘴唇的中间位置为标记点1和标记点2，并将标记点1和标记点2的欧式距离按照时间顺序的位置缩小关系定为参考关系，存储在智能设备的存储模块中后；[0028] S2：根据交互判断数据确定要识别的人体特征点，通过摄像头识别拍照区域中多人对应特征点并标记，摄像头在S1中接收到用户设定的比对数据设定信号后，开始对摄像头识别区域的图像内容进行捕捉，找到本动作所需要的标记点1和标记点2之后对图像内容进行标记，如果出现识别结果出现多张面容，则在智能设备上进行提示，以确认只有本动作所需要的人员在识别区域内；[0029] S3：摄像头获取并识别时序连续的10帧图像，将所述10帧图像与交互判断数据进行比对判断；摄像头确定识别区域及标记点后就自动从比对准备状态进入比对状态，每两帧图像之间两个标记点的位置关系进行记录，如果连续的三帧图像之间的两段相应标记点变化关系跟设定的交互判断数据的标记点变化关系轨迹相同，就继续比对，直至获取到标记点最终的位置关系，在本实施例中，标记点1和标记点2代表的是拍照双方嘴唇的中间位置，完成这个亲吻动作，则需要标记点1和标记点2的欧式距离不断缩小，直至摄像头识别两者的距离为0，相对于传统的固定姿势拍照，本发明所公开的方法可以有效的增强交互感，就本实施例而言，固定接吻姿势拍照可能会对亲吻角度或者面部方向有限制，传统的判断方式无法从本质上获取此姿势标记点的关系，因此交互性差，识别的效果也会变差；[0030] 或者，对设定的交互判断数据制定一个误差阈，在误差阈范围内，对摄像头捕捉到的图像之间摄像头获取到的识别图像中，前6帧图像能够满足交互判断数据的轨迹要求，但是5‑7帧之间标记点的位置关系无法满足条件，则会对第7帧图像进行校正，将该帧图像的标记点位置进行重新定位，对误差阈允许范围内的图像校正为满足交互判断数据中标记点位置关系的图像，或者，对当前帧图像做剔除处理。[0031] S4：向目标设备返回判断结果，判断相同时触发拍照指令，在本实施例中，当标记点1和标记点2之间的位置关系为0时，系统可以由此判断为摄像头捕捉到的标记点运动轨迹与设定的接吻标记点轨迹相同，因此返回判断结果为摄像头当前采集的图像数据与设定的交互判断数据相匹配，从而触发摄像头启动拍照功能，拍照完成后本进程即自动终止。[0032] 图2提供了一种人机交互系统装置，如图2所述，该装置至少包括：[0033] 影像获取模块，影像获取模块用于获取摄像头所获取的时序帧图像；[0034] 影像判断模块，影像判断模块用于将所述影像获取模块获取的时序帧图像与预设的比对判断数据进行比对，并返回判断结果；[0035] 影像输出模块，影像输出模块用于根据所述影像判断模块返回的判断结果执行相应指令，若判断成功则触发拍照功能并输出拍照图像，若判断失败则继续判断直至当前进程被终止。[0036] 图3提供了一种电子设备，如图3所示，该设备包括了存储器和处理器，所述存储器用于存储可在处理器上运行的计算机指令，所述处理用于在执行所述计算机指令时实现本发明任一所述的方法。[0037] 本发明还公开了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现本发明任一所述的方法[0038] 本领域技术人员应该明白，本发明一个或多个实施例可提供为方法、系统或计算机程序产品。因此，本发明一个或多个实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本公开一个或多个实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD‑ROM、光学存储器等)上实施的计算机程序产品的形式。[0039] 尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

专利地区：江苏

专利申请日期：2022-03-04

专利公开日期：2024-06-18

专利公告号：CN114598817B