一种基于深度学习模型的特定动作识别方法及系统

专利名称：一种基于深度学习模型的特定动作识别方法及系统

专利类型：发明专利

专利申请号：CN202010994285.0

专利申请（专利权）人：哈尔滨工业大学(深圳)
权利人地址：广东省深圳市南山区夏青路

专利发明（设计）人：赵毅,王一峰,李虹颐,汪洋

专利摘要：本发明涉及一种基于深度学习模型的特定动作识别方法及系统，所述方法包括：获取初始训练数据集；根据所述初始训练数据集得到设定动作光学轨迹信息和设定动作惯性轨迹信息，根据设定动作光学轨迹信息和设定动作惯性轨迹信息对动作识别模型进行训练，通过训练后的动作识别模型和样条函数完成设定动作的识别。本发明通过精确的训练集对模型进行训练，通过训练好的模型并基于样条函数完成设定动作的精准识别。

主权利要求：一种基于深度学习模型的特定动作识别方法及系统
技术领域
[0001] 本发明涉及卷积神经网络技术领域，特别是涉及一种基于深度学习模型的特定动作识别方法及系统。
背景技术
[0002] 在物联网时代，传感器设备将遍布我们的社会生活，通过传感器采集到的数据，可以实现浩如烟海的丰富功能，例如，当用户佩戴惯性传感器做出不同的行为、动作时，可以对应不同类型的控制命令，这意味着传感器在源源不断地采集着数据。然而，如何准确地提取出特定动作所对应的惯性传感器数据，就成为了一个重要的问题。假设传感器采样频率为200Hz，某特定动作持续时间为1.5秒，那么该动作所对应的时间序列数据即为300帧，需要从长达数万帧的数据中准确地提取出这300帧的数据，且起始、终止帧的误差均保持在10帧之内甚至更小，此外，特定动作所对应的时间序列数据在形态上并无明显的特征，进一步增加了难度。
[0003] 现有的时间序列数据的分割、提取、识别方案主要以判断数据的形态、几何特征为主要方法，而对于不具备形态、几何特征的时间序列数据，很难做到精确到帧的判断。
发明内容
[0004] 本发明的目的是提供一种基于深度学习模型的特定动作识别方法及系统，以通过精准的开始帧和终止帧提高设定动作识别的精度。
[0005] 为实现上述目的，本发明提供了如下方案：
[0006] 一种基于深度学习模型的特定动作识别方法，包括：
[0007] 获取M组含有设定动作的初始训练数据集；所述初始训练数据集包括光学数据和惯性数据；所述光学数据和惯性数据帧对应；
[0008] 在第m组所述初始训练数据集中，根据所述光学数据得到设定动作的第一开始帧和第二终止帧；m∈M；
[0009] 根据所述光学数据得到光学轨迹信息；
[0010] 根据所述惯性数据得到惯性轨迹信息；
[0011] 根据所述第一开始帧和所述第一终止帧对所述光学轨迹信息进行分割得到设定动作光学轨迹信息，对所述惯性轨迹信息进行分割得到设定动作惯性轨迹信息；
[0012] 根据每一组的所述设定动作光学轨迹信息和所述设定动作惯性轨迹信息对动作识别模型进行训练，基于样条函数和训练后的动作识别模型完成设定动作的识别。
[0013] 优选地，所述根据所述光学数据得到光学轨迹信息，包括：
[0014] 从所述光学数据中选取E帧图像作为初始图像；所述光学数据为在执行设定动作时，通过采集协同运动的设定数量的反光球得到的数据；
[0015] 对第e帧所述初始图像进行加标签处理，得到标签图像；所述标签包括每个反光球宽度、高度和球心的横坐标、纵坐标；e∈E；
[0016] 根据每一帧所述标签图像对光学卷神经网络模型进行训练；
[0017] 通过训练好的所述光学卷神经网络模型对所述光学数据中的第h帧图像进行特征提取，得到每个反光球的球心坐标；h∈H，H为光学数据的总帧数；
[0018] 对第h帧图像中每个反光球的球心坐标求平均值，得到所述光学轨迹信息。
[0019] 优选地，在所述对第h帧图像中每个反光球的球心坐标求平均值，得到所述光学轨迹信息之前，还包括：
[0020] 采用三次样条插值的方法对反光球的球心坐标中缺失的部分进行补足。
[0021] 优选地，所述根据所述惯性数据得到惯性轨迹信息，包括：
[0022] 根据所述惯性数据得到每一帧的四元数矩阵；
[0023] 根据所述惯性数据和所述四元数矩阵得到每一帧的速度；
[0024] 根据每一帧的速度得到每一帧的位移；
[0025] 根据每一帧的位移得到所述惯性轨迹信息。
[0026] 优选地，所述根据每一组的所述设定动作光学轨迹信息和所述设定动作惯性轨迹信息对动作识别模型进行训练，基于样条函数和训练后的动作识别模型完成设定动作的识别，包括：
[0027] 根据每一组的所述设定动作光学轨迹信息和所述设定动作惯性轨迹信息对动作识别模型进行训练；
[0028] 基于训练好的动作识别模型对设定动作进行识别，得到轨迹信息，进一步得到设定动作的初始开始帧、初始终止帧和设定动作窗口；
[0029] 基于窗口扩大偏好模型对所述设定动作窗口进行扩大处理，得到扩大轨迹信息；
[0030] 基于样条函数和Frechet距离的方法根据所述扩大轨迹信息得到第二开始帧和第二终止帧；
[0031] 根据所述第二开始帧和所述第二终止帧对所述扩大轨迹信息进行分割完成设定动作的识别。
[0032] 本发明还提供了一种基于深度学习模型的特定动作识别系统，包括：
[0033] 数据获取模块，用于获取M组含有设定动作的初始训练数据集；所述初始训练数据集包括光学数据和惯性数据；所述光学数据和惯性数据帧对应；
[0034] 第一帧确定模块，用于在第m组所述初始训练数据集中，根据所述光学数据得到设定动作的第一开始帧和第二终止帧；m∈M；
[0035] 光学轨迹信息模块，用于根据所述光学数据得到光学轨迹信息；
[0036] 惯性轨迹信息模块，用于根据所述惯性数据得到惯性轨迹信息；
[0037] 数据分割模块，用于根据所述第一开始帧和所述第一终止帧对所述光学轨迹信息进行分割得到设定动作光学轨迹信息，对所述惯性轨迹信息进行分割得到设定动作惯性轨迹信息；
[0038] 动作识别模块，用于根据每一组的所述设定动作光学轨迹信息和所述设定动作惯性轨迹信息对动作识别模型进行训练，基于样条函数和训练后的动作识别模型完成设定动作的识别。
[0039] 优选地，所述光学轨迹信息模块，包括：
[0040] 初始图像确定单元，用于从所述光学数据中选取E帧图像作为初始图像；所述光学数据为在执行设定动作时，通过采集协同运动的设定数量的反光球得到的数据；
[0041] 标签单元，用于对第e帧所述初始图像进行加标签处理，得到标签图像；所述标签包括每个反光球宽度、高度和球心的横坐标、纵坐标；e∈E；
[0042] 模型训练单元，用于根据每一帧所述标签图像对光学卷神经网络模型进行训练；
[0043] 特征提取单元，用于通过训练好的所述光学卷神经网络模型对所述光学数据中的第h帧图像进行特征提取，得到每个反光球的球心坐标；h∈H，H为光学数据的总帧数；
[0044] 光学轨迹确定单元，用于对第h帧图像中每个反光球的球心坐标求平均值，得到所述光学轨迹信息。
[0045] 优选地，所述光学轨迹信息模块还包括：
[0046] 数据填补单元，用于采用三次样条插值的方法对反光球的球心坐标中缺失的部分进行补足。
[0047] 优选地，所述惯性轨迹信息模块，包括：
[0048] 四元数矩阵单元，用于根据所述惯性数据得到每一帧的四元数矩阵；
[0049] 帧速度单元，用于根据所述惯性数据和所述四元数矩阵得到每一帧的速度；
[0050] 帧位移单元，用于根据每一帧的速度得到每一帧的位移；
[0051] 惯性轨迹确定单元，用于根据每一帧的位移得到所述惯性轨迹信息。
[0052] 优选地，所述动作识别模块，包括：
[0053] 模型训练单元，用于根据每一组的所述设定动作光学轨迹信息和所述设定动作惯性轨迹信息对动作识别模型进行训练；
[0054] 动作识别单元，用于基于训练好的动作识别模型对设定动作进行识别，得到轨迹信息，进一步得到设定动作的初始开始帧、初始终止帧和设定动作窗口；
[0055] 窗口扩大单元，用于基于窗口扩大偏好模型对所述设定动作窗口进行扩大处理，得到扩大轨迹信息；
[0056] 函数单元，用于基于样条函数和Frechet距离的方法根据所述扩大轨迹信息得到第二开始帧和第二终止帧；
[0057] 设定动作确定单元，用于根据所述第二开始帧和所述第二终止帧对所述扩大轨迹信息进行分割完成设定动作的识别。
[0058] 根据本发明提供的具体实施例，本发明公开了以下技术效果：
[0059] 本发明涉及一种基于深度学习模型的特定动作识别方法及系统，所述方法包括：获取初始训练数据集；根据所述初始训练数据集得到设定动作光学轨迹信息和设定动作惯性轨迹信息，根据设定动作光学轨迹信息和设定动作惯性轨迹信息对动作识别模型进行训练，通过训练后的动作识别模型和样条函数完成设定动作的识别。本发明通过精确的训练集对模型进行训练，通过训练好的模型并基于样条函数完成设定动作的精准识别。

附图说明
[0060] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0061] 图1为本发明基于深度学习模型的特定动作识别方法流程图；
[0062] 图2为本发明基于深度学习模型的特定动作识别系统结构图；
[0063] 图3为本发明基于样条函数滑动图；
[0064] 图4为本发明单个设定动作识别结果图；
[0065] 图5为本发明使用样条函数前后轨迹信息对比图；
[0066] 图6为本发明光学传感器多个设定动作轨迹分割结果图；
[0067] 图7为本发明光学传感器多个设定动作轨迹还原结果图。
[0068] 符号说明：1‑数据获取模块，2‑第一帧确定模块，3‑光学轨迹信息模块，4‑惯性轨迹信息模块，5‑数据分割模块，6‑动作识别模块。
具体实施方式
[0069] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0070] 本发明的目的是提供一种基于深度学习模型的特定动作识别方法及系统，以通过精准的开始帧和终止帧提高设定动作识别的精度。
[0071] 为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
[0072] 图1为本发明基于深度学习模型的特定动作识别方法流程图，如图1所示，本发明提供了一种基于深度学习模型的特定动作识别方法，包括：
[0073] 步骤S1，获取M组含有设定动作的初始训练数据集。具体地，步骤S1，包括：
[0074] 步骤S11，调节光学传感器和惯性传感器至同一采样频率。
[0075] 步骤S12，启动所述光学传感器和所述惯性传感器。
[0076] 步骤S13，执行标记动作，并在所述标记动作完成时执行设定动作。其中，设定动作可以为一个动作，也可以是多个动作的结合，具体根据实际需求进行选择。
[0077] 步骤S14，将光学传感器采集的初始光学数据中所述标记动作开始时刻之前的数据删除，得到光学数据。
[0078] 步骤S15，将惯性传感器采集的初始惯性数据中所述标记动作开始时刻之前的数据删除，得到惯性数据。所述初始训练数据集包括光学数据和所述惯性数据。
[0079] 通过上述方法得到的所述光学数据和所述惯性数据帧对应。
[0080] 步骤S2，在第m组所述初始训练数据集中，根据所述光学数据得到设定动作的第一开始帧和第一终止帧；m∈M。
[0081] 步骤S3，根据所述光学数据得到光学轨迹信息。
[0082] 作为一种可选的实施方式，本发明所述步骤S3包括：
[0083] 步骤S31，从所述光学数据中选取E帧图像作为初始图像；所述光学数据为在执行设定动作时，通过采集协同运动的设定数量的反光球得到的数据。反光球的数量根据实际需求进行选取。
[0084] 步骤S32，对第e帧所述初始图像进行加标签处理，得到标签图像；所述标签包括每个反光球宽度、高度和球心的横坐标、纵坐标；e∈E。
[0085] 步骤S33，根据每一帧所述标签图像对光学卷神经网络模型进行训练。
[0086] 本实施例中，所述光学卷神经网络模型的结构如下：
[0087] 输入层(Input)、卷积层(C1)、池化层(S2)、卷积层(C3)、池化层(S4)、卷积层(C5)、全连接层(F6)、输出层(Output)。
[0088] 其中，卷积层(C1)的设置如下：卷积核大小为20×20，通道数为5，卷积步长为1。
[0089] 池化层(S2)的设置如下：过滤器类型为平均池化，过滤器大小为10×0，步长为1。
[0090] 卷积层(C3)的设置如下：卷积核大小为10×10，通道数为5，卷积步长为1。
[0091] 池化层(S4)的设置如下：过滤器类型为平均池化，过滤器大小为5×5，步长为1。
[0092] 卷积层(C5)的设置如下：卷积核大小为10×10，通道数为5，卷积步长为1。
[0093] 步骤S34，通过训练好的所述光学卷神经网络模型对所述光学数据中的第h帧图像进行特征提取，得到每个反光球的球心坐标；h∈H，H为光学数据的总帧数。
[0094] 由于在采集过程可能会发生遮挡或其他因素的干扰，导致得到的反光球球心坐标会有缺失，因此，本发明采用三次样条插值的方法对反光球的球心坐标中缺失的部分进行补足。
[0095] 具体地，对于i号反光球而言，它的x坐标随时间的变化可以表示为一个 的时间序列h＝1,2……H)。H为光学数据的总帧数。设缺失数据从第h′帧开始，连续缺失p帧(p小于10帧)，即 所对应的数据缺失。

[0096] 本发明将采用三次样条插值的方法对其进行补足。此时，本发明利用 至的数据以及三次样条函数来构造插值函数，通过调用python中scipy的interpolate函数实现。本发明将 至 的数据输入interpolate函数，得到了插值函数f，此时，将缺省数据 数据插值函数f即可得到所对应的函数值，即完成了对缺省值的补充。

[0097] 对x坐标的操作也完全适用于y坐标，综上即完成了对缺省数据的补足。
[0098] 对于连续缺失帧数大于或等于10帧的，将此组数据舍弃。
[0099] 步骤S35，对第h帧图像中每个反光球的球心坐标求平均值，得到所述光学轨迹信息。具体计算公式如下：
[0100]
[0101] 式中，k为反光球的数量。
[0102] 步骤S4，根据所述惯性数据得到惯性轨迹信息。
[0103] 优选地，所述步骤S4，包括：
[0104] 步骤S41，根据所述惯性数据得到每一帧的四元数矩阵。所述惯性数据包括加速度数据和角速度数据。
[0105] 具体地，对于第t帧所述惯性数据，对所述加速度数据归一化，使数值范围变成‑1到+1之间：
[0106]
[0107] 变化的四元数矩阵如下：
[0108]
[0109] 利用归一的重力矩阵[001]，可提取出重力分量，即四元数矩阵的第三行元素：
[0110]
[0111] 向量的叉积可以用来判断两个向量是否平行，当两个向量都为单位向量的时候，它们之间的叉积就代表了它们之间的平行度，若平行则叉积为0，若垂直则叉积为1，两向量的方向差越小，叉积也越小，因此用叉积来表示两归一化向量的方向误差。对加速度计数据以及重力分量进行叉积，得到分量如下：
[0112]
[0113] 把上述的重力误差应用积分系数是Ki进行积分运算，得到累计误差：
[0114]
[0115] 将t时刻的重力误差以系数Kp加到所述角速度数据中，同时把上一步由Ki系数累加的重力误差结果加到所述角速度数据中，用于修正所述角速度数据：
[0116]
[0117] 利用一阶龙格库塔求解四元数，把由加速计修正过后的所述角速度数据整合到四元数中：
[0118]
[0119] 运算后的四元数进行归一化处理。得到了物体经过旋转后的新的四元数：
[0120]
[0121] 利用新的四元数，得到t时刻的四元数变换矩阵：
[0122]
[0123] 步骤S42，根据所述惯性数据和所述四元数矩阵得到每一帧的速度。
[0124] 步骤S43，根据每一帧的速度得到每一帧的位移。
[0125] 步骤S44，根据每一帧的位移得到所述惯性轨迹信息。
[0126] 通过计算得到t时刻地坐标系下的加速度数据 关系式如下：
[0127]object

[0128] 利用t时刻地坐标系下的加速度数据 得到t时刻物体坐标系下的位移Vt ，计算公式如下：
[0129]
[0130] 式中：earth为地坐标系，object物体坐标系。
[0131] 这样，就成了一个位移点的计算，将所有帧的位移都计算出来并连接到一起，得到所述惯性轨迹信息。
[0132] 步骤S5，根据所述第一开始帧和所述第一终止帧对所述光学轨迹信息进行分割得到设定动作光学轨迹信息，对所述惯性轨迹信息进行分割得到设定动作惯性轨迹信息。
[0133] 步骤S6，根据每一组的所述设定动作光学轨迹信息和所述设定动作惯性轨迹信息对动作识别模型进行训练，基于样条函数和训练后的动作识别模型完成设定动作的识别。
[0134] 具体地，步骤S6包括：
[0135] 步骤S61，根据每一组的所述设定动作光学轨迹信息和所述设定动作惯性轨迹信息对动作识别模型进行训练；
[0136] 步骤S62，基于训练好的动作识别模型对设定动作进行识别，得到轨迹信息，进一步得到设定动作的初始开始帧、初始终止帧和设定动作窗口；
[0137] 步骤S63，基于窗口扩大偏好模型对所述设定动作窗口进行扩大处理，得到扩大轨迹信息；
[0138] 步骤S64，基于样条函数和Frechet距离的方法根据所述扩大轨迹信息得到第二开始帧和第二终止帧；
[0139] 步骤S65，根据所述第二开始帧和所述第二终止帧对所述扩大轨迹信息进行分割完成设定动作的识别。以单个设定动作为例，本发明具体识别结果如图4所示。
[0140] 以惯性数据为例，步骤S64的过程如下：
[0141] 设置直线、弧线两种样条函数，并从所述扩大轨迹信息头部开始，依次向后滑动。由于头部、尾部轨迹与特定动作轨迹在连接点处并不光滑，因此本发明每次滑动都计算一次样条序列与所述扩大轨迹信息之间的弗雷歇距离。

[0142] 设样条序列与所述扩大轨迹信息分别为C＝[a0，a1，a2，a3…ac‑1]和B＝[l0，l1，l2，l3…lb‑1]，序列长度值即序列中空间坐标点的个数分别为c和b。
[0143] 计算C和B的弗雷歇距离流程如下：
[0144] 1)：输入C、B和序列长度值的参数组c‑1、b‑1，并生成大小为c×b初始化矩阵元素全为‑1的距离值矩阵F，执行第二步。
[0145] 2)：根据输入的长度值参数组u、d，计算F[u、d]，若F[u、d]>‑1,输出F[u、d]，否则执行第三步。
[0146] 3)：对参数组u、d进行判断，若u>0且d>0，执行第四步，若u>0且d＝0，执行第五步，若u＝0且d>0，执行第六步，若u＝0且d＝0，执行第七步，否则输出“Inf”。
[0147] 4)：返回第二步，分别计算F[u‑1，d]，F[u，d‑1]，F[u‑1，d‑1]，将三者的最小值与D(au，bd)比较，F[u、d]取二者比较的最大值；
[0148] 公式：F[u、d]＝max(min(F[u‑1，d]，F[u，d‑1]，F[u‑1，d‑1]),D(au，ld))。
[0149] 5)：返回第二步计算F[u‑1，0]，将其与D(au，l0)比较，F[u、d]取二者比较的最大值；
[0150] 公式：F[u、d]＝max(F[u‑1,0],D(au,l0))。
[0151] 6)：返回第二步计算F[0，d‑1]，将其与D(a0，ld)比较，F[u、d]取二者比较的最大值；
[0152] 公式：F[u、d]＝max(F[0，d‑1],D(a0,ld))。
[0153] 7)：F[u、d]＝D(a0,l0)。
[0154] 此时本发明便得到了样条函数滑动过程中，每一帧的两段序列的Frechet距离。则其由大变小、由小变大的突变点，即为准确的起始帧与终止帧。确定其为所述第二开始帧和所述第二终止帧。具体如图3所示，其中a、b、c和d分别代表四种样条函数滑动图。针对所述光学数据同样适用于上述方法。以单个设定动作为例，从图5可以看出应用样条函数前后轨迹信息有明显的区别，而通过样条函数处理后得到的轨迹信息明显更加的准确。
[0155] 针对多个设定动作结合这种情况，以光学传感器数据为例，识别结果如图7所示，为了对多个设定动作进行分割提取，本发明采用样条函数对图7得到的轨迹信息进行处理，具体方法同上，分别得到每个动作的轨迹并进行提取，提取结果如图6所示。
[0156] 图2为本发明基于深度学习模型的特定动作识别系统结构图，如图2所示，本发明还提供了一种基于深度学习模型的特定动作识别系统，包括：数据获取模块1、第一帧确定模块2、光学轨迹信息模块3、惯性轨迹信息模块4、数据分割模块5和动作识别模块6。
[0157] 所述数据获取模块1用于获取M组含有设定动作的初始训练数据集；所述初始训练数据集包括光学数据和惯性数据；所述光学数据和惯性数据帧对应。
[0158] 所述第一帧确定模块2用于在第m组所述初始训练数据集中，根据所述光学数据得到设定动作的第一开始帧和第二终止帧；m∈M。
[0159] 所述光学轨迹信息模块3用于根据所述光学数据得到光学轨迹信息。
[0160] 所述惯性轨迹信息模块4用于根据所述惯性数据得到惯性轨迹信息。
[0161] 所述数据分割模块5用于根据所述第一开始帧和所述第一终止帧对所述光学轨迹信息进行分割得到设定动作光学轨迹信息，对所述惯性轨迹信息进行分割得到设定动作惯性轨迹信息。
[0162] 所述动作识别模块6用于根据每一组的所述设定动作光学轨迹信息和所述设定动作惯性轨迹信息对动作识别模型进行训练，基于样条函数和训练后的动作识别模型完成设定动作的识别。
[0163] 作为一种可选的实施方式，本发明所述光学轨迹信息3模块，包括：初始图像确定单元、标签单元、模型训练单元、特征提取单元和光学轨迹确定单元。
[0164] 所述初始图像确定单元用于从所述光学数据中选取E帧图像作为初始图像；所述光学数据为在执行设定动作时，通过采集协同运动的设定数量的反光球得到的数据；
[0165] 所述标签单元用于对第e帧所述初始图像进行加标签处理，得到标签图像；所述标签包括每个反光球宽度、高度和球心的横坐标、纵坐标；e∈E；
[0166] 所述模型训练单元用于根据每一帧所述标签图像对光学卷神经网络模型进行训练；
[0167] 所述特征提取单元用于通过训练好的所述光学卷神经网络模型对所述光学数据中的第h帧图像进行特征提取，得到每个反光球的球心坐标；h∈H，H为光学数据的总帧数；
[0168] 所述光学轨迹确定单元用于对第h帧图像中每个反光球的球心坐标求平均值，得到所述光学轨迹信息。
[0169] 作为一种可选的实施方式，本发明所述光学轨迹信息模块还包括：数据填补单元。
[0170] 所述数据填补单元用于采用三次样条插值的方法对反光球的球心坐标中缺失的部分进行补足。
[0171] 作为一种可选的实施方式，本发明所述惯性轨迹信息模块4包括：四元数矩阵单元、帧速度单元、帧位移单元和惯性轨迹确定单元。
[0172] 所述四元数矩阵单元用于根据所述惯性数据得到每一帧的四元数矩阵；
[0173] 所述帧速度单元用于根据所述惯性数据和所述四元数矩阵得到每一帧的速度；
[0174] 所述帧位移单元用于根据每一帧的速度得到每一帧的位移；
[0175] 所述惯性轨迹确定单元用于根据每一帧的位移得到所述惯性轨迹信息。
[0176] 作为一种可选的实施方式，本发明所述动作识别模块6，包括：模型训练单元、动作识别单元、窗口扩大单元函数单元和设定动作确定单元。
[0177] 所述模型训练单元用于根据每一组的所述设定动作光学轨迹信息和所述设定动作惯性轨迹信息对动作识别模型进行训练。
[0178] 所述动作识别单元用于基于训练好的动作识别模型对设定动作进行识别，得到轨迹信息，进一步得到设定动作的初始开始帧、初始终止帧和设定动作窗口。
[0179] 所述窗口扩大单元用于基于窗口扩大偏好模型对所述设定动作窗口进行扩大处理，得到扩大轨迹信息。
[0180] 所述函数单元用于基于样条函数和Frechet距离的方法根据所述扩大轨迹信息得到第二开始帧和第二终止帧。
[0181] 所述设定动作确定单元用于根据所述第二开始帧和所述第二终止帧对所述扩大轨迹信息进行分割完成设定动作的识别。
[0182] 本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0183] 本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

专利地区：广东

专利申请日期：2020-09-21

专利公开日期：2023-06-27

专利公告号：CN112101255B