一种GNSS与IMU的时间同步方法以及滑雪同步检测系统

专利名称：一种GNSS与IMU的时间同步方法以及滑雪同步检测系统

专利类型：实用新型专利

专利申请号：CN202110139875.X

专利申请（专利权）人：中北大学
权利人地址：山西省太原市尖草坪区学院路3号

专利发明（设计）人：丑修建,何剑,穆继亮,侯晓娟,杨云,李春成,谢鑫,杨明川

专利摘要：本发明涉及滑雪运动检测方法及系统，具体为一种GNSS与IMU的时间同步方法以及滑雪同步检测系统，解决了背景技术中的技术问题。所述方法基于互相关分析、零态检测、零速修正算法以及去趋势运算，实现了独立的IMU与GNSS的自动时间对齐；本发明基于所述时间同步方法搭建了搭载有臂/腿部传感单元、腰背部传感单元、两个雪板传感单元和无人机的滑雪同步检测系统，其包括五个数据源，数据同步部分对五个数据源进行处理实现时间同步，有助于进行准确的后处理分析、展示反馈，该系统能在不影响滑雪者动作的条件下实现滑雪者全程视频和运动学、生理参数的监测，帮助滑雪者和教练更好地了解运动学和生理参数对滑雪运动表现的影响，达到改进滑雪技术的目的。

主权利要求：一种GNSS与IMU的时间同步方法以及滑雪同步检测系统
技术领域
[0001] 本发明涉及滑雪运动检测方法及系统，具体为一种GNSS与IMU的时间同步方法以及滑雪同步检测系统。
背景技术
[0002] 滑雪运动表现受天气、滑雪板种类、滑雪者技能及其身体状态等诸多参数和条件的影响。因此，运动员的运动学参数、生理参数和视频的有效监测、定量分析、客观反馈对改善滑雪者技术而言非常重要。全球导航卫星系统(GlobalNavigationSatelliteSystem，简称GNSS)、惯性测量单元(InertialMeasurementUnit，简称IMU)、心率传感器和相机可分别获得轨迹和速度、加速度和姿态角、心率和现场视频。而更准确、详细地分析滑雪运动需要开发包括GNSS、IMU和心率传感器在内的多传感器系统的组合解决方案，将来自不同传感器的数据进行融合和叠加后进行反馈。很多研究者利用IMU数据分类滑雪技术动作，叠加于GNSS测量的轨迹上直观展示滑行各段所采用的技术动作，最后利用视频验证。同时，也有研究者将GNSS和IMU信息融合，识别传统越野滑雪子技术和高山滑雪技术动作、测量滑雪者的质心轨迹、研究滑雪速度的影响因素。即使如此，在日常训练应用中还存在问题。第一，GNSS/IMU集成系统设备体积较大，多做成背包的形式，对滑雪表现有一定影响，而且摔倒时存在安全隐患。第二，滑雪视频目前只能通过多台定点相机协同拍摄，或摄像师携带相机跟踪拍摄。然而，滑雪项目全程拍摄需要架设的相机数量很多，例如，高山滑雪中3个旗门一般需要6台相机，成本问题和架设难度导致推广应用困难。而跟拍方式又对拍摄者滑雪技术要求十分高。第三，各类数据和视频分别提供，很难将量化数据与滑雪者的动作、轨迹等建立直接对应关系。因此，亟需设计一套体积较小、便捷采集、自动分析的滑雪监测系统，实现量化数据与滑雪视频的对应，从而反馈给教练和滑雪者用来改善训练。
[0003] 而且在滑雪同步监测系统中，为了后续及时准确地处理和反馈，将采集到的各种信息在时间上进行匹配非常重要。因此，设计的滑雪检测系统集成时首先要解决的问题就是相机、GNSS、IMU等多个独立传感器采集到的多源数据的时间同步。其中，GNSS常用作多传感器的对齐基准因为GNSS可以通过卫星获得标准时间。由于摄像机自带时间信息或可以利用专用的同步盒获得时间信息，因此，视频和GNSS同步的方法较为成熟。但是独立GNSS和IMU传感器之间的时间同步更复杂，目前仍没有形成有效的控制方法实现独立GNSS和IMU传感器之间的自动时间同步。
发明内容
[0004] 本发明旨在解决如何提供一种GNSS与IMU的时间同步方法以及体积较小、便捷采集、自动分析的滑雪同步检测系统的技术问题。
[0005] 本发明解决其技术问题采用的技术手段是：一种GNSS与IMU的时间同步方法，包括以下步骤：
[0006] 步骤一：将IMU的Z‑Y‑X欧拉角α、β、γ通过公式(1)转换为四元数，式(1)为：
[0007]
[0008] 步骤二：将IMU测得的加速度由载体坐标系转换为地理坐标系，用N系表示地理坐标系，用B系表示载体坐标系，N系的三轴分别指向东向、北向和天向，向量从N系到B系的旋转矩阵 为式(2)：
[0009]
[0010] 式(2)中q0、q1、q2、q3表示四元数，则每一时刻的加速度乘以对应时刻的旋转矩阵的逆矩阵 即可实现加速度由B系转到N系，，计算公式为式(3)：
[0011]
[0012] 式(3)中 是N系中的加速度； 是B系中的加速度；
[0013] 步骤三：通过式(4)对N系中的加速度进行重力加速度补偿，式(4)为：
[0014]
[0015] 为重力加速度补偿之后的N系中的加速度，G＝[00g]，g为重力加速度；IMU采集到的三轴加速度都是叠加重力加速度后的加速度，在B系中很难分离。但是，在N系中，重力加速度的影响都集中在Up轴，所以通过式(4)即可将其去除；
[0016] 步骤四：分别对N系中东向、北向、天向三轴的加速度进行积分，得到N系中东向、北向、天向的速度，计算公式为式(5)：
[0017]
[0018] 式(5)中，为滑雪者的初始速度；
[0019] 步骤五：利用零态检测以及零速修正算法对步骤四计算得到的速度 进行处理得到实际速度，其中零态检测以及零速修正算法是为了消除漂移的影响，零态检测利用平均加速度幅值 与阈值tha比较确定静态区间，平均加速度幅值 利用滑动窗口方法计算得到，即平均加速度幅值 通过式(6)计算所得；当平均加速度幅值 小于阈值tha时，判断值D为0，否则判断值D为1，判断值D的计算公式为式(7)，当判断值D为0时认为滑雪者处于静止状态，其中阈值tha由滑雪者滑雪前静止动作的数据确定，滑雪者的所有处于静止状态的时刻共同构成静态区间，式(6)和式(7)分别为：
[0020]
[0021] 式(6)中Q为数据长度；i是采样点，1≤i≤Q；ae、an、au分别是东向、北向、天向的加速度，aek、ank、auk分别是东向、北向、天向的第k个采样点的加速度；Ws是滑动窗口的大小；
[0022]
[0023] 零速修正算法的原理是利用静态检测结果将静态区间的速度设置为零，同时，运动区间的速度减去该区间第一个速度值，以消除积分起点对后续部分的影响；然而该方法未消除运动区间内由积分造成的累积误差，且由于滑雪运动区间较长，累积误差通常无法忽略，根据测试结果可得，在运动区间所选用IMU的加速度计漂移近似为线性，因此，对零速修正算法的结果进行线性去趋势，线性去趋势即为对运动区间的速度进行线性拟合得到漂移的趋势线，将步骤四计算得到的速度 减去对应时刻趋势线的值，得到去除趋势后的实际速度，这能够提高后续互相关分析的准确性；
[0024] 步骤六：将步骤五中得到的实际速度的东向速度 北向速度 按照式(8)计算，可以得到IMU测得运动员的地面速率 式(8)为：
[0025]
[0026] 步骤七：采用插值法补偿GNSS数据的采样率，使GNSS数据的采样率与IMU数据的采样率保持一致，得到GNSS的地面速率 然后各截取GNSS与IMU的一组地面速率数据，且两组数据长度一致；
[0027] 步骤八：对IMU的地面速率和GNSS的地面速率进行互相关分析，IMU的地面速率和GNSS的地面速率的互相关函数近似为式(9)，再根据式(10)计算得到互相关系数当互相关系数 的值为1时表示完全正相关，当互相关系数 的值为‑1时表示完全负相关，当互相关系数 的值为0时表示不相关；互相关系数 是偏移
时间Δt的函数，互相关系数峰值所对应的偏移位置乘以采样率的倒数即可得到IMU测的地面速率和GNSS的地面速率之间的偏移时间，其中式(9)和式(10)为：

[0028]
[0029]
[0030] 式(9)中，vI为通过IMU得到的地面速率；vG为通过GNSS得到的地面速率；vIn为IMU的第n个采样点的地面速率；vG(n+r)为GNSS的第n+r个采样点的地面速率；vGm为GNSS的第m个采样点的地面速率；P为GNSS和IMU的采样点总数，r＝0,1,2,…,m，m＜P，式(10)是计算两个采样点之间的互相换函数，则r是这两个采样点之间的采样点间隔数目，Δt是采样间隔，Δt是采样频率的倒数，R和ρ上的^符号表示它是一个近似值；
[0031] 步骤九：当步骤八中计算所得的偏移时间为正时，代表IMU信号比GNSS信号领先；当步骤八中计算所得的偏移时间为负时，代表IMU信号比GNSS信号滞后，将IMU信号或GNSS信号中领先的信号向后移动偏移时间，即可实现IMU与GNSS的时间同步。

[0032] 本发明所述的时间同步方法，基于互相关分析、零态检测、零速修正算法以及去趋势运算，实现了独立的IMU与GNSS的自动时间对齐。
[0033] 本发明解决其技术问题采用的技术手段是：一种滑雪同步检测系统，包括数据采集部分和数据同步部分，数据采集部分包括臂/腿部传感单元、腰背部传感单元、两个分别固定至一对雪板上的雪板传感单元和搭载云台及相机的无人机，臂/腿部传感单元包括GNSS和心率检测模块，臂/腿部传感单元用于测量滑雪者的位置、速度和心率数据，腰背部传感单元包括IMU和高度气压计模块，腰背部传感单元用于测量滑雪者的姿态角和高度数据；雪板传感单元包括IMU，雪板传感单元用于测量每个滑雪板的加速度、角速度和角度数据，无人机用于跟踪拍摄滑雪者，且无人机相机所拍摄的视频具备开始拍摄时刻的时间数据；数据同步部分包括PC端，臂/腿部传感单元、腰背部传感单元、两个雪板传感单元以及无人机均通过内存卡传输各自数据至PC端实现时间同步，臂/腿部传感单元利用GNSS提供的卫星授时信号为臂/腿部传感单元输出的所有数据提供标准时间的时间戳；无人机利用其视频中开始拍摄时刻作为参考与GNSS提供的时间戳实现时间同步；腰背部传感单元和雪板传感单元中的IMU通过本发明所述的时间同步方法与GNSS实现时间同步。
[0034] 基于本发明所述时间同步方法又搭建了搭载臂/腿部传感单元、腰背部传感单元、两个雪板传感单元和无人机的滑雪同步检测系统，其中无人机能在滑雪者运动时跟随拍摄滑雪动作，而且无人机尺寸较小，重量轻，便于携带，具有良好的降噪功能，可有效避免噪声惊扰滑雪者。该系统整体上体积较小，重量较轻，在使用时不会在物理上妨碍滑雪者的滑雪动作。臂/腿部传感单元、腰背部传感单元、两个雪板传感单元以及无人机将各种数据存储至内存卡中，待滑雪者运动完之后，将数据导出并在数据同步部分的PC端进行计算，卫星定位对定点高度测量精确度较好，但滑雪者滑行时，更重要的是相对高度，所以在腰背部传感单元中采用高度气压计模块，其能够根据不同高度的气压不同测量相对高度。该系统中，数据源包括五个，分别为臂/腿部传感单元、腰背部传感单元、两个雪板传感单元以及无人机，数据同步部分对五个数据源进行处理实现时间同步，有助于进行准确的后处理分析、展示反馈。该系统能够在不影响滑雪者动作的条件下实现滑雪者全程视频和运动学、生理参数的监测，从而帮助滑雪者和教练更好地了解运动学和生理参数对滑雪运动表现的影响，达到改进滑雪技术的目的。
[0035] 本发明的有益效果是：本发明所述的时间同步方法，基于互相关分析、零态检测、零速修正算法以及去趋势运算，实现了独立的IMU与GNSS的自动时间对齐；本发明基于所述时间同步方法又搭建了搭载有臂/腿部传感单元、腰背部传感单元、两个雪板传感单元和无人机的滑雪同步检测系统，该系统中，数据源包括五个，分别为臂/腿部传感单元、腰背部传感单元、两个雪板传感单元以及无人机，数据同步部分对五个数据源进行处理实现时间同步，有助于进行准确的后处理分析、展示反馈，该系统能够在不影响滑雪者动作的条件下实现滑雪者全程视频和运动学、生理参数的监测，从而帮助滑雪者和教练更好地了解运动学和生理参数对滑雪运动表现的影响，达到改进滑雪技术的目的。
附图说明
[0036] 图1为本发明所述的GNSS与IMU的时间同步方法的控制框图。
[0037] 图2为本发明中所述的地理坐标系的示意图。
[0038] 图3为本发明所述的地理坐标系与载体坐标系的关系示意图。
[0039] 图4为本发明所述腰背部传感单元的结构示意图。
[0040] 图5为本发明所述滑雪同步检测系统的结构示意图。
[0041] 图6为本发明所述滑雪者的运动状态示意图。
[0042] 图中：1‑臂/腿部传感单元；2‑腰背部传感单元；3‑雪板传感单元；4‑无人机；5‑高度气压计模块；6‑PC端；7‑微控制单元；8‑供电模块；9‑数据存储模块；GNSS‑全球导航卫星系统；IMU‑惯性测量单元。
具体实施方式
[0043] 参照图1‑6，对本发明所述的一种GNSS与IMU的时间同步方法以及滑雪同步检测系统进行详细说明。
[0044] 一种GNSS与IMU的时间同步方法，如图1所示，包括以下步骤：
[0045] 步骤一：将IMU的Z‑Y‑X欧拉角α、β、γ通过公式(1)转换为四元数，式(1)为：
[0046]
[0047] 步骤二：将IMU测得的加速度由载体坐标系转换为地理坐标系，用N系表示地理坐标系，如图2和图3所示，用B系表示载体坐标系，N系的三轴分别指向东向、北向和天向，向量从N系到B系的旋转矩阵 为式(2)：
[0048]
[0049] 式(2)中q0、q1、q2、q3表示四元数，则每一时刻的加速度乘以对应时刻的旋转矩阵的逆矩阵 即可实现加速度由B系转到N系，，计算公式为式(3)：
[0050]
[0051] 式(3)中 是N系中的加速度； 是B系中的加速度；
[0052] 步骤三：通过式(4)对N系中的加速度进行重力加速度补偿，式(4)为：
[0053]
[0054] 为重力加速度补偿之后的N系中的加速度，G＝[00g]，g为重力加速度；
[0055] 步骤四：分别对N系中东向、北向、天向三轴的加速度进行积分，得到N系中东向、北向、天向的速度，计算公式为式(5)：
[0056]
[0057] 式(5)中，为滑雪者的初始速度；
[0058] 步骤五：利用零态检测以及零速修正算法对步骤四计算得到的速度 进行处理得到实际速度，零态检测利用平均加速度幅值 与阈值tha比较确定静态区间，平均加速度幅值 利用滑动窗口方法计算得到，即平均加速度幅值 通过式(6)计算所得；当平均加速度幅值 小于阈值tha时，判断值D为0，否则判断值D为1，判断值D的计算公式为式(7)，当判断值D为0时认为滑雪者处于静止状态，其中阈值tha由滑雪者滑雪前静止动作的数据确定，滑雪者的所有处于静止状态的时刻共同构成静态区间，式(6)和式(7)分别为：
[0059]
[0060] 式(6)中Q为数据长度；i是采样点，1≤i≤Q；ae、an、au分别是东向、北向、天向的加速度，aek、ank、auk分别是东向、北向、天向的第k个采样点的加速度；Ws是滑动窗口的大小；
[0061]
[0062] 零速修正算法为利用静态检测结果将静态区间的速度设置为零，然后对零速修正算法的结果进行线性去趋势，线性去趋势即为对运动区间的速度进行线性拟合得到漂移的趋势线，将步骤四计算得到的速度 减去对应时刻趋势线的值，得到去除趋势后的实际速度；
[0063] 步骤六：将步骤五中得到的实际速度的东向速度 北向速度 按照式(8)计算，可以得到IMU测得运动员的地面速率 式(8)为：
[0064]
[0065] 步骤七：采用插值法补偿GNSS数据的采样率，使GNSS数据的采样率与IMU数据的采样率保持一致，得到GNSS的地面速率 然后各截取GNSS与IMU的一组地面速率数据，且两组数据长度一致；
[0066] 步骤八：对IMU的地面速率和GNSS的地面速率进行互相关分析，IMU的地面速率和GNSS的地面速率的互相关函数近似为式(9)，再根据式(10)计算得到互相关系数当互相关系数 的值为1时表示完全正相关，当互相关系数 的值为‑1时表示完全负相关，当互相关系数 的值为0时表示不相关；互相关系数 是偏移
时间Δt的函数，互相关系数峰值所对应的偏移位置乘以采样率的倒数即可得到IMU测的地面速率和GNSS的地面速率之间的偏移时间，其中式(9)和式(10)为：

[0067]
[0068]
[0069] 式(9)中，vI为通过IMU得到的地面速率；vG为通过GNSS得到的地面速率；vIn为IMU的第n个采样点的地面速率；vG(n+r)为GNSS的第n+r个采样点的地面速率；vGm为GNSS的第m个采样点的地面速率；P为GNSS和IMU的采样点总数，r＝0,1,2,…,m，m＜P，式(10)是计算两个采样点之间的互相换函数，则r是这两个采样点之间的采样点间隔数目，Δt是采样间隔，Δt是采样频率的倒数，R和ρ上的^符号表示它是一个近似值；
[0070] 步骤九：当步骤八中计算所得的偏移时间为正时，代表IMU信号比GNSS信号领先；当步骤八中计算所得的偏移时间为负时，代表IMU信号比GNSS信号滞后，将IMU信号或GNSS信号中领先的信号向后移动偏移时间，即可实现IMU与GNSS的时间同步。

[0071] 本发明所述的时间同步方法，基于互相关分析、零态检测、零速修正算法以及去趋势运算，实现了独立的IMU与GNSS的自动时间对齐。
[0072] 本发明还提供了一种滑雪同步检测系统，如图4和图5所示，包括数据采集部分和数据同步部分，数据采集部分包括臂/腿部传感单元1、腰背部传感单元2、两个分别固定至一对雪板上的雪板传感单元3和搭载云台及相机的无人机4，臂/腿部传感单元1包括GNSS和心率检测模块，臂/腿部传感单元1用于测量滑雪者的位置、速度和心率数据，臂/腿部传感单元1通过臂带固定至滑雪者的一只手臂或腿部，腰背部传感单元2包括IMU和高度气压计模块5，腰背部传感单元2用于测量滑雪者的姿态角和高度数据，腰背部传感单元2通过腰包固定在臂部或者腿部；雪板传感单元3包括IMU，雪板传感单元3用于测量每个滑雪板的加速度、角速度和角度数据，无人机4用于跟踪拍摄滑雪者，且无人机4相机所拍摄的视频具备开始拍摄时刻的时间数据；数据同步部分包括PC端6，臂/腿部传感单元1、腰背部传感单元2、两个雪板传感单元3以及无人机4均通过内存卡传输各自数据至PC端6实现时间同步，臂/腿部传感单元1利用GNSS提供的卫星授时信号为臂/腿部传感单元1输出的所有数据提供标准时间的时间戳；无人机4利用其视频中开始拍摄时刻作为参考与GNSS提供的时间戳实现时间同步；腰背部传感单元2和雪板传感单元3中的IMU通过本发明所述的时间同步方法与GNSS实现时间同步。
[0073] 基于本发明所述时间同步方法又搭建了搭载臂/腿部传感单元1、腰背部传感单元2、两个雪板传感单元3和无人机4的滑雪同步检测系统，其中无人机4能在滑雪者运动时跟随拍摄滑雪动作，如图6所示，而且无人机4选用大疆无人机4DJIMAVIC2PRO作为跟踪拍摄平台，其尺寸小，重量轻，便于携带，具有良好的降噪功能，可有效避免噪声惊扰滑雪者，而且最大起飞海拔高度和抗风等级表现优异，具备全向环境感知能力，可提供辅助避障功能，摄像云台支持录制4KHDR视频，采用增强型三轴机械增稳云台，能有效消除相机的晃动和抖动，无人机4机身和遥控器均内置存储卡，对拍摄视频进行双备份，可通过存储卡读取视频图像。臂/腿部传感单元1选用了专为职业体育设计的动量科技公司的MT‑SportsT2。该传感器采用GPS/北斗双模定位和光电式心率传感，可实现对运动时的轨迹、速度、心率等信息进行检测，采样频率为10Hz，位置精度在2m以内，速度精度为0.05m/s。8小时续航时间，可存储45小时数据，IP67防水等级，选用精度高的传感器，并且拥有不错的防水等级，使其在雨雪天气中也可以正常运行。雪板传感单元3选用运动传感领域的XsensDOT。XsensDOT是
9轴惯性传感器，它的测量精度在业内领先，而且体积小，重量轻，便于携带，并且设置快速，简单。通过滑雪板上的IMU可以获得每个滑雪板的加速度、角速度、角度。这主要是为了对技术动作进行拓展研究。

[0074] 该系统整体上体积较小，重量较轻，在使用时不会在物理上妨碍滑雪者的滑雪动作。臂/腿部传感单元1、腰背部传感单元2、两个雪板传感单元3以及无人机4将各种数据存储至内存卡中，待滑雪者运动完之后，将数据导出并在数据同步部分的PC端6进行计算，卫星定位对定点高度测量精确度较好，但滑雪者滑行时，更重要的是相对高度，所以在腰背部传感单元2中采用高度气压计模块5，其能够根据不同高度的气压不同测量相对高度。该系统中，数据源包括五个，分别为臂/腿部传感单元1、腰背部传感单元2、两个雪板传感单元3以及无人机4，数据同步部分对五个数据源进行处理实现时间同步，有助于进行准确的后处理分析、展示反馈。该系统能够在不影响滑雪者动作的条件下实现滑雪者全程视频和运动学、生理参数的监测，从而帮助滑雪者和教练更好地了解运动学和生理参数对滑雪运动表现的影响，达到改进滑雪技术的目的。
[0075] 进一步的，作为本发明所述一种滑雪同步检测系统的具体实施方式，如图4所示，所述腰背部传感单元2还包括微控制单元7、供电模块8以及数据存储模块9，IMU和高度气压计模块5的输出端连接至微控制单元7的输入端，微控制单元7的输出端连接至数据存储模块9，供电模块8对IMU、高度气压计模块5、微控制器以及数据存储模块9进行供电。且具体的，所述数据存储模块9为MicroSD卡，所述IMU的型号为MPU6050，所述高度气压计模块5的型号为JK910B，所述微控制单元7的型号为STM32。在该传感系统中，微控制单元7依次获取不同传感模块的数据，读取每个传感模块的时间间隔非常短，例如，STM32微控制单元7的时钟频率是72MHz，执行指令所用时间是微秒级，所获取的高度气压计模块5的数据和IMU数据之间的时间间隔是毫秒级，微控制单元7向SD卡输出的数据频率是5Hz，即在系统中每隔0.2s记录一次数据，这个时间远远大于采集数据时气压计、IMU两个传感模块之间数据间隔。因此，在滑雪运动监测的应用场景下，认为腰背部传感单元2内部通过IMU和高度气压计模块5获取的数据是同步的。

[0076] 以上具体结构是对本发明的较佳实施例进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或者替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

专利地区：山西

专利申请日期：2021-02-01

专利公开日期：2023-08-11

专利公告号：CN112985387B