轨迹标定方法、装置、计算机设备和存储介质

专利名称：轨迹标定方法、装置、计算机设备和存储介质

专利类型：实用新型专利

专利申请号：CN202011320374.3

专利申请（专利权）人：北京爱笔科技有限公司
权利人地址：北京市海淀区北清路81号二区1号楼12层1202室、13层整层

专利发明（设计）人：刘廷曦,胡晶,张德奎,张泰钰,林溪,翁仁亮

专利摘要：本申请涉及一种轨迹标定方法、装置、计算机设备和存储介质。所述方法包括：根据目标对象的参考图像或参考图像特征值，获取目标对象在预设时间段内的轨迹视频，轨迹视频是由包含目标对象的相机视频根据轨迹生成算法得到的三维平面上的投影轨迹视频；响应于轨迹标定指令，对轨迹视频进行标注，得到被标注的目标轨迹段。采用本方法能够实现人机交互式的轨迹标定。

主权利要求：
1.一种轨迹标定方法，其特征在于，所述方法包括：
根据目标对象的参考图像或参考图像特征值，获取所述目标对象在预设时间段内的轨迹视频，所述轨迹视频是由包含所述目标对象的相机视频根据轨迹生成算法得到的三维平面上的投影轨迹视频；
响应于轨迹标定指令，对所述轨迹视频进行标注，得到被标注的目标轨迹段；
所述方法还包括：
遍历包含所述目标对象的相机视频中每一图像帧携带的时间戳信息，确定包含所述目标对象的相机视频的起始时间戳信息和终止时间戳信息；
根据所述起始时间戳信息、所述终止时间戳信息以及预设的时间间隔，建立参考时间轴，所述预设的时间间隔与所述每一图像帧的时间间隔相同；
根据每一图像帧携带的时间戳信息，将包含所述目标对象的相机视频中每一图像帧与所述参考时间轴建立对应关系；
基于第一颜色属性，显示所述参考时间轴中与所述相机视频建立对应关系的时间段，基于第二颜色属性，显示所述参考时间轴中未与所述相机视频建立对应关系的时间段，得到标注时间轴，所述标注时间轴为与所述参考时间轴时间范围相同的，表征轨迹生成情况的时间轴。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
响应于时间轴上被标注的时间信息，在所述轨迹视频、所述相机视频与所述标注时间轴三者的对应关系中，确定并显示目标相机视频，所述时间轴表征轨迹视频的全部时长；
响应于轨迹修正指令，基于所述目标相机视频对所述轨迹视频中的所述目标轨迹段进行修正，得到修正后的标准轨迹视频。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取目标对象的标准轨迹视频；
根据所述标准轨迹视频，对第二轨迹生成算法模型下生成的所述目标对象的原始轨迹视频进行比对检验，得到所述第二轨迹生成算法模型的评价结果。
4.根据权利要求2所述的方法，其特征在于，所述响应于时间轴上被标注的时间信息，在所述轨迹视频、所述相机视频与所述标注时间轴三者的对应关系中，确定并显示目标相机视频，包括：响应于所述轨迹视频中包含的时间段的时间范围信息，调取所述轨迹视频与目标标注时间轴的关联关系，所述轨迹视频、所述相机视频和所述目标标注时间轴三者具有对应关系；
响应于所述目标标注时间轴上被标注的时间信息，在所述轨迹视频、所述相机视频与所述目标标注时间轴三者的对应关系中，确定并显示目标相机视频。
5.根据权利要求4所述的方法，其特征在于，所述响应于所述目标标注时间轴上被标注的时间信息，在所述轨迹视频、所述相机视频与所述目标标注时间轴三者的对应关系中，确定并显示目标相机视频，包括：响应于目标标注时间轴上被标注的时间信息，在所述轨迹视频与所述目标标注时间轴的对应关系中，确定所述轨迹视频中的目标轨迹区域；
响应于被标定的所述目标轨迹区域，确定所述目标轨迹区域对应的目标相机视频，显示所述目标相机视频。
6.根据权利要求1所述的方法，其特征在于，所述根据目标对象的参考图像或参考图像特征值，获取所述目标对象在预设时间段内的轨迹视频之前，所述方法还包括：响应于被确定出的目标对象，在预设的显示区域显示所述目标对象的参考图像；
根据所述目标对象的参考图像或参考图像特征值，识别并标记全场相机视频中包含所述目标对象的相机视频，所述全场相机视频为预设时间周期内的全部相机视频；
响应于轨迹生成指令与对应的轨迹生成算法，将包含所述目标对象的相机视频生成对应的目标对象轨迹视频。
7.一种轨迹标定装置，其特征在于，所述装置包括：
获取模块，用于根据目标对象的参考图像或参考图像特征值，获取所述目标对象在预设时间段内的轨迹视频，所述轨迹视频是由包含所述目标对象的相机视频根据轨迹生成算法得到的三维平面上的投影轨迹视频；
轨迹标定模块，用于响应于轨迹标定指令，对所述轨迹视频进行标注，得到被标注的目标轨迹段；
所述装置还包括：
确定模块，用于遍历包含所述目标对象的相机视频中每一图像帧携带的时间戳信息，确定包含所述目标对象的相机视频的起始时间戳信息和终止时间戳信息；
第一建立模块，用于根据所述起始时间戳信息、所述终止时间戳信息以及预设的时间间隔，建立参考时间轴，所述预设的时间间隔与所述每一图像帧的时间间隔相同；
第二建立模块，用于根据每一图像帧携带的时间戳信息，将包含所述目标对象的相机视频中每一图像帧与所述参考时间轴建立对应关系；
显示模块，用于基于第一颜色属性，显示所述参考时间轴中与所述相机视频建立对应关系的时间段，基于第二颜色属性，显示所述参考时间轴中未与所述相机视频建立对应关系的时间段，得到标注时间轴，所述标注时间轴为与所述参考时间轴时间范围相同的，表征轨迹生成情况的时间轴。
8.根据权利要求7所述的装置，其特征在于，所述装置还包括：
确定模块，用于响应于时间轴上被标注的时间信息，在所述轨迹视频、所述相机视频与所述标注时间轴三者的对应关系中，确定并显示目标相机视频，所述时间轴表征轨迹视频的全部时长；
修正模块，用于响应于轨迹修正指令，基于所述目标相机视频对所述轨迹视频中的所述目标轨迹段进行修正，得到修正后的标准轨迹视频。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。 说明书 : 轨迹标定方法、装置、计算机设备和存储介质技术领域[0001] 本申请涉及轨迹追踪技术领域，特别是涉及一种轨迹标定方法、装置、计算机设备和存储介质。背景技术[0002] 随着图像处理技术的发展，出现了根据视频图像进行目标对象轨迹追踪的算法，以商场进行线性数字化的过程为例，应用该算法需要在全场部署摄像设备，结合人脸识别、多目标跟踪、行人重识别等技术，以获得每个顾客的全场轨迹。[0003] 目标对象轨迹追踪的算法更新迭代快速，算法的每次更新迭代后，都需要重新对该算法的性能进行检验，以保证获得的顾客轨迹的准确性。传统的对于该算法的检验需要在每次迭代后的算法的基础上，根据算法生成目标顾客的原始轨迹，并对轨迹进行可视化，由标注人员通过可视化的轨迹视频检查轨迹中是否存在错误轨迹或者轨迹缺失，以此判断该版本算法的性能。[0004] 然而，每次迭代后的算法都需要标注人员进行检验，算法检验效率低且浪费人力资源。发明内容[0005] 基于此，有必要针对上述技术问题，提供一种轨迹标定方法、装置、计算机设备和存储介质。[0006] 一种轨迹标定方法，所述方法包括：[0007] 根据目标对象的参考图像或参考图像特征值，获取所述目标对象在预设时间段内的轨迹视频，所述轨迹视频是由包含所述目标对象的相机视频根据所述轨迹生成算法得到的三维平面上的投影轨迹视频；[0008] 响应于轨迹标定指令，对所述轨迹视频进行标注，得到被标注的目标轨迹段。[0009] 在其中一个实施例中，所述方法还包括：[0010] 响应于时间轴上被标注的时间信息，在所述轨迹视频、所述相机视频与所述标注时间轴三者的对应关系中，确定并显示目标相机视频，所述时间轴表征轨迹视频的全部时长；[0011] 响应于轨迹修正指令，基于所述目标相机视频对所述轨迹视频中的所述目标轨迹段进行修正，得到修正后的标准轨迹视频。[0012] 在其中一个实施例中，其特征在于，所述方法还包括：[0013] 获取目标对象的所述标准轨迹视频；[0014] 根据所述标准轨迹视频，对第二轨迹生成算法模型下生成的所述目标对象的原始轨迹视频进行比对检验，得到所述第二轨迹生成算法模型的评价结果。[0015] 在其中一个实施例中，所述响应于时间轴上被标注的时间信息，在所述轨迹视频、所述相机视频与所述标注时间轴三者的对应关系中，确定并显示目标相机视频，包括：[0016] 响应于所述轨迹视频中包含的时间段的时间范围信息，调取所述轨迹视频与目标标注时间轴的关联关系，所述轨迹视频、所述相机视频和所述目标标注时间轴三者具有对应关系；[0017] 响应于所述目标标注时间轴上被标注的时间信息，在所述轨迹视频、所述相机视频与所述目标标注时间轴三者的对应关系中，确定并显示目标相机视频。[0018] 在其中一个实施例中，所述响应于所述目标标注时间轴上被标注的时间信息，在所述轨迹视频、所述相机视频与所述目标标注时间轴三者的对应关系中，确定并显示目标相机视频，包括：[0019] 响应于目标标注时间轴上被标注的时间信息，在所述轨迹视频与所述目标标注时间轴的对应关系中，确定所述轨迹视频中的目标轨迹区域；[0020] 响应于被标定的所述目标轨迹区域，确定所述目标轨迹区域对应的目标相机视频，显示所述目标相机视频。[0021] 在其中一个实施例中，所述根据目标对象的参考图像或参考图像特征值，获取所述目标对象在预设时间段内的轨迹视频之前，所述方法还包括：[0022] 响应于被确定出的目标对象，在预设的显示区域显示所述目标对象的参考图像；[0023] 根据所述目标对象的参考图像或参考图像特征值，识别并标记全场相机视频中包含所述目标对象的相机视频，所述全场相机视频为预设时间周期内的全部相机视频；[0024] 响应于轨迹生成指令与对应的轨迹生成算法，将包含所述目标对象的相机视频生成对应的目标对象轨迹视频。[0025] 在其中一个实施例中，在所述根据所述目标对象的参考图像或参考图像特征值，识别并标记全场相机视频中包含所述目标对象的相机视频之后，所述方法还包括：[0026] 遍历包含所述目标对象的相机视频中每一图像帧携带时间戳信息，确定包含所述目标对象的相机视频的起始时间戳信息和终止时间戳信息；[0027] 根据所述起始时间戳信息、所述终止时间戳信息以及预设的时间间隔，建立参考时间轴，所述预设的时间间隔与所述每一图像帧的时间间隔相同；[0028] 根据每一图像帧携带的时间戳信息，将包含所述目标对象的相机视频中每一图像帧与所述参考时间轴建立对应关系；[0029] 基于第一颜色属性，显示所述参考时间轴中与所述相机视频建立对应关系的时间段，基于第二颜色属性，显示所述参考时间轴中未与所述相机视频建立对应关系的时间段，得到标注时间轴，所述标注时间轴为与所述参考时间轴时间范围相同的，表征轨迹生成情况的时间轴。[0030] 一种轨迹标定装置，所述装置包括：[0031] 获取模块，用于根据目标对象的参考图像或参考图像特征值，获取所述目标对象在预设时间段内的轨迹视频，所述轨迹视频是由包含所述目标对象的相机视频根据所述轨迹生成算法得到的三维平面上的投影轨迹视频；[0032] 轨迹标定模块，用于响应于轨迹标定指令，对所述轨迹视频进行标注，得到被标注的目标轨迹段。[0033] 一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：[0034] 根据目标对象的参考图像或参考图像特征值，获取所述目标对象在预设时间段内的轨迹视频，所述轨迹视频是由包含所述目标对象的相机视频根据所述轨迹生成算法得到的三维平面上的投影轨迹视频；[0035] 响应于轨迹标定指令，对所述轨迹视频进行标注，得到被标注的目标轨迹段。[0036] 一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：[0037] 根据目标对象的参考图像或参考图像特征值，获取所述目标对象在预设时间段内的轨迹视频，所述轨迹视频是由包含所述目标对象的相机视频根据所述轨迹生成算法得到的三维平面上的投影轨迹视频；[0038] 响应于轨迹标定指令，对所述轨迹视频进行标注，得到被标注的目标轨迹段。[0039] 上述轨迹标定方法、装置、计算机设备和存储介质，根据目标对象的参考图像或参考图像特征值，获取所述目标对象在预设时间段内的轨迹视频，所述轨迹视频是由包含所述目标对象的相机视频根据所述轨迹生成算法得到的三维平面上的投影轨迹视频；响应于轨迹标定指令，对所述轨迹视频进行标注，得到被标注的目标轨迹段。采用本方法，可以通过人机交互的标注方式，对生成的轨迹视频中的轨迹段进行标注，进而使得在轨迹视频中对被标注的目标轨迹段进行后续突出展示、修改或调整等操作，提高了轨迹视频中轨迹的标定灵活性。附图说明[0040] 图1为一个实施例中轨迹标定方法的流程示意图；[0041] 图2为一个实施例中得到标准轨迹视频的方法的流程示意图；[0042] 图3为一个实施例中轨迹标定系统的显示界面图；[0043] 图4为一个实施例中轨迹生成算法评价方法的流程示意图；[0044] 图5为一个实施例中响应于时间轴标定时间信息步骤的流程示意图；[0045] 图6为一个实施例中调取目标相机视频的方法的流程示意图；[0046] 图7为一个实施例中生成轨迹视频的方法的流程图；[0047] 图8为一个实施例中建立双轨时间轴的方法的流程示意图；[0048] 图9为一个实施例中轨迹标定装置的结构框图；[0049] 图10为一个实施例中计算机设备的内部结构图。具体实施方式[0050] 为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。[0051] 在一个实施例中，如图1所示，提供了一种轨迹标定方法，本实施例以该方法应用于终端进行举例说明，可以理解的是，该方法也可以应用于服务器，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。本实施例中，该方法包括以下步骤：[0052] 步骤101，根据目标对象的参考图像或参考图像特征值，获取目标对象在预设时间段内的轨迹视频，轨迹视频是由包含目标对象的相机视频根据轨迹生成算法得到的三维平面上的投影轨迹视频。[0053] 在实施中，计算机设备根据目标对象的参考图像或参考图像特征值数据，获取目标对象在预设时间段内的轨迹视频，其中，轨迹视频是由包含目标对象的相机视频根据预设的轨迹生成算法得到的三维平面上的投影轨迹视频。[0054] 具体地，以一座商场作为应用场景进行说明，目标对象即为该商场中的目标顾客，将目标顾客进入该商场的时刻作为起始时间，离开该商场的时刻为终止时间，获取目标顾客在起始时间到终止时间这一预设时间段内的轨迹视频，如图3所示，目标顾客的参考图像可以显示在计算机设备显示界面的左上角D区域，计算机设备根据目标顾客的参考图像以及预设的目标顾客的标识信息(例如，目标顾客ID)对相机设备获取到的全场相机视频内容中的目标对象进行标定，并根据轨迹生成算法，生成目标顾客轨迹，将其轨迹投影到三维平面上，以此得到目标顾客的轨迹视频，其中，轨迹视频显示在显示界面的左下角B区域。[0055] 步骤102，响应于轨迹标定指令，对轨迹视频进行标注，得到被标注的目标轨迹段。[0056] 在实施中，计算机设备响应于轨迹标注人员通过点击操作输入的轨迹标定指令，对轨迹视频进行标注，确定被点击标注的轨迹段为目标轨迹段。[0057] 具体地，计算机设备通过显示界面对目标对象的轨迹视频进行输出显示，轨迹标注人员通过查看轨迹视频，可以判断轨迹视频中错误轨迹或者缺失轨迹等问题轨迹段，点击问题轨迹段出现位置，计算机设备响应于该通过点击操作输入的轨迹标定指令，确定该段轨迹为目标轨迹段。[0058] 上述轨迹标定方法，根据目标对象的参考图像或参考图像特征值，获取所述目标对象在预设时间段内的轨迹视频，所述轨迹视频是由包含所述目标对象的相机视频根据所述轨迹生成算法得到的三维平面上的投影轨迹视频；响应于轨迹标定指令，对所述轨迹视频进行标注，得到被标注的目标轨迹段。采用本方法，可以通过人机交互的标注方式，对生成的轨迹视频中的轨迹段进行标注，进而使得在轨迹视频中对被标注的目标轨迹段进行后续突出展示、修改或调整等操作，提高了轨迹视频中轨迹的标定灵活性。[0059] 在一个实施例中，如图2所示，该轨迹标定方法还包括：[0060] 步骤201，响应于时间轴上被标注的时间信息，在轨迹视频、相机视频与标注时间轴三者的对应关系中，确定并显示目标相机视频，时间轴表征轨迹视频的全部时长。[0061] 在实施中，计算机设备响应于时间轴上被标注的时间信息，在轨迹视频、相机视频与标注时间轴三者的对应关系中，确定并显示目标相机视频，其中，时间轴显示的时长对应为轨迹视频的全部时长，也即包含目标顾客的全部相机视频段的总时长。[0062] 具体地，由于轨迹视频是基于相机视频制作的，相机视频中包含的每一图像帧均携带有时间戳信息，因此，根据每一图像帧的时间戳信息，对应的得到投影轨迹也具有相同的时间戳信息，即轨迹视频与相机视频的时间信息是相对应的。同时，基于相机视频中的起始时间和终止时间建立的标注时间轴，也与相机视频每一图像帧的时间戳具有对应关系(也称为关联关系)，因此，轨迹视频、相机视频和标注时间轴三者具有对应关系。当计算机设备响应于被标注的轨迹位置以及关联的标注时间轴上被标注的时间信息时，在全部的相机视频中调取出目标相机视频，对目标相机视频进行输出显示。例如，如图3所示，显示界面右上角的A1～A7区域显示的为不同相机视角下的该标注轨迹段的目标相机视频。可选的，该不同相机视角下的A1～A7区域的视频的显示尺寸可以由显示界面的大小，根据预设的比例进行相应调整。另外，图3中，显示区域C用于对目标相机视频A1～A7中某一指定突出显示的相机视角的相机视频进行显示。[0063] 步骤202，响应于轨迹修正指令，基于目标相机视频对轨迹视频中的目标轨迹段进行修正，得到修正后的标准轨迹视频。[0064] 在实施中，计算机设备响应于轨迹标注人员输入的轨迹修正指令，基于目标相机视频对轨迹视频中的目标轨迹段进行修正，得到修正后的标准轨迹视频。[0065] 具体地，计算机设备根据调取出的目标相机视频，结合轨迹生成算法重新计算并获取目标轨迹段(也即问题轨迹段)的轨迹，然后，轨迹标注人员可以通过计算机设备的显示界面，输入目标段轨迹的轨迹修正指令(轨迹修正指令可以包括删除或添加指令)，响应于该轨迹修正指令，对轨迹视频中的目标轨迹段进行修正替换，得到修正后的标准轨迹视频。[0066] 例如，情况一，删除错误轨迹段，并对处理错误的相机视频重新计算轨迹段，将重新计算出的轨迹段更新至目标轨迹框中。情况二，针对缺失轨迹段，对调取出的目标相机视频进行重新计算轨迹段，将重新计算出的轨迹段添加到目标轨迹框中。[0067] 本实施例中，轨迹标注人员通过计算机设备的显示界面进行基于双轨时间轴的点击交互操作，实现对某一版本轨迹生成算法下目标对象的原始轨迹视频进行修正更新的效果，进而得到目标对象的准确且完整轨迹(标准轨迹视频)，提高了轨迹标注修正的效率。[0068] 在一个实施例中，如图4所示，该轨迹标定方法还包括：[0069] 步骤401，获取目标对象的标准轨迹视频。[0070] 在实施中，计算机设备获取目标对象对应的已标注完成的标准轨迹视频。[0071] 步骤402，根据标准轨迹视频，对第二轨迹生成算法模型下生成的目标对象的原始轨迹视频进行比对检验，得到第二轨迹生成算法模型的评价结果。[0072] 在实施中，计算机设备根据标准轨迹视频，对第二轨迹生成算法模型下生成的目标对象的第二轨迹视频进行比对检验，得到第二轨迹生成算法模型的评价结果，其中，第二轨迹生成算法模型为在原始轨迹生成算法模型基础上更新迭代后得到的轨迹生成算法。[0073] 具体地，计算机设备以目标对象标准轨迹视频包含的轨迹数据作为目标对象的真实轨迹数据集，根据该真实轨迹数据集，对第二轨迹生成算法模型下得到的目标对象的原始轨迹视频中的轨迹数据集，进行比对检验，可以计算出第二轨迹生成算法模型的轨迹数据集的纯净度和完整度，以此对第二轨迹生成算法模型生成的轨迹的性能和质量进行检验，得到评价结果。[0074] 本实施例中，通过获取到的目标对象的准确且完整轨迹(称为轨迹数据真值，也即标准轨迹视频)，对不同版本的轨迹生成算法模型进行检验，无需每次更新轨迹生成算法模型后，对更新后的模型生成的轨迹视频进行人工标注检验，可直接通过标准轨迹视频得到更新后的轨迹生成算法模型的评价结果，提高了轨迹生成算法的检验效率，同时节约了人力成本。[0075] 在一个实施例中，如图5所示，步骤201的具体处理过程如下所示：[0076] 步骤501，响应于轨迹视频中包含的时间段的时间范围信息，调取轨迹视频与目标标注时间轴的关联关系，轨迹视频、相机视频和目标标注时间轴三者具有对应关系。[0077] 在实施中，轨迹视频、相机视频和时间轴三者具有对应的关联关系，计算机设备响应于轨迹视频中包含的时间段的时间范围信息，调取轨迹视频与目标标注时间轴的关联关系。[0078] 具体地，时间轴可以包括全局时间轴和局部时间轴，并以双轨时间轴(一条全局时间轴，一条局部时间轴)的形式进行显示，对应于实际的商场应用场景中，可以将目标顾客在商场中全部时长作为一个全局时间轴的时间信息，将目标对象在商场的每一楼层的时长，作为一个局部时间轴的时间信息，计算机设备响应于被标注的轨迹视频段中包含的时间段涉及的时间范围信息，在各局部时间轴中确定出目标标注时间轴(即目标标注时间轴)。将目标标注时间轴调出与全局时间轴一并显示。如3所示，在轨迹视频与相机视频的显示界面的下端可以对应设置双轨时间轴的显示区域，全局时间轴显示为E1，局部时间轴显示为E2。[0079] 步骤502，响应于目标标注时间轴上被标注的时间信息，在轨迹视频、相机视频与目标标注时间轴三者的对应关系中，确定并显示目标相机视频。[0080] 在实施中，计算机设备响应于目标标注时间轴上被标注的时间信息，在轨迹视频、相机视频和目标标注时间轴三者的对应关系(关联关系)中，确定并显示目标相机视频。[0081] 在一个实施例中，如图6所示，步骤401的具体处理过程如下所示：[0082] 步骤601，响应于目标标注时间轴上被标注的时间信息，在轨迹视频与目标标注时间轴的对应关系中，确定轨迹视频中的目标轨迹区域。[0083] 在实施中，计算机设备响应于目标标注时间轴上被标注的时间信息，在轨迹视频与目标标注时间轴的对应关系中，确定轨迹视频中的目标轨迹区域。[0084] 具体地，轨迹视频是由目标对象前进方向上不同相机设备获取到的相机视频生成的轨迹段串连而成的，每一轨迹段的时间范围与标注时间轴上反映出的每个相机视频的时长相同，进而，响应于轨迹标注人员在目标标注时间轴上标注的时刻信息(即被标注的时间信息)，在轨迹视频与目标视频的对应关系中，确定该时刻信息所处的轨迹段对应的目标轨迹区域。[0085] 可选地，轨迹标注人员识别问题轨迹类型，当目标轨迹框中具有多条轨迹段(不同相机视角对应轨迹段)，轨迹标注人员根据目标对象的参考图像，确定出目标轨迹框的多条轨迹段中有一条轨迹段的追踪对象并非目标对象，因此，该轨迹段为错误轨迹段，轨迹标注人员对问题轨迹段(错误轨迹段)进行点击标注，即输入对应的轨迹修正指令；当目标轨迹框中未显示有轨迹段时，确定该轨迹框为轨迹缺失的问题轨迹框，因此，轨迹标注人员对目标轨迹框进行点击标注，即输入对应的轨迹修正指令。其中，轨迹修正指令中携带有目标轨迹框的轨迹信息，具体的，例如，目标轨迹框中包含的每一条轨迹段具有颜色属性，对应生成轨迹段的相机视频边框也具有相同的颜色属性，以使轨迹段与相机视频具有相同的显示属性(颜色属性)，则轨迹修正指令中携带的目标轨迹框中的轨迹信息即为错误轨迹段的颜色属性。或者目标轨迹框对应的相机设备。[0086] 步骤602，响应于被标定的目标轨迹区域，确定目标轨迹区域对应的目标相机视频，显示目标相机视频。[0087] 在实施中，计算机设备响应于被标定的目标轨迹区域，确定目标轨迹区域对应的目标相机视频，并输出显示目标相机视频。[0088] 具体地，计算机设备响应于确定出的目标轨迹区域，结合标定时间轴上的标定时间信息，确定在该目标轨迹区域中包含的不同视角下的对应时间的目标相机视频段，并将不同视角下的目标相机视频段分区域输出显示。[0089] 在一个实施例中，如图7所示，在步骤101之前，该方法还包括：[0090] 步骤701，响应于被确定出的目标对象，在预设的显示区域显示目标对象的参考图像。[0091] 在实施中，计算机设备响应于被确定出的目标对象，在预设的显示区域显示目标对象的参考图像，例如，如图3所示，在计算机设备的显示界面的左上角显示目标对象的参考图像，用于在进行目标锁定和轨迹标定时对目标对象的参考。[0092] 步骤702，根据目标对象的参考图像或参考图像特征值，识别并标记全场相机视频中包含目标对象的相机视频，全场相机视频为预设时间周期内的全部相机视频。[0093] 在实施中，计算机设备根据目标对象的参考图像或参考图像特征值，识别并标记全场相机视频中包含目标对象的相机视频，全场相机视频为预设时间周期内的全部相机视频，即以目标对象进入商场的时刻为起始时间，离开商场的时刻为终止时间的时间段内。[0094] 步骤703，响应于轨迹生成指令与对应的轨迹生成算法，将包含目标对象的相机视频生成对应的目标对象轨迹视频。[0095] 在实施中，计算机设备响应于轨迹生成指令与对应的轨迹生成算法，将包含目标对象的相机视频生成对应的目标对象轨迹视频。[0096] 在一个实施例中，如图8所示，在步骤702之后，该方法还包括：[0097] 步骤801，遍历包含目标对象的相机视频中每一图像帧携带时间戳信息，确定包含目标对象的相机视频的起始时间戳信息和终止时间戳信息。[0098] 在实施中，计算机设备遍历包含目标对象的全部相机视频中每一图像帧的时间戳信息，根据时间戳信息中时间的先后顺序，确定包含目标对象的相机视频的起始时间戳信息和终止时间戳信息。[0099] 步骤802，根据起始时间戳信息、终止时间戳信息以及预设的时间间隔，建立参考时间轴，预设的时间间隔与每一图像帧的时间间隔相同。[0100] 在实施中，计算机设备根据起始时间戳信息、终止时间戳信息以及预设的时间间隔，建立参考时间轴，其中，预设的时间间隔与每一图像帧的时间间隔相同。具体的，例如预设的时间段为目标对象进入商场的下午2:00‑4:00，则参考时间轴的起始时间和终止时间也分别为对应的下午2:00，和下午4:00，相机视频中每一图像帧以秒级进行播放，每1秒对应一图像帧，则对应的参考时间轴中的时间间隔也设置为1秒。[0101] 步骤803，根据每一图像帧携带的时间戳信息，将包含目标对象的相机视频中每一图像帧与参考时间轴建立对应关系。[0102] 在实施中，计算机设备根据每一图像帧携带的时间戳信息，将包含目标对象的相机视频中每一图像帧与参考时间轴建立对应关系。具体的，针对目标对象每一个相机视频，在参考时间轴上确定对应的目标时间段，并将参考时间轴上的每一时刻点与目标时间段的相机视频中每一图像帧的时间戳进行对齐。[0103] 步骤804，基于第一颜色属性，显示参考时间轴中与相机视频建立对应关系的时间段，基于第二颜色属性，显示参考时间轴中未与相机视频建立对应关系的时间段，得到标注时间轴，标注时间轴为与参考时间轴时间范围相同的，表征轨迹生成情况的时间轴。[0104] 在实施中，计算机设备基于第一颜色属性，显示参考时间轴中与相机视频建立对应关系的时间段，基于第二颜色属性，显示参考时间轴轴中未与相机视频建立对应关系的时间段，得到标注时间轴，其中，标注时间轴为与参考时间轴时间范围相同的，表征轨迹生成情况的时间轴。可选的，计算机设备可以对参考时间轴进行颜色属性赋值，将参考时间轴中与相机视频的每一图像帧建立对应关系的时间段赋值为绿色，其表示该时间段内包含目标对象行走轨迹。将参考时间轴中未与相机视频建立对应关系的时间段赋值为红色，表示该时间段内未包含目标对象行走轨迹(轨迹缺失)。从而得到可以显示轨迹段完整与缺失信息的标注时间轴，用于对应的轨迹视频进行标定。[0105] 因为时间轴可以包括全局时间轴和局部时间轴，全局时间轴的创建可以理解为所有局部时间轴的汇总，因此，对于时间轴的创建方法本申请实施例不再分别展开描述。可选的，全局时间轴与目标时段对应的局部时间轴同时进行展示。实现轨迹视频与相机视频可以在全局(进入到离开整个商场)时间范围内进行跳转，也可以在局部时间范围内，每一时间点进行跳转。[0106] 本实施例中，通过建立双轨标注时间轴，将标注时间轴上显示的时间信息与轨迹视频和相机视频相对应，得到三者的对应关系，并通过对标注时间轴中与轨迹视频和相机视频对应的时间段进行区别化属性赋值，易于轨迹标注人员对于轨迹视频中出现的问题进行检查和标定。提高了轨迹标注人员对于得到完整准确的轨迹视频的效率。[0107] 应该理解的是，虽然图1‑2，4‑8的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1‑2，4‑8中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。[0108] 在一个实施例中，如图9所示，提供了一种轨迹标定装置900，包括：获取模块910和轨迹标定模块920，其中：[0109] 获取模块910，用于根据目标对象的参考图像或参考图像特征值，获取目标对象在预设时间段内的轨迹视频，轨迹视频是由包含目标对象的相机视频根据轨迹生成算法得到的三维平面上的投影轨迹视频。[0110] 轨迹标定模块920，用于响应于轨迹标定指令，对轨迹视频进行标注，得到被标注的目标轨迹段。[0111] 上述轨迹标定装置900，获取模块910，用于根据目标对象的参考图像或参考图像特征值，获取目标对象在预设时间段内的轨迹视频，轨迹视频是由包含目标对象的相机视频根据轨迹生成算法得到的三维平面上的投影轨迹视频；轨迹标定模块920，用于响应于轨迹标定指令，对轨迹视频进行标注，得到被标注的目标轨迹段。采用本装置900，可以通过人机交互的标注方式，对生成的轨迹视频中的轨迹段进行标注，进而使得在轨迹视频中对被标注的目标轨迹段进行后续突出展示、修改或调整等操作，提高了轨迹视频中轨迹的标定灵活性。[0112] 在一个实施例中，该装置900还包括：[0113] 确定模块，用于响应于时间轴上被标注的时间信息，在轨迹视频、相机视频与标注时间轴三者的对应关系中，确定并显示目标相机视频，时间轴表征轨迹视频的全部时长；[0114] 修正模块，用于响应于轨迹修正指令，基于目标相机视频对轨迹视频中的目标轨迹段进行修正，得到修正后的标准轨迹视频。[0115] 在一个实施例中，该装置900还包括：[0116] 获取模块，用于获取目标对象的标准轨迹视频；[0117] 评价模块，用于根据标准轨迹视频，对第二轨迹生成算法模型下生成的目标对象的原始轨迹视频进行比对检验，得到第二轨迹生成算法模型的评价结果。[0118] 在一个实施例中，确定模块具体用于响应于轨迹视频中包含的时间段的时间范围信息，调取轨迹视频与目标标注时间轴的关联关系，轨迹视频、相机视频和目标标注时间轴三者具有对应关系；[0119] 响应于目标标注时间轴上被标注的时间信息，在轨迹视频、相机视频与目标标注时间轴三者的对应关系中，确定并显示目标相机视频。[0120] 在一个实施例中，确定模块具体用于响应于目标标注时间轴上被标注的时间信息，在轨迹视频与目标标注时间轴的对应关系中，确定轨迹视频中的目标轨迹区域；[0121] 响应于被标定的目标轨迹区域，确定目标轨迹区域对应的目标相机视频，显示目标相机视频。[0122] 在一个实施例中，该装置900还包括：[0123] 显示模块，用于响应于被确定出的目标对象，在预设的显示区域显示目标对象的参考图像；[0124] 识别模块，用于根据目标对象的参考图像或参考图像特征值，识别并标记全场相机视频中包含目标对象的相机视频，全场相机视频为预设时间周期内的全部相机视频；[0125] 生成模块，用于响应于轨迹生成指令与对应的轨迹生成算法，将包含目标对象的相机视频生成对应的目标对象轨迹视频。[0126] 关于轨迹标定装置的具体限定可以参见上文中对于轨迹标定方法的限定，在此不再赘述。上述轨迹标定装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。[0127] 在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图10所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种轨迹标定方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。[0128] 本领域技术人员可以理解，图10中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。[0129] 在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：[0130] 根据目标对象的参考图像或参考图像特征值，获取目标对象在预设时间段内的轨迹视频，轨迹视频是由包含目标对象的相机视频根据轨迹生成算法得到的三维平面上的投影轨迹视频；[0131] 响应于轨迹标定指令，对轨迹视频进行标注，得到被标注的目标轨迹段。[0132] 在一个实施例中，处理器执行计算机程序时还实现以下步骤：[0133] 响应于时间轴上被标注的时间信息，在轨迹视频、相机视频与标注时间轴三者的对应关系中，确定并显示目标相机视频，时间轴表征轨迹视频的全部时长；[0134] 响应于轨迹修正指令，基于目标相机视频对轨迹视频中的目标轨迹段进行修正，得到修正后的标准轨迹视频。[0135] 在一个实施例中，处理器执行计算机程序时还实现以下步骤：[0136] 获取目标对象的标准轨迹视频；[0137] 根据标准轨迹视频，对第二轨迹生成算法模型下生成的目标对象的原始轨迹视频进行比对检验，得到第二轨迹生成算法模型的评价结果。[0138] 在一个实施例中，处理器执行计算机程序时还实现以下步骤：[0139] 响应于轨迹视频中包含的时间段的时间范围信息，调取轨迹视频与目标标注时间轴的关联关系，轨迹视频、相机视频和目标标注时间轴三者具有对应关系；[0140] 响应于目标标注时间轴上被标注的时间信息，在轨迹视频、相机视频与目标标注时间轴三者的对应关系中，确定并显示目标相机视频。[0141] 在一个实施例中，处理器执行计算机程序时还实现以下步骤：[0142] 响应于目标标注时间轴上被标注的时间信息，在轨迹视频与目标标注时间轴的对应关系中，确定轨迹视频中的目标轨迹区域；[0143] 响应于被标定的目标轨迹区域，确定目标轨迹区域对应的目标相机视频，显示目标相机视频。[0144] 在一个实施例中，在获取目标对象的参考图像之后，方法还包括：[0145] 响应于被确定出的目标对象，在预设的显示区域显示目标对象的参考图像；[0146] 根据目标对象的参考图像或参考图像特征值，识别并标记全场相机视频中包含目标对象的相机视频，全场相机视频为预设时间周期内的全部相机视频；[0147] 响应于轨迹生成指令与对应的轨迹生成算法，将包含目标对象的相机视频生成对应的目标对象轨迹视频。[0148] 在一个实施例中，在获取目标对象的参考图像之后，方法还包括：[0149] 遍历包含目标对象的相机视频中每一图像帧携带时间戳信息，确定包含目标对象的相机视频的起始时间戳信息和终止时间戳信息；[0150] 根据起始时间戳信息、终止时间戳信息以及预设的时间间隔，建立参考时间轴，预设的时间间隔与每一图像帧的时间间隔相同；[0151] 根据每一图像帧携带的时间戳信息，将包含目标对象的相机视频中每一图像帧与参考时间轴建立对应关系；[0152] 基于第一颜色属性，显示参考时间轴中与相机视频建立对应关系的时间段，基于第二颜色属性，显示参考时间轴中未与相机视频建立对应关系的时间段，得到标注时间轴，标注时间轴为与参考时间轴时间范围相同的，表征轨迹生成情况的时间轴。[0153] 在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：[0154] 根据目标对象的参考图像或参考图像特征值，获取目标对象在预设时间段内的轨迹视频，轨迹视频是由包含目标对象的相机视频根据轨迹生成算法得到的三维平面上的投影轨迹视频；[0155] 响应于轨迹标定指令，对轨迹视频进行标注，得到被标注的目标轨迹段。[0156] 在一个实施例中，计算机程序被处理器执行时还实现以下步骤：[0157] 响应于时间轴上被标注的时间信息，在轨迹视频、相机视频与标注时间轴三者的对应关系中，确定并显示目标相机视频，时间轴表征轨迹视频的全部时长；[0158] 响应于轨迹修正指令，基于目标相机视频对轨迹视频中的目标轨迹段进行修正，得到修正后的标准轨迹视频。[0159] 在一个实施例中，计算机程序被处理器执行时还实现以下步骤：[0160] 获取目标对象的标准轨迹视频；[0161] 根据标准轨迹视频，对第二轨迹生成算法模型下生成的目标对象的原始轨迹视频进行比对检验，得到第二轨迹生成算法模型的评价结果。[0162] 在一个实施例中，计算机程序被处理器执行时还实现以下步骤：[0163] 响应于轨迹视频中包含的时间段的时间范围信息，调取轨迹视频与目标标注时间轴的关联关系，轨迹视频、相机视频和目标标注时间轴三者具有对应关系；[0164] 响应于目标标注时间轴上被标注的时间信息，在轨迹视频、相机视频与目标标注时间轴三者的对应关系中，确定并显示目标相机视频。[0165] 在一个实施例中，计算机程序被处理器执行时还实现以下步骤：[0166] 响应于目标标注时间轴上被标注的时间信息，在轨迹视频与目标标注时间轴的对应关系中，确定轨迹视频中的目标轨迹区域；[0167] 响应于被标定的目标轨迹区域，确定目标轨迹区域对应的目标相机视频，显示目标相机视频。[0168] 在一个实施例中，计算机程序被处理器执行时还实现以下步骤：[0169] 响应于被确定出的目标对象，在预设的显示区域显示目标对象的参考图像；[0170] 根据目标对象的参考图像或参考图像特征值，识别并标记全场相机视频中包含目标对象的相机视频，全场相机视频为预设时间周期内的全部相机视频；[0171] 响应于轨迹生成指令与对应的轨迹生成算法，将包含目标对象的相机视频生成对应的目标对象轨迹视频。[0172] 在一个实施例中，计算机程序被处理器执行时还实现以下步骤：[0173] 遍历包含目标对象的相机视频中每一图像帧携带时间戳信息，确定包含目标对象的相机视频的起始时间戳信息和终止时间戳信息；[0174] 根据起始时间戳信息、终止时间戳信息以及预设的时间间隔，建立参考时间轴，预设的时间间隔与每一图像帧的时间间隔相同；[0175] 根据每一图像帧携带的时间戳信息，将包含目标对象的相机视频中每一图像帧与参考时间轴建立对应关系；[0176] 基于第一颜色属性，显示参考时间轴中与相机视频建立对应关系的时间段，基于第二颜色属性，显示参考时间轴中未与相机视频建立对应关系的时间段，得到标注时间轴，标注时间轴为与参考时间轴时间范围相同的，表征轨迹生成情况的时间轴。[0177] 本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read‑OnlyMemory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(RandomAccessMemory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(StaticRandomAccessMemory，SRAM)或动态随机存取存储器(DynamicRandomAccessMemory，DRAM)等。[0178] 以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。[0179] 以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

专利地区：北京

专利申请日期：2020-11-23

专利公开日期：2024-07-26

专利公告号：CN112308935B