一种图谱知识点与视频的对齐方法及装置发明专利

专利名称：一种图谱知识点与视频的对齐方法及装置

专利类型：发明专利

专利申请号：CN202311280036.5

专利申请（专利权）人：成都华栖云科技有限公司
权利人地址：四川省成都市中国(四川)自由贸易试验区成都高新区天府五街200号4号楼A区9楼

专利发明（设计）人：杜博文, 余军, 张苑, 邓明军, 税悦, 叶树林, 黄信云

专利摘要：本发明公开了一种图谱知识点与视频的对齐方法及装置，属于互联网技术领域。一种图谱知识点与视频的对齐方法，包括：获取教学视频，并识别出教学视频中带时间戳标记的文本内容；计算所述文本内容中每一句文本的第一向量；获取所述教学视频对应课程的知识点；基于所述知识点构建初始知识图谱；计算每个知识点的第二向量；根据第一向量和第二向量的匹配值为每个知识点确定对应的教学视频信息；在所述初始知识图谱上为每个知识点关联对应的教学视频信息，生成最终知识图谱。本发明实现了知识点与视频讲解内容的快速对齐。

主权利要求：一种图谱知识点与视频的对齐方法及装置
技术领域
[0001] 本发明属于互联网技术领域，特别是涉及一种图谱知识点与视频的对齐方法及装置。
背景技术
[0002] 在教学领域，通常老师需要准备好教案PPT，然后按照知识点进行逐一进行讲解，学校的录播设备会采集老师的上课教学视频存储到资源管理平台，学生在课后复习时，会根据知识图谱中的知识点掌握情况，找到对应的上课教学视频进行回看。图谱构建者根据某一知识点进行视频查找时不知道该知识点对应的资源平台中的哪一个视频资源以及在上课视频中的具体时间点，只能采取模糊搜索加逐一观看视频的方式查找知识点的上课讲解视频片段。目前市面上的产品只能做到根据特定格式的教学大纲生成知识图谱，然后手动关联每个知识点对应的课堂视频资源以及时间点，最终完成课程知识图谱的构建。这种基于人工查找课堂视频资源以及逐一观看视频确定知识点的时间点的方式效率极其低下。
发明内容
[0003] 本发明的目的在于克服现有技术的不足，提供一种图谱知识点与视频的对齐方法及装置。
[0004] 本发明的目的是通过以下技术方案来实现的：一种图谱知识点与视频的对齐方法，包括：
[0005] 获取教学视频，并识别出教学视频中带时间戳标记的文本内容；
[0006] 计算所述文本内容中每一句文本的第一向量；
[0007] 获取所述教学视频对应课程的知识点；
[0008] 基于所述知识点构建初始知识图谱；
[0009] 计算每个知识点的第二向量；
[0010] 根据第一向量和第二向量的匹配值为每个知识点确定对应的教学视频信息；
[0011] 在所述初始知识图谱上为每个知识点关联对应的教学视频信息，生成最终知识图谱。
[0012] 进一步地，获取教学视频，并识别出教学视频中带时间戳标记的文本内容，包括：
[0013] 获取教学视频；
[0014] 识别出教学视频中带时间点的PPT；
[0015] 识别出所述PPT上的文本内容，得到带时间戳标记的文本内容。
[0016] 进一步地，获取所述教学视频对应课程的知识点，包括：
[0017] 获取所述教学视频对应课程的Word格式的教学大纲或者电子教材的目录照片；
[0018] 从所述教学大纲或者目录照片中提取知识点。
[0019] 进一步地，所述第一向量和第二向量通过相同的向量算法计算得到。
[0020] 进一步地，根据第一向量和第二向量的匹配值为每个知识点确定对应的教学视频信息，包括：
[0021] 分别计算每个第一向量与所有第二向量的匹配值；
[0022] 根据所述匹配值为每个知识点确定对应的若干句文本，并将该若干句文本对应的教学视频信息确定为该知识点对应的视频信息。
[0023] 进一步地，根据所述匹配值为每个知识点确定对应的若干句文本，包括：
[0024] 对于每个知识点，将与该知识点的第二向量的匹配值最高的若干个第一向量对应的文本确定为该知识点对应的文本。
[0025] 进一步地，每个知识点对应的教学视频信息包括该知识点对应的教学视频的ID以及该知识点对应的文本在该文本所属教学视频中的起止时间。
[0026] 一种图谱知识点与视频的对齐装置，包括：
[0027] 文本识别模块，用于获取教学视频，并识别出教学视频中带时间戳标记的文本内容；
[0028] 知识点获取模块，用于获取所述教学视频对应课程的知识点；
[0029] 初始知识图谱构建模块，用于基于所述知识点构建初始知识图谱；
[0030] 向量计算模块，用于计算所述文本内容中每一句文本的第一向量，以及用于计算每个知识点的第二向量；
[0031] 教学视频信息确定模块，用于根据第一向量和第二向量的匹配值为每个知识点确定对应的教学视频信息；
[0032] 最终知识图谱构建模块，用于在所述初始知识图谱上为每个知识点关联对应的教学视频信息，生成最终知识图谱。
[0033] 进一步地，所述知识点获取模块还用于：获取所述教学视频对应课程的Word格式的教学大纲或者电子教材的目录照片；从所述教学大纲或者目录照片中提取知识点。
[0034] 进一步地，所述教学视频信息确定模块还用于：分别计算每个第一向量与所有第二向量的匹配值；根据所述匹配值为每个知识点确定对应的若干句文本，并将该若干句文本对应的教学视频信息确定为该知识点对应的视频信息。
[0035] 本发明的有益效果是：
[0036] （1）本发明通过视频自身所带的编目属性中的课程ID字段，大幅缩小匹配视频数量，图谱构建速度更快；
[0037] （2）本发明通过识别出视频中的PPT资源进行匹配，可以准确的关联到时间点；
[0038] （3）本发明匹配过程全自动，无需人工干预，节省宝贵的人力资源；采用图谱数据库存储知识点，可以存储海量数据；
[0039] （4）本发明针对不同语言采用专属向量计算模型算法，向量匹配度更高；
[0040] （5）本发明采用图谱数据库存储构建完成的知识图谱，比传统关系型数据库更加直观、自然的展示现实世界的关系；
[0041] （6）本发明采用图谱数据库，支持高效的关联查询；
[0042] （7）本发明提供了一种将知识点与视频讲解内容快速对齐的方法，减少了知识图谱构建者在搜索视频和逐一观看视频确认知识点的时间出入点的时间，图谱构建者只需要确认视频时间出入点之间的内容是否准确，从而将更多的时间和精力放在业务上。
附图说明
[0043] 图1为本发明中图谱知识点与视频的对齐方法的一种流程图；
[0044] 图2为本发明中图谱知识点与视频的对齐装置的一种组成框图。
具体实施方式
[0045] 下面将结合实施例，对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有付出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0046] 参阅图1至图2，本发明提供一种图谱知识点与视频的对齐方法及装置：
[0047] 本实施例的第一方面提供了一种图谱知识点与视频的对齐方法，如图1所示，一种图谱知识点与视频的对齐方法，包括步骤S100至步骤S700。需要说明的是，本实施例中各步骤的编号并不表示必须按编号的先后顺序执行所有步骤，例如，部分步骤可以同时执行，或者部分编号在后的步骤先于编号在前的步骤执行。
[0048] 步骤S100.获取教学视频，并识别出教学视频中带时间戳标记的文本内容。
[0049] 在一些实施例中，获取教学视频，并识别出教学视频中带时间戳标记的文本内容，包括：获取教学视频；识别出教学视频中带时间点的PPT；利用OCR识别出所述PPT上的文本内容，得到带时间戳标记的文本内容。
[0050] 具体的，首先获取教学视频，然后识别出教学视频中包含的所有PPT，在识别PPT的同时一并识别出每页PPT在教学视频中对应的时间点（即，每页PPT在教学视频中显示时对应的时间，例如，某页PPT在教学视频的第5分钟至第6分钟显示，则该页PPT对应的时间点即为教学视频的第5分钟至第6分钟），然后利用OCR技术识别出每页PPT中的文本内容，每页PPT中文本内容在教学视频中的时间点与该页PPT在教学视频中的时间点相同，从而得到带时间戳标记的文本内容。
[0051] 步骤S200.计算所述文本内容中每一句文本的第一向量。
[0052] 具体的，首先对每一页的文本内容进行分句，然后分别计算每一句文本的第一向量。一般的，通过现有的向量算法来计算每一句文本的第一向量即可。
[0053] 步骤S300.获取所述教学视频对应课程的知识点。
[0054] 在一些实施例中，获取所述教学视频对应课程的知识点，包括：获取所述教学视频对应课程的Word格式的教学大纲或者电子教材的目录照片；从所述教学大纲或者目录照片中提取知识点。
[0055] 本实施例中，根据输入的教学大纲和电子教材的目录照片自动获取知识点，无需手动输入，提高了知识图谱构建的效率，减轻了知识图谱构建者的工作量。
[0056] 步骤S400.基于所述知识点构建初始知识图谱。
[0057] 步骤S500.计算每个知识点的第二向量。
[0058] 一般的，通过现有的向量算法来计算每个知识点的第二向量即可。
[0059] 本实施例中，计算第一向量和第二向量时采用相同的向量算法。
[0060] 步骤S600.根据第一向量和第二向量的匹配值为每个知识点确定对应的教学视频信息。
[0061] 知识点对应的教学视频信息包括该知识点对应的教学视频的ID以及该知识点对应的文本在所属教学视频中的起止时间。本步骤中，根据第一向量和第二向量的匹配值将每个知识点与对应的教学视频进行关联，即，找出每个知识点对应的教学视频以及在教学视频中的具体起止时间。
[0062] 在一些实施例中，根据第一向量和第二向量的匹配值为每个知识点确定对应的教学视频信息，包括步骤S610和步骤S620。
[0063] 步骤S610.分别计算每个第一向量与所有第二向量的匹配值。
[0064] 具体的，分别将教学视频中每一句文本对应的第一向量与该教学视频对应课程下所有知识点的第二向量进行匹配值计算。
[0065] 步骤S620.根据所述匹配值为每个知识点确定对应的若干句文本，并将该若干句文本对应的教学视频信息确定为该知识点对应的视频信息。
[0066] 例如，对于某个知识点，筛选出与该知识点的第二向量的匹配值最高的一个或多个第一向量，然后将筛选出的这些第一向量对应的文本确地为该知识点对应的文本，然后将这些文本对应的教学视频信息确定为该知识点对应的教学视频信息，其中每一句文本对应的视频信息包括该句文本所属教学视频的ID以及该句文本在所属教学视频中的起止时间。
[0067] 每个知识点对应的文本可以为一句，也可以为多句，具体数量根据实际需求确定，比如，每个知识点对应三句文本。
[0068] 步骤S700.在所述初始知识图谱上为每个知识点关联对应的教学视频信息，生成最终知识图谱。
[0069] 本实施例中，用户点击最终知识图谱中的每个知识点时，可以打开对应的教学视频，且自动定位至该知识点在教学视频中对应的起始位置进行播放。当某个知识点关联了多教学视频时，在最终知识图谱中点击该知识点后，向用户呈现出该知识点关联的所有教学视频，待用户选择确定要观看的教学视频后，自动定位至该知识点在该教学视频中对应的起始位置进行播放。
[0070] 在一些实施例中，计算每一句文本的第一向量后，将将每一句文本的第一向量、该句文本所属教学视频的ID以及该句文本在所属教学视频中的起止时间（开始显示一句文本时教学视频的时间点为该句文本的起始时间，结束显示这一句文本时教学视频的时间点为该句文本的终止时间）作为一条教学记录存入MySQL数据库；一般的，同一页PPT上的每一句文本在所属教学视频中的起止时间相同。计算每个知识点的第二向量后，将第二向量存入向量数据库中。计算第一向量和第二向量的匹配值时，分别将教学视频下每一个第一向量与向量数据库中该教学视频对应课程下所有知识点的第二向量进行匹配值计算，筛选出与该第一向量匹配值最高的第二向量，然后在MySQL数据库中为该第一向量添加上对应的知识点标记，即为该第一向量标注对应的知识点（第一向量对应的知识点为与该第一向量匹配值最高的第二向量对应的知识点）。为某个知识点确定对应的文本时，筛选出与该知识点的第二向量匹配值最高的一个或多个第一向量，将这些第一向量对应的文本确定为该知识点对应的文本。一般的，由于一门课程下知识点的数量远少于对于教学视频中文本的语句数量，采用本实施例中的匹配值计算方法可以减少计算量，提升计算效率。
[0071] 在一些实施例中，对于一门课程下的某个知识点，当该知识点当前对应的文本数量已达预设上限时，若出现匹配值更高的文本时，将该知识点当前对应的所有文本中匹配值最低的一个文本替换为该匹配值更高的文本。本实施例的第二方面提供了一种图谱知识点与视频的对齐装置，如图2所示，一种图谱知识点与视频的对齐装置，包括文本识别模块、知识点获取模块、初始知识图谱构建模块、向量计算模块、教学视频信息确定模块和最终知识图谱构建模块。
[0072] 文本识别模块，用于获取教学视频，并识别出教学视频中带时间戳标记的文本内容；
[0073] 知识点获取模块，用于获取所述教学视频对应课程的知识点。
[0074] 初始知识图谱构建模块，用于基于所述知识点构建初始知识图谱。
[0075] 向量计算模块，用于计算所述文本内容中每一句文本的第一向量，以及用于计算每个知识点的第二向量。
[0076] 教学视频信息确定模块，用于根据第一向量和第二向量的匹配值为每个知识点确定对应的教学视频信息。
[0077] 最终知识图谱构建模块，用于在所述初始知识图谱上为每个知识点关联对应的教学视频信息，生成最终知识图谱。
[0078] 在一些实施例中，所述知识点获取模块还用于：获取所述教学视频对应课程的Word格式的教学大纲或者电子教材的目录照片；从所述教学大纲或者目录照片中提取知识点。
[0079] 在一些实施例中，所述教学视频信息确定模块还用于：分别计算每个第一向量与所有第二向量的匹配值；根据所述匹配值为每个知识点确定对应的若干句文本，并将该若干句文本对应的教学视频信息确定为该知识点对应的视频信息
[0080] 需要说明的是，本领域技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统或者装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再重复描述。
[0081] 以上所述仅是本发明的优选实施方式，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

专利地区：四川

专利申请日期：2023-10-07

专利公开日期：2024-01-09

专利公告号：CN117033665B