视频审核方法和系统、计算机系统和计算机可读存储介质

专利名称：视频审核方法和系统、计算机系统和计算机可读存储介质

专利类型：实用新型专利

专利申请号：CN202010601923.8

专利申请（专利权）人：百度在线网络技术(北京)有限公司
权利人地址：北京市海淀区上地十街10号百度大厦三层

专利发明（设计）人：孙斌,焦大原,刘亚萍

专利摘要：本公开涉及一种视频审核方法和系统、计算机系统、和计算机可读存储介质，涉及深度学习和图像处理领域。视频审核方法包括：确定视频物料的一个或多个视频标签及其置信分数；确定视频物料的多个帧中的至少一个帧的一个或多个帧标签及其置信分数，其中，至少一个帧中的每个帧具有至少一个帧标签；以及根据一个或多个视频标签及其置信分数和一个或多个帧标签及其置信分数，对视频物料进行机器审核。

主权利要求：
1.一种视频审核方法，包括：
确定视频物料的一个或多个视频标签及其置信分数，其中包括：使用视频分类模型对所述视频物料进行分类，以确定视频物料的所述一个或多个视频标签及其置信分数，其中，所述视频分类模型考虑帧间关联信息对所述视频物料进行分类；
确定所述视频物料的多个帧中的至少一个帧的一个或多个帧标签及其置信分数，其中，所述至少一个帧中的每个帧具有至少一个帧标签；以及根据所述一个或多个视频标签及其置信分数和所述一个或多个帧标签及其置信分数，对所述视频物料进行机器审核，其中，在所述机器审核指示需要继续进行人工审核的情况下，根据所述一个或多个视频标签的置信分数和所述一个或多个帧标签的置信分数，将所述视频物料添加到供人工审核的视频队列中，并且其中，将所述视频物料添加到所述供人工审核的视频队列中包括：根据所述一个或多个视频标签的置信分数和所述一个或多个帧标签的置信分数，确定所述视频物料的视频优先级权重因子，包括：计算所述一个或多个视频标签的置信分数与所述一个或多个帧标签的置信分数的加权和，作为所述视频物料的所述视频优先级权重因子；以及根据所述视频物料的所述视频优先级权重因子，将所述视频物料添加到具有不同优先级的多个供人工审核的视频队列中的一个视频队列中，其中，所述具有不同优先级的多个供人工审核的视频队列按照预定比例推送其中存储的视频物料供人工审核。
2.如权利要求1所述的视频审核方法，其中，对所述视频物料进行机器审核包括：根据所述一个或多个视频标签及其置信分数，对所述视频物料进行视频维度审核；
在所述视频物料通过所述视频维度审核的情况下，根据所述一个或多个帧标签及其置信分数，对所述视频物料进行帧维度审核；以及在所述视频物料未通过所述视频维度审核的情况下，拒绝所述视频物料的后续应用。
3.如权利要求2所述的视频审核方法，其中，对所述视频物料进行所述视频维度审核包括：判断所述一个或多个视频标签中表示风险的视频标签的置信分数是否均小于相应的阈值，如果否，则判定所述视频物料未通过所述视频维度审核，拒绝所述视频物料的后续应用。
4.如权利要求2所述的视频审核方法，其中，对所述视频物料进行所述视频维度审核包括：计算所述一个或多个视频标签的置信分数的至少一个加权和；以及
判断所述至少一个加权和是否均小于相应的阈值，如果否，则判定所述视频物料未通过所述视频维度审核，拒绝所述视频物料的后续应用。
5.如权利要求2所述的视频审核方法，其中，对所述视频物料进行所述帧维度审核包括：判断所述一个或多个帧标签的置信分数是否均小于相应的阈值，如果否，则判定所述视频物料未通过所述帧维度审核，拒绝所述视频物料的后续应用，其中，所述相应的阈值基于所述一个或多个视频维度标签和所述一个或多个视频维度标签的置信分数中的至少一者而被确定。
6.如权利要求2所述的视频审核方法，其中，对所述视频物料进行所述帧维度审核包括：计算所述一个或多个视频标签的置信分数与所述一个或多个帧标签的置信分数的至少一个加权和；以及判断所述至少一个加权和是否均小于相应的阈值，如果否，则判定所述视频物料未通过所述帧维度审核，拒绝所述视频物料的后续应用。
7.如权利要求2所述的视频审核方法，其中，对所述视频物料进行所述帧维度审核包括：对所述视频物料进行第一帧维度审核；
对所述视频物料进行第二帧维度审核，其中
在所述视频物料通过所述第一帧维度审核和所述第二帧维度审核的情况下，允许所述视频物料的后续应用，在所述视频物料未通过所述第一帧维度审核的情况下，拒绝所述视频物料的后续应用，在所述视频物料通过所述第一帧维度审核且未通过所述第二帧维度审核的情况下，所述机器审核指示需要继续进行人工审核。
8.如权利要求7所述的视频审核方法，其中，对所述视频物料进行所述第一帧维度审核包括判断所述一个或多个帧标签的置信分数是否均小于一个或多个第一阈值中的相应第一阈值，如果是，则判定所述视频物料通过所述第一帧维度审核，否则判定所述视频物料未通过所述第一帧维度审核，对所述视频物料进行所述第二帧维度审核包括判断所述一个或多个帧标签的置信分数是否均小于一个或多个第二阈值中的相应第二阈值，如果是，则判定所述视频物料通过所述第二帧维度审核，否则判定所述视频物料未通过所述第二帧维度审核，其中对于每个帧标签，所述第一阈值大于所述第二阈值。
9.如权利要求1所述的视频审核方法，还包括：
在所述机器审核指示需要继续进行人工审核的情况下，执行人工审核；以及在所述视频物料通过所述人工审核的情况下，将所述视频物料的唯一标识符和视频特征添加到视频白库中，在所述视频物料未通过所述人工审核的情况下，将所述视频物料的唯一标识符和视频特征添加到视频黑库中。
10.如权利要求1或9所述的视频审核方法，在根据所述一个或多个视频标签及其置信分数和所述一个或多个帧标签及其置信分数，对所述视频物料进行机器审核之前，所述方法还包括：通过将所述视频物料的唯一标识符和视频特征与所述视频白库和所述视频黑库中存储的多个唯一标识符和多个视频特征进行比较，对所述视频物料进行预审核，其中在所述视频白库中存在与所述视频物料相同的唯一标识符和视频特征的情况下，允许所述视频物料的后续应用，在所述视频黑库中存在与所述视频物料相同的唯一标识符和视频特征的情况下，拒绝所述视频物料的后续应用，在所述视频白库和所述视频黑库中均不存在与所述视频物料相同的唯一标识符和视频特征的情况下，根据所述一个或多个视频标签及其置信分数和所述一个或多个帧标签及其置信分数，对所述视频物料进行所述机器审核。
11.如权利要求1所述的视频审核方法，还包括：
在所述机器审核指示需要继续进行人工审核的情况下，执行人工审核；以及在所述视频物料未通过所述人工审核的情况下，将所述视频物料的相关信息存储在样本库中，以用于以下中的至少之一：视频维度机器审核的模型迭代、帧维度机器审核的模型迭代、准确率‑召回率动态测试。
12.如权利要求11所述的视频审核方法，其中，所述视频物料的相关信息包括以下中的至少之一：所述视频物料的存储地址、所述视频物料是否应被拒绝、所述视频物料的表示风险的视频标签、所述视频物料中具有表示风险的帧标签的帧的时间信息和帧标签。
13.如权利要求1所述的视频审核方法，其中，所述视频物料的所述一个或多个视频标签中的每一个视频标签属于一个视频标签类，确定所述视频物料的所述一个或多个视频标签及其置信分数还包括：
对于多个视频标签类中的每一个视频标签类，从该视频标签类中包括的多个候选视频标签中选择所述视频物料的属于该视频标签类的视频标签，并且确定该视频标签的置信分数。
14.一种视频审核系统，包括：
第一确定单元，被配置为确定视频物料的一个或多个视频标签及其置信分数，其中包括：使用视频分类模型对所述视频物料进行分类，以确定视频物料的所述一个或多个视频标签及其置信分数，其中，所述视频分类模型考虑帧间关联信息对所述视频物料进行分类；
第二确定单元，被配置为确定所述视频物料的多个帧中的至少一个帧的一个或多个帧标签及其置信分数，其中，所述至少一个帧中的每个帧具有至少一个帧标签；以及审核执行单元，被配置为根据所述一个或多个视频标签及其置信分数和所述一个或多个帧标签及其置信分数，对所述视频物料进行机器审核，其中，在所述机器审核指示需要继续进行人工审核的情况下，根据所述一个或多个视频标签的置信分数和所述一个或多个帧标签的置信分数，将所述视频物料添加到供人工审核的视频队列中，并且其中，将所述视频物料添加到所述供人工审核的视频队列中包括：根据所述一个或多个视频标签的置信分数和所述一个或多个帧标签的置信分数，确定所述视频物料的视频优先级权重因子，包括：计算所述一个或多个视频标签的置信分数与所述一个或多个帧标签的置信分数的加权和，作为所述视频物料的所述视频优先级权重因子；以及根据所述视频物料的所述视频优先级权重因子，将所述视频物料添加到具有不同优先级的多个供人工审核的视频队列中的一个视频队列中，其中，所述具有不同优先级的多个供人工审核的视频队列按照预定比例推送其中存储的视频物料供人工审核。
15.一种计算机系统，包括：
一个或多个处理器；以及
存储装置，其上存储有计算机程序，所述计算机程序当被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至13中任一项所述的方法。
16.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序当被处理器执行时，使得所述处理器实现如权利要求1至13中任一项所述的方法。
17.一种计算机程序产品，包括计算机程序，其中，所述计算机程序当被处理器执行时实现如权利要求1至13中任一项所述的方法。 说明书 : 视频审核方法和系统、计算机系统和计算机可读存储介质技术领域[0001] 本公开涉及图像处理领域，尤其涉及一种视频审核方法和系统、计算机系统和计算机可读存储介质。背景技术[0002] 当今，互联网上的视频物料日益增多，且大部分以广告、影像日志(Vlog)、短视频等多种形式出现。随着第五代(5G)和第六代(6G)通信技术及物联网的快速发展，视频物料的数量将呈指数增长，随之而来的是各类非法敏感信息、商标侵权、用户体验等各种问题将出现在视频物料中。[0003] 目前的视频审核方法主要采用如下三种方式：[0004] (1)全部人工审核。审核员基于随机抽取的视频帧的展示、视频播放、视频倍速播放等方式对视频物料进行审核，审核的时效性取决于人力的多少及审核平台的便捷性。[0005] (2)全部机器审核。某些产品线全部采用机器审核策略对视频物料进行审核，视频物料只有拒绝和通过状态，无人工审核介入环节。[0006] (3)机器审核和人工审核相结合。在帧维度上结合光学字符识别(OCR)、人脸识别、目标检测等深度学习方法和机器审核策略对视频物料的关键帧进行审核，并且在视频物料通过机器审核的情况下进一步对其进行人工复审。发明内容[0007] 根据本公开的第一方面，本公开的实施例提供了一种视频审核方法，包括：确定视频物料的一个或多个视频标签及其置信分数；确定视频物料的多个帧中的至少一个帧的一个或多个帧标签及其置信分数，其中，至少一个帧中的每个帧具有至少一个帧标签；以及根据一个或多个视频标签及其置信分数和一个或多个帧标签及其置信分数，对视频物料进行机器审核。[0008] 根据本公开的第二方面，本公开的实施例提供了一种视频审核系统，包括：第一确定单元，被配置为确定视频物料的一个或多个视频标签及其置信分数；第二确定单元，被配置为确定视频物料的多个帧中的至少一个帧的一个或多个帧标签及其置信分数，其中，至少一个帧中的每个帧具有至少一个帧标签；以及审核执行单元，被配置为根据一个或多个视频标签及其置信分数和一个或多个帧标签及其置信分数，对视频物料进行机器审核。[0009] 根据本公开的第三方面，本公开的实施例提供了一种计算机系统，包括：一个或多个处理器；以及存储装置，其上存储有计算机程序，该计算机程序当被一个或多个处理器执行时，使得一个或多个处理器实现如上所述的视频审核方法。[0010] 根据本公开的第四方面，本公开的实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序当被处理器执行时，使得处理器实现如上所述的视频审核方法。[0011] 根据本公开的第五方面，本公开的实施例提供了一种计算机程序产品，包括计算机程序，其中，该计算机程序当被处理器执行时实现如上所述的视频审核方法。[0012] 在根据本公开的一个或多个实施例中，结合使用视频物料的一个或多个视频标签和视频物料的多个帧中的至少一个帧的一个或多个帧标签对视频物料进行审核，能够提高视频审核的准确率和召回率中的至少一个。附图说明[0013] 附图示例性地示出了实施例并且构成说明书的一部分，与说明书的文字描述一起用于说明实施例的示例性实施方式。所示出的实施例仅出于例示的目的，并不限制权利要求的范围。在所有附图中，相同的附图标记指代类似但不一定相同的要素。[0014] 图1是示出根据本公开实施例的视频审核方法的流程图；[0015] 图2是示出根据本公开实施例的视频审核方法中使用的示例标签体系的示意图；[0016] 图3是示出图2所示的步骤S106的具体处理的流程图；[0017] 图4是示出根据本公开实施例的供人工审核的示例视频队列的示意图；[0018] 图5是示出根据本公开实施例的基于人工审核结果的数据回流机制的示意图；[0019] 图6是示出根据本公开实施例的视频审核系统的框图；[0020] 图7是示出能够应用于示例实施例的示例性计算机系统的结构框图。具体实施方式[0021] 在本公开中，除非另有说明，否则使用术语“第一”、“第二”等来描述各种要素并不意图限定这些要素的位置关系、时序关系、或重要性关系，这种术语只是用于将一个元件与另一元件区分开。在一些示例中，第一要素和第二要素可以结合在同一个单元中，也可以进一步划分为多个单元。[0022] 在本公开中对各种实施例的描述中所使用的术语只是为了描述特定示例的目的，而并非旨在进行限制。在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合。除非上下文另外明确地表明，如果不特意限定要素的数量，则该要素可以是一个也可以是多个。此外，本公开中所使用的术语“和/或”涵盖所列出的项目中的任何一个以及全部可能的组合方式。例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。[0023] 下面结合附图和实施例对本公开进行进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外，还需要说明的是，为了便于描述，附图中仅示出了与相关发明相关的部分。[0024] 针对现有的视频审核方法存在的人工成本大、审核效率低、和/或准确率和召回率不高等问题，提出了一种视频审核方法和系统。下面结合附图，详细描述根据本公开实施例的视频审核方法和系统。[0025] 图1是示出根据本公开实施例的视频审核方法100的流程图。如图1所示，视频审核方法100包括：步骤S102，确定视频物料的一个或多个视频标签及其置信分数；步骤S104，确定视频物料的多个帧中的至少一个帧的一个或多个帧标签及其置信分数，其中，至少一个帧中的每个帧具有至少一个帧标签；以及步骤S106，根据视频物料的一个或多个视频标签及其置信分数和视频物料中的至少一个帧的一个或多个帧标签及其置信分数，对视频物料进行机器审核。[0026] 这里，视频物料的多个帧中用于视频审核的至少一个帧可以是视频物料中的至少一个关键帧。当视频物料通过机器审核时，可以进一步对视频物料进行人工审核，也可以直接允许视频物料的后续应用。当视频物料未通过机器审核时，可以无需进一步对视频物料进行人工审核，即直接拒绝视频物料的后续应用。[0027] 根据本公开实施例的视频审核方法，结合使用视频物料的视频标签和视频物料的多个帧中的至少一个帧的帧标签对视频物料进行审核，相比仅利用帧标签的视频审核方法能够提高机器审核的准确率和召回率中的至少一个。由于能够提高机器审核的准确率和召回率中的至少一个，因此对人工审核的依赖性减小，因此可潜在节省人工成本以提高审核效率。[0028] 在一些实施例中，可以根据业务需要在网络上收集视频数据，并利用所收集的视频数据对在Kinetics、UCF101、SomethingV1&V2等公开数据集上预先训练好的分类模型进行训练，得到适用于视频审核的视频分类模型。随着深度学习的发展，可以将卷积神经网络(CNN)、双向长短记忆网络(LSTM)、门控制循环单元网络(GRU)、三维卷积神经网络(3D‑CNN)、双流法、时间移位模块(TSM)中的一种或多种技术应用在视频分类模型中，以既考虑视频物料的RGB帧信息又结合视频物料的帧间关联信息(例如，帧间光流信息)进行视频分类，从而提高视频分类的准确率和速度。另外，针对每个视频物料可以确定多个标签，采用图神经网络对该多个标签之间的相关性进行建模，将相关性模型加入到视频分类模型中可以提升视频分类模型的学习泛化能力。[0029] 在一些实施例中，可以使用视频分类模型对视频物料进行分类，以确定视频物料的一个或多个视频标签及其置信分数，该视频分类模型可以考虑视频物料的帧间关联信息对所述视频物料进行分类。在一些情况下，视频分类模型可以进一步结合视频物料中包含的音频信息对视频物料进行分类。[0030] 在一些实施例中，视频物料的一个或多个视频标签中的每一个视频标签可以属于一个视频标签类，确定视频物料的一个或多个视频标签及其置信分数可以包括：对于多个视频标签类中的每一个视频标签类，从该视频标签类中包括的多个候选视频标签中选择视频物料的属于该视频标签类的视频标签，并且确定该视频标签的置信分数。[0031] 图2是示出根据本公开实施例的视频审核方法中使用的示例标签体系的示意图。如图2所示，可以设置包括行业、场景、类别、质量等多个视频标签类；行业类视频标签可以包括招商加盟、搬家物流等行业标签；场景类视频标签可以包括卧室、沙滩等场景标签；类别类视频标签可以包括游戏、自拍等类别标签。另外，如图2所示，可以设置包括光学字符识别(OCR)、人脸识别、徽标(logo)检测、清晰度打分、水印识别等多个类别的帧标签。实践中，可以根据实际的业务需要，设计涵盖范围尽可能广、分层粒度尽可能细的标签体系。[0032] 图3是示出图2所示的步骤S106的具体处理的流程图。如图3所示，在一些实施例中，步骤S106可以包括：步骤S1062，根据视频物料的一个或多个视频标签及其置信分数，对视频物料进行视频维度审核；步骤S1064，在视频物料通过视频维度审核的情况下，根据视频物料中的至少一个帧的一个或多个帧标签及其置信分数，对视频物料进行帧维度审核；以及步骤S1066，在视频物料未通过视频维度审核的情况下，拒绝视频物料的后续应用。帧标签的置信分数越高，意味着帧存在风险的概率越大。例如，帧标签“OCR”具有较高的置信分数，则意味着帧中包含敏感文字或不雅文字的概率较高；帧标签“徽标(logo)检测”具有较高的置信分数，则意味着帧中包含知名品牌徽标(logo)从而可能包含侵权内容的概率较高。[0033] 这里，由于在视频物料未通过视频维度审核的情况下直接拒绝视频物料的后续应用，而无需进一步对视频物料进行帧维度审核，所以可以进一步提高审核效率。[0034] 可以理解的是，视频物料的一个或多个视频标签可以包括表示风险的视频标签也可以包括不表示风险的视频标签；表示风险的视频标签的置信分数越高，视频物料包含风险内容的可能性越高；不表示风险的视频标签的置信分数越高，视频物料不包含风险内容的可能性越高。[0035] 在一些实施例中，对视频物料进行视频维度审核可以包括：判断视频物料的一个或多个视频标签中表示风险的视频标签的置信分数是否均小于相应的阈值，如果否，则判定视频物料未通过视频维度审核并拒绝视频物料的后续应用，如果是，则判定视频物料通过视频维度审核。[0036] 在一些实施例中，对视频物料进行视频维度审核可以包括：计算视频物料的一个或多个视频标签的置信分数的至少一个加权和；以及判断计算出的至少一个加权和是否均小于相应的阈值，如果否，则判定视频物料未通过视频维度审核并拒绝视频物料的后续应用，如果是，则判定视频物料通过视频维度审核。[0037] 例如，可以将视频物料的一个或多个视频标签分为高、中、低风险视频标签组，为高风险视频标签组中的视频标签分配第一权重值，为中风险视频标签组中的视频标签分配第二权重值，为低风险视频标签组中的视频标签分配第三权重值，计算各个风险标签组中的视频标签的置信分数的加权和，并且在各个风险标签组中的视频标签的置信分数的加权和均小于分别针对这些风险标签组设定的阈值的情况下，判定视频物料通过视频维度审核，否则判定视频物料未通过视频维度审核并拒绝视频物料的后续应用。这里，第一权重值大于第二权重值，第二权重值大于第三权重值。第三权重值可以被设置得很低甚至可以被设置为负值。换言之，计算这种加权和可综合考虑多个视频标签之间的关联来确定是否应通过视频维度审核。[0038] 类似地，视频物料中的每个帧的一个或多个帧标签可以包括表示风险的帧标签也可以包括不表示风险的帧标签；表示风险的帧标签的置信分数越高，该帧包含风险内容的可能性越高；不表示风险的帧标签的置信分数越高，该帧不包含风险内容的可能性越高。另外，同一个帧标签在与不同的视频标签相关联时可能表示不同的风险。例如，帧标签“泳衣”在与场景类的视频标签“室内”相关联时表示高风险，在与场景类的视频标签“沙滩”相关联时表示低风险。[0039] 在一些实施例中，对视频物料进行帧维度审核可以包括：判断视频物料中的至少一个帧的一个或多个帧标签的置信分数是否均小于相应的阈值，如果否，则判定视频物料未通过帧维度审核并拒绝视频物料的后续应用，其中，该相应的阈值基于视频物料的一个或多个视频标签和该一个或多个视频标签的置信分数中的至少一者而被确定。这里，如果视频物料中的至少一个帧的一个或多个帧标签的置信分数均小于相应的阈值，则判定视频物料通过帧维度审核。例如，在前面的例子中，如果视频物料具有视频标签“室内”且置信分数较高，则可以将帧标签“泳衣”的置信分数阈值设置为较低，而如果视频物料具有视频标签“沙滩”且置信分数较高，则可以将帧标签“泳衣”的置信分数阈值设置为较高。这是因为在沙滩上，即使视频物料中出现了泳装，视频物料存在风险的整体概率也相对较小。[0040] 替代地，在一些实施例中，对视频物料进行帧维度审核可以包括：计算视频物料的一个或多个视频标签的置信分数与视频物料中的至少一个帧的一个或多个帧标签的置信分数的至少一个加权和；以及判断该至少一个加权和是否均小于相应的阈值，如果否，则判定视频物料未通过帧维度审核并拒绝视频物料的后续应用，如果是，则判定视频物料通过帧维度审核。例如，视频物料具有“泳衣”的视频标签(其属于高风险标签组，具有0.8的第一权重值)和“沙滩”的视频标签(其属于低风险标签组，具有‑0.1的权重值)，“泳衣”的视频标签的置信分数为0.8且“沙滩”的视频标签的置信分数为0.9，则加权和为0.55，其小于阈值0.6，则判定视频物料通过帧维度审核。换言之，计算这种加权和也可综合考虑视频标签和帧标签之间的关联来确定是否应通过帧维度审核。[0041] 在一些实施例中，步骤S1064可以包括：对视频物料进行第一帧维度审核；对视频物料进行第二帧维度审核。这里，在视频物料通过第一帧维度审核和第二帧维度审核的情况下，允许视频物料的后续应用；在视频物料未通过第一帧维度审核的情况下，拒绝视频物料的后续应用；在视频物料通过第一帧维度审核且未通过第二帧维度审核的情况下，机器审核指示需要继续进行人工审核。[0042] 这里，由于在视频物料通过第一帧维度审核和第二帧维度审核的情况下，直接允许视频物料的后续应用而不需要进一步对视频物料进行人工审核，所以可以进一步提高审核效率，减轻人工审核负担，并降低人工成本。[0043] 在一些实施例中，第二帧维度审核可以采用比第一帧维度审核更为严格的审核标准。所以，可以按照先后顺序执行第一帧维度审核和第二帧维度审核，并且可以在视频物料未通过第一帧维度审核时，不对视频物料进行第二帧维度审核即拒绝视频物料的后续应用。这样，可以进一步提高审核效率，减轻人工审核负担，并降低人工成本。[0044] 在一些实施例中，对视频物料进行第一帧维度审核可以包括判断视频物料中的至少一个帧的一个或多个帧标签的置信分数是否均小于一个或多个第一阈值中的相应第一阈值，如果是，则判定视频物料通过第一帧维度审核，否则判定视频物料未通过第一帧维度审核。对视频物料进行第二帧维度审核包括判断视频物料中的至少一个帧的一个或多个帧标签的置信分数是否均小于一个或多个第二阈值中的相应第二阈值，如果是，则判定视频物料通过第二帧维度审核，否则判定视频物料未通过第二帧维度审核。对于每个帧标签，第一阈值大于第二阈值。[0045] 为了保证通过视频审核将有风险的视频物料过滤出去而避免有风险的视频物料在后续应用中被推送给用户(即，避免风险信息漏出)，在视频物料通过机器审核后，可以对视频物料进一步进行人工审核。[0046] 在一些实施例中，视频审核方法100可以包括：步骤S108，在机器审核指示需要对视频物料继续进行人工审核的情况下，根据视频物料的一个或多个视频标签的置信分数和视频物料中的至少一个帧的一个或多个帧标签的置信分数，将视频物料添加到供人工审核的视频队列中。[0047] 在一些实施例中，步骤S108可以包括：根据视频物料的一个或多个视频标签的置信分数和视频物料的至少一个帧的一个或多个帧标签的置信分数，确定视频物料的视频优先级权重因子；以及根据视频物料的视频优先级权重因子，将视频物料添加到具有不同优先级的多个供人工审核的视频队列中的一个视频队列中，其中，具有不同优先级的多个供人工审核的视频队列按照预定比例推送其中存储的视频物料供人工审核。这样，既可以优先将高风险的视频物料(即，视频优先级权重因子大的视频物料)推送给人工审核，又可以防止低风险的视频物料长时间滞留在相应优先级的视频队列中无法进入人工审核环节。[0048] 在一些实施例中，确定视频物料的视频优先级权重因子可以包括：计算视频物料的一个或多个视频标签的置信分数与视频物料的至少一个帧的一个或多个帧标签的置信分数的加权和，作为视频物料的视频优先级权重因子。[0049] 例如，可以通过将视频物料的多个类别类视频标签的置信分数进行加权平均来确定视频物料的视频类别优先级因子，通过将视频物料的多个关键帧的多个帧标签的置信分数进行归一化和加权平均来确定视频物料的帧标签优先级因子，然后通过将视频物料的视频类别优先级因子和帧标签优先级因子按不同权重进行加权来确定视频物料的视频优先级权重因子。[0050] 下面给出了计算视频物料的优先级权重因子Qweight的示例公式：[0051][0052] 其中，λ为视频类别优先级因子在视频优先级权重因子中所占比例，nvideo为用于确定视频类别优先级因子的视频标签的数目；μi为各个视频标签类的视频标签所对应的预先设定的类别优先级因子(例如：自拍0.6；游戏0.2；医疗0.8等)，其反映了不同类别视频的风险等级高低，属于视频审核的先验知识；nframe为用于确定帧标签优先级因子的帧标签的数目，δi可以为帧标签的置信分数，也可以为所选取的所有帧(例如，所有关键帧)的某一类帧标签的置信分数中的最大值，选取整个关键帧簇中某类帧标签的最大值有利于将风险信息最大化，减少风险的漏出概率；δi_max和δi_min分别为该类帧标签的置信分数区间的上下界。这里，可以根据业务需要确定用于确定视频类别优先级因子的视频标签的数目和用于确定帧标签优先级因子的帧标签的数目。根据一些实施例，上述公式中帧标签的置信分数的归一化求和也可被替换为帧标签的置信分数的其他加权求和。[0053] 图4是示出根据本公开实施例的供人工审核的示例视频队列的示意图。如图4所示，存在高、中、低三个不同优先级的供人工审核的视频队列。θh、θm、θn分别为各优先级的视频队列的分发阈值，ρh、ρm、ρn分别为各优先级的视频队列合并到最终的视频推送队列中的推送量。可以通过将视频物料的视频优先级权重因子Qweight与θh、θm、θn进行比较，将视频物料添加到高、中、低三个优先级的视频队列中的一个视频队列中。一般，可以根据业务需要确定优先级视频队列的数目和各个优先级视频队列在最终的视频推送队列中的比例。[0054] 在一些实施例中，为了提高审核效率，在执行步骤S102之前，视频审核方法100还可以包括：通过将视频物料的唯一标识符和视频特征与视频白库和视频黑库中存储的多个唯一标识符和多个视频特征进行比较，对视频物料进行预审核。在视频白库中存在与视频物料相同的唯一标识符和视频特征的情况下，允许视频物料的后续应用。在视频黑库中存在与视频物料相同的唯一标识符和视频特征的情况下，拒绝视频物料的后续应用。在视频白库和视频黑库中均不存在与视频物料相同的唯一标识符和视频特征的情况下，根据视频物料的一个或多个视频标签及其置信分数和视频物料的至少一个帧的一个或多个帧标签及其置信分数，对视频物料进行机器审核。[0055] 另外，还提出了基于人工审核结果的数据回流机制。图5是示出根据本公开实施例的基于人工审核结果的数据回流机制的示意图。如图5所示，在视频物料通过人工审核的情况下，将视频物料的唯一标识符和视频特征添加到视频白库中；在视频物料未通过人工审核的情况下，将视频物料的唯一标识符和视频特征添加到视频黑库中，并且可以将视频物料的相关信息，例如，视频物料的存储地址、视频物料是否应被拒绝、视频物料的表示风险的视频标签、视频物料中具有表示风险的帧标签的帧的时间信息和帧标签等存储在样本库中，用于视频维度和帧维度机器审核的模型迭代和准确率‑召回率动态测试。这里，视频物料的唯一标识符可以是例如，视频物料的MD5唯一标识符，视频物料的视频特征可以是例如，融合视频物料的视频特征和音频特征形成的整体视频检索特征。[0056] 为了实现上述基于人工审核结果的数据回流机制，在一些实施例中，视频审核方法100还可以包括：在机器审核指示需要对视频物料继续进行人工审核的情况下，执行人工审核；以及在视频物料通过人工审核的情况下将视频物料的唯一标识符和视频特征添加到视频白库中，在视频物料未通过人工审核的情况下将视频物料的唯一标识符和视频特征添加到视频黑库中。[0057] 在一些实施例中，视频审核方法100还可以包括：在机器审核指示需要对视频物料继续进行人工审核的情况下，执行人工审核；以及在视频物料未通过人工审核的情况下，将视频物料的相关信息存储在样本库中，以用于以下中的至少之一：视频维度机器审核的模型迭代、帧维度机器审核的模型迭代、准确率‑召回率动态测试。这里，视频物料的相关信息可以包括以下中的至少之一：所述视频物料的存储地址、所述视频物料是否应被拒绝、所述视频物料的表示风险的视频标签、所述视频物料中具有表示风险的帧标签的帧的时间信息和帧标签。[0058] 利用根据本公开实施例的视频审核方法，可以提高审核的准确率和召回率，节省人工成本，且审核效率高。[0059] 图6是示出根据本公开实施例的视频审核系统200的框图。下面结合图5，详细描述视频审核系统200。[0060] 如图6所示，视频审核系统200可以包括第一确定单元202、第二确定单元204、以及审核执行单元206。第一确定单元202被配置为确定视频物料的一个或多个视频标签及其置信分数。第二确定单元204被配置为确定视频物料中的至少一个帧的一个或多个帧标签及其置信分数，其中，至少一个帧中的每个帧具有至少一个帧标签。审核执行单元206被配置为根据一个或多个视频标签及其置信分数和一个或多个帧标签及其置信分数，对视频物料进行机器审核。[0061] 在一些实施例中，视频审核系统200还可以包括：视频推送单元208，被配置为在机器审核指示需要对视频物料继续进行人工审核的情况下，根据视频物料的一个或多个视频标签的置信分数和视频物料的至少一个帧的一个或多个帧标签的置信分数，将视频物料添加到供人工审核的视频队列中。[0062] 在一些实施例中，审核执行单元206可以进一步被配置为执行以下处理中的一者或多者：在视频物料通过人工审核的情况下将视频物料的唯一标识符和视频特征添加到视频白库中，在视频物料未通过人工审核的情况下将视频物料的唯一标识符和视频特征添加到视频黑库中；通过将视频物料的唯一标识符和视频特征与视频白库和视频黑库中存储的多个唯一标识符和多个视频特征进行比较，对视频物料进行预审核，其中，在视频白库中存在与视频物料相同的唯一标识符和视频特征的情况下允许视频物料的后续应用，在视频黑库中存在与视频物料相同的唯一标识符和视频特征的情况下拒绝视频物料的后续应用，在视频白库和视频黑库中均不存在与视频物料相同的唯一标识符和视频特征的情况下，根据一个或多个视频标签及其置信分数和一个或多个帧标签及其置信分数，对视频物料进行机器审核；在视频物料未通过人工审核的情况下，将视频物料的相关信息存储在样本库中，以用于以下中的至少之一：视频维度机器审核的模型迭代、帧维度机器审核的模型迭代、准确率‑召回率动态测试。[0063] 在本实施例中，视频审核系统200的其他细节以及视频审核系统200的相应处理所带来的技术效果可参考对视频审核方法100的相关说明，在此不再赘述。[0064] 图7是示出能够应用于示例实施例的示例性计算机系统300的结构框图。下面结合图7，描述适于用来实现本公开的实施例的计算机系统300。应该明白的是，图7示出的计算机系统300仅是一个示例，不应对本公开的实施例的功能和使用范围带来任何限制。[0065] 如图7所示，计算机系统300可以包括处理装置(例如，中央处理器、图形处理器等)301，其可以根据存储在只读存储器(ROM)302中的程序或者从存储装置308加载到随机访问存储器(RAM)303中的程序而执行各种适当的动作和处理。在RAM303中，还存储有计算机系统300操作所需的各种程序和数据。处理装置301、ROM302、以及RAM303通过总线304彼此相连。输入/输出(I/O)接口305也连接至总线304。[0066] 通常，以下装置可以连接至I/O接口305：包括例如触摸屏、触摸板、摄像头、加速度计、陀螺仪等的输入装置306；包括例如液晶显示器(LCD，LiquidCrystalDisplay)、扬声器、振动器等的输出装置307；包括例如闪存(FlashCard)等的存储装置308；以及通信装置309。通信装置309可以允许计算机系统300与其他设备进行无线或有线通信以交换数据。虽然图7示出了具有各种装置的计算机系统300，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。图7中示出的每个方框可以代表一个装置，也可以根据需要代表多个装置。[0067] 特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例提供一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行图1所示的方法100的程序代码。在这样的实施例中，该计算机程序可以通过通信装置309从网络上被下载和安装，或者从存储装置308被安装，或者从ROM302被安装。在该计算机程序被处理装置301执行时，实现本公开的实施例的系统中限定的上述功能。[0068] 需要说明的是，本公开的实施例所述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD‑ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开的实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开的实施例中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(RadioFrequency，射频)等等，或者上述的任意合适的组合。[0069] 上述计算机可读介质可以是上述计算机系统300中所包含的；也可以是单独存在，而未装配入该计算机系统300中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该计算机系统执行时，使得该计算机系统：确定视频物料的一个或多个视频标签及其置信分数；确定视频物料中的至少一个帧的一个或多个帧标签及其置信分数，其中，至少一个帧中的每个帧具有至少一个帧标签；以及根据视频物料的一个或多个视频标签及其置信分数和视频物料中的至少一个帧的一个或多个帧标签及其置信分数，对视频物料进行机器审核。[0070] 可以以一种或多种程序设计语言或其组合来编写用于执行本公开的实施例的操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言——诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言——诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)——连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。[0071] 附图中的流程图和框图，图示了按照本公开的各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能、和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。[0072] 描述于本公开的实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器，包括第一确定单元、第二确定单元、审核执行单元、视频推送单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。[0073] 以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开的实施例中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开的实施例中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

专利地区：北京

专利申请日期：2020-06-28

专利公开日期：2024-07-16

专利公告号：CN111767838B