一种基于非结构化情报中提取数据的方法、装置及介质

专利名称：一种基于非结构化情报中提取数据的方法、装置及介质

专利类型：实用新型专利

专利申请号：CN202110933584.8

专利申请（专利权）人：北京庚图科技有限公司
权利人地址：北京市海淀区西三旗昌临801号27号3层303

专利发明（设计）人：崔鹏飞

专利摘要：本申请涉及一种基于非结构化情报中提取数据的方法、装置及介质，涉及信息提取的领域，其将处理好的情报信息输入至训练好的LSTM网络模型中进行处理，并输出处理好的情报信息对应的向量序列，情报信息包括搜集到的视频情报、音频情报、图片情报和文字情报中的至少一项，将向量序列输入至训练好的CRF网络模型中进行标注，并输出向量序列对应的标注序列，标注序列为标注好词性的情报词组。本申请具有便于从非结构化的情报中快速提取有用的信息的效果。

主权利要求：
1.一种基于非结构化情报中提取数据的方法，其特征在于，包括：
基于搜集到的所有视频情报生成视频数据库；
基于搜集到的所有音频情报生成音频数据库；
基于搜集到的所有图片情报生成图片数据库；
基于搜集到的所有文字情报生成文字数据库；
对所述视频数据库、音频数据库、图片数据库和文字数据库中存储的内容进行处理；其中，对所述视频数据库以及音频数据库进行处理，包括：提取每个视频情报中的音频信息；
将所述音频信息存入音频数据库中；将所述音频数据库中的全部音频信息转换成第一文本信息，所述全部音频信息包括每个音频情报和从所述每个视频情报中提取的音频信息，所述第一文本信息包括所述每个音频情报转换成的文本信息以及所述每个视频情报中提取的音频信号转换成的文本信息；将所述第一文本信息存入标准情报文书库中；
所述对所述视频数据库、音频数据库、图片数据库和文字数据库中存储的内容进行处理，还包括：检测每个视频情报中的所有转场时刻，所述转场时刻为视频画面中信息发生变化的时刻；截取每个转场时刻前后的两幅画面信息；将所述截取到的两幅画面信息存入图片数据库中；对所述图片数据库中的全部图片情报以及所述画面信息进行文字识别并生成第二文本信息，所述第二文本信息包括对所述全部图片情报识别成的文本信息以及对所述画面信息识别成的文本信息；将所述第二文本信息存入标准情报文书库中；将文字数据库中的每个文字情报转换成文字信息；将所述文字信息存入标准情报文书库中；
基于所述处理结果生成标准情报信息库，所述标准情报信息库中包括处理好的情报信息；
将处理好的情报信息输入至训练好的LSTM网络模型中进行处理，并输出所述处理好的情报信息对应的向量序列，所述情报信息包括搜集到的视频情报、音频情报、图片情报和文字情报中的至少一项；
将所述向量序列输入至训练好的CRF网络模型中进行标注，并输出所述向量序列对应的标注序列，所述标注序列为标注好词性的情报词组；
对所述每个音频情报、所述每个音频情报提取出的第一文本信息以及与所述每个音频情报对应的第一文本信息对应的标注序列中的词组进行相同标注，所述每个音频情报对应的第一文本信息为对所述每个音频情报转换成的文本信息；
对所述每个视频情报以及所述每个视频情报中提取出的音频信息、与所述音频信息对应的第一文本信息、与第一文本信息对应的标注序列中的词组进行相同标注，所述音频信息对应的第一文本信息为所述每个视频情报中提取的音频信号转换成的文本信息；
对所述每个视频情报以及所述每个视频情报中提取出的画面信息、与所述画面信息对应的第二文本信息以及与第二文本信息对应的标注序列中的词组进行相同标注，所述画面信息对应的第二文本信息为对所述画面信息识别成的文本信息；
对所述每个图片情报、所述每个图片情报对应的第二文本信息以及所述每个图片情报对应的第二文本信息对应的标注序列中的词组进行相同标注，所述每个图片情报对应的第二文本信息为对所述全部图片情报识别成的文本信息；
对所述每个文字情报、所述每个文字情报中提取出的文字信息以及所述文字信息对应的标注序列中的词组进行相同标注。
2.根据权利要求1所述的一种基于非结构化情报中提取数据的方法，其特征在于，包括：对所述每个视频情报中截取的画面信息进行标注，所述标注为所述画面信息出现在所述视频情报中的时间点。
3.根据权利要求1所述的一种基于非结构化情报中提取数据的方法，其特征在于，所述方法还包括：基于所述向量序列对应的标注序列生成图谱信息，所述图谱信息为所述标注序列中词组之间的关系信息。
4.一种用于实现如权利要求1所述基于非结构化情报中提取数据的方法的基于非结构化情报中提取数据的装置，其特征在于，包括：第一处理模块，用于将处理好的情报信息输入至训练好的LSTM网络模型中进行处理，并输出所述处理好的情报信息对应的向量序列；
第一标注模块，用于将所述向量序列输入至训练好的CRF网络模型中进行标注，并输出所述向量序列对应的标注序列。
5.一种电子设备，其特征在于，其包括：
一个或者多个处理器；
存储器；
一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于：执行根据权利要求1～3任一项所述的一种基于非结构化情报中提取数据的方法。
6.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1～3任一项所述的一种基于非结构化情报中提取数据的方法。 说明书 : 一种基于非结构化情报中提取数据的方法、装置及介质技术领域[0001] 本申请涉及信息提取的领域，尤其是涉及一种基于非结构化情报中提取数据的方法、装置及介质。背景技术[0002] 在军事以及舆情等领域中通常需要搜集情报信息，然后针对搜集到情报信息进行分析，从而作出决策。[0003] 目前在进行情报搜集时，情报信息通常是非结构化的文本、视频、音频以及图片等，传统的人工判读方式，通常对情报分析人员要求较高，一方面情报具有较高的时效性，另一方面单一情报中通常隐藏大量潜在信息，需要比对大量相关信息才能得到，这两方面都需要分析人员具备较高的效率和专业性。[0004] 如何从非结构化的情报中快速提取有用的信息，辅助情报人员快速完成情报自整编和情报潜在价值自动挖掘，是本项发明的重点。发明内容[0005] 为了便于从非结构化的情报中快速提取有用的信息，本申请提供一种基于非结构化情报中提取数据的方法、装置及介质。[0006] 第一方面，本申请提供一种基于非结构化情报中提取数据的方法，采用如下的技术方案：[0007] 一种基于非结构化情报中提取数据的方法，包括：将处理好的情报信息输入至训练好的LSTM网络模型中进行处理，并输出所述处理好的情报信息对应的向量序列，所述情报信息包括搜集到的视频情报、音频情报、图片情报和文字情报中的至少一项；[0008] 将所述向量序列输入至训练好的CRF网络模型中进行标注，并输出所述向量序列对应的标注序列，所述标注序列为标注好词性的情报词组。[0009] 通过采用上述技术方案，处理好的情报信息输入至训练好的LSTM网络模型后，处理好的情报信息在LSTM网络模型中进行处理，LSTM网络模型针对处理好的情报信息输出情报信息中每个字对应各个标签的概率向量阵列，然后再将向量序列输入到CRF网络模型中进行标注，向量序列经过CRF网络模型输出标注序列，标注序列为每个有用的情报信息词组对应的词性，从而便于快速收集视频、音频以及图片等非结构化情报中的有用情报信息。[0010] 在另一种可能实现的方式中，所述将处理好的情报信息输入至训练好的LSTM网络模型中并输出向量序列，之前包括：[0011] 基于搜集到的所有视频情报生成视频数据库；[0012] 基于搜集到的所有音频情报生成音频数据库；[0013] 基于搜集到的所有图片情报生成图片数据库；[0014] 基于搜集到的所有文字情报生成文字数据库；[0015] 对所述视频数据库、音频数据库、图片数据库和文字数据库中存储的内容进行处理；[0016] 基于所述处理结果生成标准情报信息库，所述标准情报信息库中包括处理好的情报信息。[0017] 通过上述技术方案，将搜集到的视频情报、音频情报、图片情报以及文字情报进行分类，并将分类完成的视频情报、音频情报、图片情报以及文字情报存入分别对应的数据库中，从而便于对各类情报信息进行处理。[0018] 在另一种可能实现的方式中，对所述视频数据库以及音频数据库进行处理，包括：[0019] 提取每个视频情报中的音频信息；[0020] 将所述音频信息存入音频数据库中；[0021] 将所述音频数据库中的全部音频信息转换成第一文本信息，所述全部音频信息包括每个音频情报和从所述每个视频情报中提取的音频信息，所述第一文本信息包括所述每个音频情报转换成的文本信息以及所述每个视频情报中提取的音频信号转换成的文本信息；[0022] 将所述第一文本信息存入标准情报文书库中。[0023] 通过采用上述技术方案，视频情报中包括音频和画面，先将视频情报中的音频信息进行提取，然后将提取出来的音频信息存入音频数据库中，和搜集到的音频情报一同转换成第一文本信息，然后将第一文本信息存入标准情报文书库中，通过提取视频情报中的音频信息来进行情报搜集更方便。[0024] 在另一种可能实现的方式中，所述对所述视频数据库、音频数据库、图片数据库和文字数据库中存储的内容进行处理，还包括：[0025] 检测每个视频情报中的所有转场时刻，所述转场时刻为视频画面中信息发生变化的时刻；[0026] 截取每个转场时刻前后的两幅画面信息；[0027] 将所述截取到的两幅画面信息存入图片数据库中；[0028] 对所述图片数据库中的全部图片情报以及所述画面信息进行文字识别并生成第二文本信息，所述第二文本信息包括对所述全部图片情报识别成的文本信息以及对所述画面信息识别成的文本信息；[0029] 将所述第二文本信息存入标准情报文书库中；[0030] 将文字数据库中的每个文字情报转换成文字信息；[0031] 将所述文字信息存入标准情报文书库中。[0032] 通过采用上述技术方案，每个视频情报处理音频信息还包括画面信息，画面信息中通常包含有用情报，当视频中由一个画面切换到另一个画面后，画面中的信息随之发生变化，因此检测视频情报中的所有转场时刻，并且截取转场前后的两幅画面信息，将截取到的两幅画面信息存入图片数据库中，和搜集到的图片情报一同进行文字识别并生成第二文本信息，然后将第二文本信息存入标准情报文书库中。通过截取转场时刻前后的画面信息便于提取视频情报中的情报。将文字数据库中的文字情报存入标准情报文书库中后得到包含全部情报的标准情报文书库。[0033] 在另一种可能实现的方式中，包括：所述将所述向量序列输入至训练好的CRF网络模型中进行标注，并输出所述向量序列对应的标注序列，之后包括：[0034] 对所述每个音频情报、所述每个音频情报提取出的第一文本信息以及与所述每个音频情报对应的第一文本信息对应的标注序列中的词组进行相同标注，所述每个音频情报对应的第一文本信息为对所述每个音频情报转换成的文本信息；[0035] 对所述每个视频情报以及所述每个视频情报中提取出的音频信息、与所述音频信息对应的第一文本信息、与第一文本信息对应的标注序列中的词组进行相同标注，所述音频信息对应的第一文本信息为所述每个视频情报中提取的音频信号转换成的文本信息；[0036] 对所述每个视频情报以及所述每个视频情报中提取出的画面信息、与所述画面信息对应的第二文本信息以及与第二文本信息对应的标注序列中的词组进行相同标注，所述画面信息对应的第二文本信息为对所述画面信息识别成的文本信息；[0037] 对所述每个图片情报、所述每个图片情报对应的第二文本信息以及所述每个图片情报对应的第二文本信息对应的标注序列中的词组进行相同标注，所述每个图片情报对应的第二文本信息为对所述全部图片情报识别成的文本信息；[0038] 对所述每个文字情报、所述每个文字情报中提取出的文字信息以及所述文字信息对应的标注序列中的词组进行相同标注。[0039] 通过采用上述技术方案，通过标注序列中的词组能够定位出该词组最初出现在哪个文档情报、哪个图片情报、哪个音频情报或是哪个视频情报中，从而便于人员能够快速找到初始情报并对初始情报进行分析。[0040] 在另一种可能实现的方式中，包括：对所述视频情报中截取的画面信息进行标注，所述标注为所述画面信息出现在所述视频情报中的时间点。[0041] 通过采用上述技术方案，标注序列中的词组若对应的是视频情报中截取的画面信息，则人员可根据该词组定位到该词组出现在对应视频情报的时间点，从而便于人员对该词组在视频情报中时间点前后的视频内容进行分析。[0042] 在另一种可能实现的方式中，所述方法还包括：[0043] 基于所述向量序列对应的标注序列生成图谱信息，所述图谱信息为所述标注序列中词组之间的关系信息。[0044] 通过采用上述技术方案，电子设备基于标注序列生成图谱信息，从而能够获得更直观的情报关系，进而便于人员查看获取到的情报。[0045] 第二方面，本申请提供一种基于非结构化情报文书中提取数据的装置，采用如下的技术方案：[0046] 一种基于非结构化情报中提取数据的装置，包括：[0047] 第一处理模块，用于将处理好的情报信息输入至训练好的LSTM网络模型中进行处理，并输出所述处理好的情报信息对应的向量序列，所述情报信息包括搜集到的视频情报、音频情报、图片情报和文字情报中的至少一项；[0048] 第一标注模块，用于将所述向量序列输入至训练好的CRF网络模型中进行标注，并输出所述向量序列对应的标注序列，所述标注序列为标注好词性的情报词组。[0049] 通过采用上述技术方案，处理好的情报信息输入至训练好的LSTM网络模型后，第一处理模块对处理好的情报信息在LSTM网络模型中进行处理，LSTM网络模型针对处理好的情报信息输出情报信息中每个字对应各个标签的概率向量阵列，第一标注模块将向量序列输入到CRF网络模型中进行标注，向量序列经过CRF网络模型输出标注序列，标注序列为每个有用的情报信息词组对应的词性，从而便于快速收集视频、音频以及图片等非结构化情报中的有用情报信息。[0050] 在另一种可能的实现方式中，所述装置还包括：[0051] 第一生成模块，用于基于搜集到的所有视频情报生成视频数据库；[0052] 第二生成模块，用于基于搜集到的所有音频情报生成音频数据库；[0053] 第三生成模块，用于基于搜集到的所有图片情报生成图片数据库；[0054] 第四生成模块，用于基于搜集到的所有文字情报生成文字数据库；[0055] 第二处理模块，用于对所述视频数据库、音频数据库、图片数据库和文字数据库中存储的内容进行处理；[0056] 第五生成模块，用于基于所述处理结果生成标准情报信息库，所述标准情报信息库中包括处理好的情报信息。[0057] 在另一种可能的实现方式中，第二处理模块在对所述视频数据库、音频数据库、图片数据库和文字数据库进行处理时，具体用于：[0058] 提取每个视频情报中的音频信息；[0059] 将所述音频信息存入音频数据库中；[0060] 将所述音频数据库中的全部音频信息转换成第一文本信息，所述全部音频信息包括每个音频情报和从所述每个视频情报中提取的音频信息，所述第一文本信息包括所述每个音频情报转换成的文本信息以及所述每个视频情报中提取的音频信号转换成的文本信息；[0061] 将所述第一文本信息存入标准情报文书库中。[0062] 在另一种可能的实现方式中，第二处理模块在对所述视频数据库、音频数据库、图片数据库和文字数据库进行处理时，具体还用于：[0063] 检测每个视频情报中的所有转场时刻，所述转场时刻为视频画面中信息发生变化的时刻；[0064] 截取每个转场时刻前后的两幅画面信息；[0065] 将所述截取到的两幅画面信息存入图片数据库中；[0066] 对所述图片数据库中的全部图片情报以及所述画面信息进行文字识别并生成第二文本信息，所述第二文本信息包括对所述全部图片情报识别成的文本信息以及对所述画面信息识别成的文本信息；[0067] 将所述第二文本信息存入标准情报文书库中；[0068] 将文字数据库中的每个文字情报转换成文字信息；[0069] 将所述文字信息存入标准情报文书库中。[0070] 在另一种可能的实现方式中，所述装置还包括：[0071] 第二标注模块，用于对所述每个音频情报、所述每个音频情报提取出的第一文本信息以及与所述每个音频情报对应的第一文本信息对应的标注序列中的词组进行相同标注，所述每个音频情报对应的第一文本信息为对所述每个音频情报转换成的文本信息；[0072] 第三标注模块，用于对所述每个视频情报以及所述每个视频情报中提取出的音频信息、与所述音频信息对应的第一文本信息、与第一文本信息对应的标注序列中的词组进行相同标注，所述音频信息对应的第一文本信息为所述每个视频情报中提取的音频信号转换成的文本信息；[0073] 第四标注模块，用于对所述每个视频情报以及所述每个视频情报中提取出的画面信息、与所述画面信息对应的第二文本信息以及与第二文本信息对应的标注序列中的词组进行相同标注，所述画面信息对应的第二文本信息为对所述画面信息识别成的文本信息；[0074] 第五标注模块，用于对所述每个图片情报、所述每个图片情报对应的第二文本信息以及所述每个图片情报对应的第二文本信息对应的标注序列中的词组进行相同标注，所述每个图片情报对应的第二文本信息为对所述全部图片情报识别成的文本信息；[0075] 第六标注模块，用于对所述每个文字情报、所述每个文字情报中提取出的文字信息以及所述文字信息对应的标注序列中的词组进行相同标注。[0076] 在另一种可能的实现方式中，所述装置还包括：[0077] 第七标注模块，用于对所述视频情报中截取的画面信息进行标注，所述标注为所述画面信息出现在所述视频情报中的时间点。[0078] 在另一种可能的实现方式中，所述装置还包括：[0079] 第六生成模块，用于基于所述向量序列对应的标注序列生成图谱信息，所述图谱信息为所述标注序列中词组之间的关系信息。[0080] 第三方面，本申请提供一种电子设备，采用如下的技术方案：[0081] 一种电子设备，该电子设备包括：[0082] 一个或多个处理器；[0083] 存储器；[0084] 一个或多个应用程序，其中一个或多个应用程序被存储在存储器中并被配置为由一个或多个处理器执行，一个或多个程序配置用于：执行根据第一方面任一中可能的实现方式所示的一种基于非结构化情报中提取数据的方法。[0085] 第四方面，本申请提供一种计算机可读存储介质，采用如下的技术方案：[0086] 一种计算机可读存储介质，包括：存储有能够被处理器加载并执行实现第一方面任一种可能的实现方式所示的一种基于非结构化情报中提取数据的方法的计算机程序。[0087] 综上所述，本申请包括以下至少一种有益技术效果：[0088] 1.处理好的情报信息输入至训练好的LSTM网络模型后，处理好的情报信息在LSTM网络模型中进行处理，LSTM网络模型针对处理好的情报信息输出情报信息中每个字对应各个标签的概率向量阵列，然后再将向量序列输入到CRF网络模型中进行标注，向量序列经过CRF网络模型输出标注序列，标注序列为每个有用的情报信息词组对应的词性，从而便于快速收集视频、音频以及图片等非结构化情报中的有用情报信息；[0089] 2.每个视频情报处理音频信息还包括画面信息，画面信息中通常包含有用情报，当视频中由一个画面切换到另一个画面后，画面中的信息随之发生变化，因此检测视频情报中的所有转场时刻，并且截取转场前后的两幅画面信息，将截取到的两幅画面信息存入图片数据库中，和搜集到的图片情报一同进行文字识别并生成第二文本信息，然后将第二文本信息存入标准情报文书库中。通过截取转场时刻前后的画面信息便于提取视频情报中的情报。将文字数据库中的文字情报存入标准情报文书库中后得到包含全部情报的标准情报文书库；[0090] 3.视频情报中包括音频和画面，先将视频情报中的音频信息进行提取，然后将提取出来的音频信息存入音频数据库中，和搜集到的音频情报一同转换成第一文本信息，然后将第一文本信息存入标准情报文书库中，通过提取视频情报中的音频信息来进行情报搜集更方便。附图说明[0091] 图1是本申请实施例的一种基于非结构化情报中提取数据的方法的流程示意图。[0092] 图2是本申请实施例中生成图谱信息的示意图。[0093] 图3是本申请实施例的一种基于非结构化情报中提取数据的装置的结构示意图。[0094] 图4是本申请实施例的一种电子设备的结构示意图。具体实施方式[0095] 以下结合附图对本申请作进一步详细说明。[0096] 领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改，但只要在本申请的权利要求范围内都受到专利法的保护。[0097] 为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。[0098] 另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，如无特殊说明，一般表示前后关联对象是一种“或”的关系。[0099] 下面结合说明书附图对本申请实施例作进一步详细描述。[0100] 本申请实施例提供了一种基于非结构化情报中提取数据的方法，由电子设备执行，该电子设备可以为服务器也可以为终端设备，其中，该服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云计算服务的云服务器。终端设备可以是智能手机、平板电脑、笔记本电脑、台式计算机等，但并不局限于此，该终端设备以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请实施例在此不做限制，如图1所示，该方法包括步骤S101以及步骤S102，其中，[0101] S101，将处理好的情报信息输入至训练好的LSTM网络模型中进行处理，并输出处理好的情报信息对应的向量序列，情报信息包括搜集到的视频情报、音频情报、图片情报和文字情报中的至少一项。[0102] 对于本申请实施例，先将人工标注好的语料库作为训练样本输入至LSTM网络模型中，语料库中包括带有标签的各种词组，例如“XXX”以及“YYY”“ZZZ”等为“地点名词”；“AA”、“BB”和“CC”等为“职位名词”；“张某某”和“李某某”等为“人称名词”；“部署”、“驻扎”和“购买”等为“行动词”；“某战斗机”和“某舰艇”等为“武器名词”。将处理好的情报信息输入至训练好的LSTM网络模型后得到每个字分别对应的各个标签的得分矩阵。例如，将“XXX在YYY部署某战斗机”输入至训练好的LSTM网络模型后得到每个字对应各个标签的得分。“XXX”属于标签“地点名词”的得分为0.8，“XXX”属于标签“职位名词”的得分是0.2，“XXX”属于标签“人称名词”的得分是0.3，以此类推形成每个字的对应各个标签的得分矩阵。[0103] S102，将向量序列输入至训练好的CRF网络模型中进行标注，并输出向量序列对应的标注序列，标注序列为标注好词性的情报词组。[0104] 具体的，将概率输入预测公式，求解预测公式的最大值，通过CRF网络模型计算出得分最高的标注序列，进而得到各个情报信息词组的标注。[0105] LSTM网络模型能够很好地结合上下文的特征，并且经由CRF网络模型有效地考虑了句子前后的词组的标签信息。通过LSTM网络模型以及CRF网络模型从非结构化的情报信息中提取有用的情报更加高效快捷，将本方法运用到军事领域，从而便于从海量复杂的非机构化情报信息中提取出关键情报信息，以此便于军事人员掌握态势发展以及作出决策。[0106] 本申请实施例的一种可能的实现方式，步骤S101，之前包括步骤S103（图中未示出）、步骤S104（图中未示出）、步骤S105（图中未示出）、步骤S106（图中未示出）、步骤S107（图中未示出）以及步骤S108（图中未示出），对步骤S103、步骤S104、步骤S105以及步骤S106的执行顺序不做限定，其中，[0107] S103，基于搜集到的所有视频情报生成视频数据库。[0108] 对于本申请实施例，电子设备对搜集到的视频情报进行分类时，可以通过检测视频情报文件的格式来进行分类，例如，电子设备可以先提取出每个视频情报文件的名称，检测视频情报文件名称中的后缀信息，将后缀信息同属视频格式（如AVI、WMV以及MP4等）的视频情报文件归属到同一类，并针对所有视频情报文件建立生成视频数据库，将所有视频情报文件存入视频数据库中。[0109] S104，基于搜集到的所有音频情报生成音频数据库。[0110] 对于本申请实施例，电子设备对搜集到的音频情报进行分类时，可以通过检测音频情报文件的格式来进行分类，例如，电子设备可以先提取出每个音频情报文件的名称，检测音频情报文件名称中的后缀信息，将后缀信息同属音频格式（如MP3、WAV以及FLAC等）的音频情报文件归属到同一类，并针对所有音频情报文件建立生成音频数据库，将所有音频情报文件存入音频数据库中。[0111] S105，基于搜集到的所有图片情报生成图片数据库。[0112] 对于本申请实施例，电子设备对搜集到的图片情报进行分类时，可以通过检测图片情报文件的格式来进行分类，例如，电子设备可以先提取出每个图片情报文件的名称，检测图片情报文件名称中的后缀信息，将后缀信息同属图片格式（如JPEG、RAW、BMP、GIF以及PNG等）的图片情报文件归属到同一类，并针对所有图片情报文件建立生成图片数据库，将所有图片情报文件存入图片数据库中。[0113] S106，基于搜集到的所有文字情报生成文字数据库。[0114] 对于本申请实施例，电子设备对搜集到的文字情报进行分类时，可以通过检测文字情报文件的格式来进行分类，例如，电子设备可以先提取出每个文字情报文件的名称，检测文字情报文件名称中的后缀信息，将后缀信息同属文字格式（如TXT以及DOC等）的文字情报文件归属到同一类，并针对所有文字情报文件建立生成文字数据库，将所有文字情报文件存入文字数据库中。[0115] S107，对视频数据库、音频数据库、图片数据库和文字数据库中存储的内容进行处理。[0116] 对于本申请实施例，将搜集到的所有情报文件进行分类后，再对视频数据库、音频数据库、图片数据库以及文字数据库中的情报进行处理更加方便。例如将视频数据库、音频数据库、图片数据库以及文字数据库中的情报信息转换全部转换成文字形式。[0117] S108，基于处理结果生成标准情报信息库，标准情报信息库中包括处理好的情报信息。[0118] 对于本申请实施例，将视频数据库、音频数据库、图片数据库以及文字数据库经过处理后的情报信息存入标准情报信息库中，然后将标准情报信息库输入至LSTM网络模型中进行处理更方便。[0119] 本申请实施例的一种可能的实现方式，步骤S107在对视频数据库以及音频数据库进行处理时，包括步骤S1071（图中未示出）、步骤S1072（图中未示出）、步骤S1073（图中未示出）以及步骤S1074（图中未示出），其中，[0120] S1071，提取每个视频情报中的音频信息。[0121] 对于本申请实施例，视频情报文件通常由画面和音频组成，因此在对视频数据库中的视频情报进行处理时，先将视频情报中的视频情报文件中的音频信息提取出来。例如，一段视频情报文件的音频信息中包括对某一公司的简介，而画面中并没有关于该公司简介的字幕，因此将该视频情报文件中的音频信息提取出来便于更好地获取情报。[0122] S1072，将音频信息存入音频数据库中。[0123] 对于本申请实施例，将视频情报文件中的音频信息提取出来后生成音频格式文件，然后将音频格式文件存入音频数据库中。将所有视频情报文件中的音频信息提取出并存入音频数据库中后，电子设备便于对所有音频情报以及从视频情报中提取出的音频信息进行处理分析。[0124] S1073，将音频数据库中的全部音频信息转换成第一文本信息，全部音频信息包括每个音频情报和从每个视频情报中提取的音频信息，第一文本信息包括每个音频情报转换成的文本信息以及每个视频情报中提取的音频信号转换成的文本信息。[0125] 对于本申请实施例，可提前使用语料库训练能够完成音频转文字的神经网络，训练好音频转文字的神经网络后，将音频数据库中的全部音频情报文件以及视频情报文件中提取出的音频信息输入至训练好的音频转文字的神经网络中，并输出第一文本信息，第一文本信息包括音频数据库中全部音频文件中包含的情报信息。例如，音频数据库中包括一个音频文件，该音频文件包含的情报为一段采访某公司人员的录音，将该音频文件转换成第一文本信息后，该音频文件中的内容以文字的形式体现出来，该音频文件对应的第一文本信息可以是“XXX的AA宣布向ZZZ驻军”。[0126] S1074，将第一文本信息存入标准情报文书库中。[0127] 对于本申请实施例，将音频数据库中的全部音频文件转换成第一文本信息后，将第一文本信息存入标准情报文书库中，以步骤S1073中的举例为例，将上述第一文本信息“XXX的AA宣布向ZZZ驻军”存入标准情报文书库中。从而构成标准情报文书库的一部分。[0128] 本申请实施例的一种可能的实现方式，步骤S107在对视频数据库、图片数据库和文字数据库中存储的内容进行处理时，还包括步骤S1075（图中未示出）、步骤S1076（图中未示出）、步骤S1077（图中未示出）、步骤S1078（图中未示出）、步骤S1079（图中未示出）、步骤S1080（图中未示出）以及步骤S1081（图中未示出），其中，[0129] S1075，检测每个视频情报中的所有转场时刻，转场时刻为视频画面中信息发生变化的时刻。[0130] 其中，视频情报的画面中通常同样含有情报信息，因此还需对视频情报的画面中的情报信息进行提取，视频画面中的情报随着画面的变化而发生变化，画面变化前后所包含的情报通常也是不同的。[0131] 对于本申请实施例，电子设备检测视频情报中的所有画面的转场时刻，转场时刻的检测可通过图像处理进行，电子设备对视频画面进行分割，例如将视频画面分隔成3X3的网格区域，分别对每个网格中的色彩进行监测，当某一个或多个网格中的色彩在某一时刻发生较大变化时，则可以判定在该时刻发生画面的转场。再对视频画面进行分割时，将视频画面分割得区域越多，则检测转场时刻更准确。对于时间较长的视频，电子设备还可以进行倍速播放，从而提高转场时刻的检测效率。[0132] S1076，截取每个转场时刻前后的两幅画面信息。[0133] 对于本申请实施例，转场时刻前后的两幅画面通常表示不同的情报信息，因此检测到转场时刻后，分别截取转场时刻前后的两幅画面信息。例如某一转场时刻前画面中出现某地点名称为“XXX”，某一转场时刻后画面中出现“AA”。因此截取转场前后的两幅画面信息更便于提取视频情报中的情报信息。[0134] S1077，将截取到的两幅画面信息存入图片数据库中。[0135] 对于本申请实施例，电子设备截取转场时刻前后的两幅画面信息，并将基于两幅画面信息生成图片格式文件，然后将两幅画面信息对应的图片格式文件存入图片数据库中。便于电子设备一同对搜集到的图片情报以及截取到的视频情报画面信息一同进行分析处理。[0136] S1078，对图片数据库中的全部图片情报以及画面信息进行文字识别并生成第二文本信息，第二文本信息包括对全部图片情报识别成的文本信息以及对画面信息识别成的文本信息。[0137] 对于本申请实施例，例如可利用OCR（opticalcharacterrecognition）文字识别技术对图片中的文字信息进行文字识别。以步骤S1077为例，利用OCR文字识别技术将步骤S1077中的两幅画面信息中的文字识别出来，上述两幅画面信息对应的第二文本信息为“XXX”和“AA”。利用OCR文字识别技术对图片数据库中搜集到的图片情报同样进行文字识别，从而生成图片情报对应的第二文本信息。[0138] S1079，将第二文本信息存入标准情报文书库中。[0139] 对于本申请实施例，对图片数据库中搜集到的图片情报以及截取的视频情报中的画面信息进行文字识别后，将生成的第二文本信息存入标准情报文书库中，第二文本信息构成标准情报文书库的一部分。[0140] S1080，将文字数据库中的每个文字情报转换成文字信息。[0141] 对于本申请实施例，例如文字数据库中的文字情报为文档等格式，电子设备将文字数据库中的所有文字情报文件打开并将文档中的内容转换成文字信息。[0142] S1081，将文字信息存入标准情报文书库中。[0143] 对于本申请实施例，转换好的文字信息存入标准情报文书库中，进而成为标准情报文书库的一部分。至此，第一文本信息、第二文本信息以及文字情报文件中的所有文字信息构成整个标准情报文书库。[0144] 本申请实施例的一种可能的实现方式，步骤S102之后还包括步骤S109（图中未示出）、步骤S110（图中未示出）、步骤S111（图中未示出）、步骤S112（图中未示出）以及步骤S113（图中未示出）；步骤S109、步骤S110、步骤S111、步骤S112以及步骤S113可以同时执行也可以以其他顺序执行，在此不做限定，其中，[0145] S109，对每个音频情报、每个音频情报提取出的第一文本信息以及与每个音频情报对应的第一文本信息对应的标注序列中的词组进行相同标注，每个音频情报对应的第一文本信息为对每个音频情报转换成的文本信息。[0146] 对于本申请实施例，例如，对某一音频情报文件标注“音频A”，某一音频情报文件中提取出了“XXX向YYY驻军”，对“XXX向YYY驻军”同样标注为“音频A”。“XXX向YYY驻军”经过LSTM网络模型以及CRF网络模型进行处理后得到“XXX”、“YYY”和“驻军”三个词组，对“XXX”、“YYY”和“驻军”均标注为“音频A”。[0147] 电子设备通过对上述信息进行相同标注，人员通过CRF网络模型输出的词组能够定位出该词组最初出现在哪个音频情报中，方便对词组进行溯源，从而便于人员对该词组最初出现的音频情报进行研究。[0148] S110，对每个视频情报以及每个视频情报中提取出的音频信息、与音频信息对应的第一文本信息、与第一文本信息对应的标注序列中的词组进行相同标注，音频信息对应的第一文本信息为每个视频情报中提取的音频信号转换成的文本信息。[0149] 对于本申请实施例，例如，对某一视频提取出的音频信息均标注为“视频A”，假设该视频提取出的音频信息中包含“XXX购买YYY的某战机”，对“XXX购买YYY的某战机”同样标注为“视频A”。“XXX购买YYY的某战机”经过LSTM网络模型以及CRF网络模型进行处理后得到“XXX”、“YYY”、“购买”以及“某战机”四个词组，对“XXX”、“YYY”、“购买”以及“某战机”均标注为“视频A”。[0150] 电子设备通过对上述信息进行相同标注，人员通过CRF网络模型输出的词组能够定位出该词组最初出现在哪个视频情报的音频中，从而方便对词组进行溯源，进而便于人员对该词组最初出现的视频情报进行研究。[0151] S111，对每个视频情报以及每个视频情报中提取出的画面信息、与画面信息对应的第二文本信息以及与第二文本信息对应的标注序列中的词组进行相同标注，画面信息对应的第二文本信息为对画面信息识别成的文本信息。[0152] 对于本申请实施例，以步骤S110为例，对上述视频提取出的画面信息均标注为“视频A”，对上述画面信息提取出的第二文本信息均标注为“视频A”，假设从上述画面信息中提取出“XXX将某战机部署在WWW”的第二文本信息，将“XXX将某战机部署在WWW”均标注为“视频A”。“XXX将Z战机部署在WWW”经过LSTM网络模型以及CRF网络模型进行处理后得到“XXX”、“某战机”、“部署”以及“WWW”四个词组，对“XXX”、“某战机”、“部署”以及“WWW”均标注为“视频A”。[0153] 电子设备通过对上述信息进行相同标注，人员通过CRF网络模型输出的词组能够定位出该词组最初出现在哪个视频情报的画面信息中，从而方便对词组进行溯源，进而便于人员对该词组最初出现的视频情报进行研究。[0154] S112，对每个图片情报、每个图片情报对应的第二文本信息以及每个图片情报对应的第二文本信息对应的标注序列中的词组进行相同标注，每个图片情报对应的第二文本信息为对全部图片情报识别成的文本信息。[0155] 对于本申请实施例，对图片数据库中的每个图片进行标注，例如对某个图片标注为“图片A”，该图片提取出的第二文本信息为“XXX与YYY达成某协议”，对“XXX与YYY达成某协议”同样标注为“图片A”。“XXX与YYY达成某协议”经过LSTM网络模型以及CRF网络模型进行处理后得到“XXX”、“YYY”、“达成”以及“某协议”四个词组，对“XXX”、“YYY”、“达成”以及“某协议”均标注为“图片A”。[0156] 电子设备通过对上述信息进行相同标注，人员通过CRF网络模型输出的词组能够定位出该词组最初出现在哪个图片情报中，从而方便对词组进行溯源，进而便于人员对该词组最初出现的图片情报进行研究。[0157] S113，对每个文字情报、每个文字情报中提取出的文字信息以及文字信息对应的标注序列中的词组进行相同标注。[0158] 对于本申请实施例，对文字数据库中的每个文档进行标注，例如对一个文档标注为“文档A”，对该文档中的文字信息同样标注为“文档A”，假设该文档中的文字信息为“XXX在某年的军费为N元”，对“XXX在某年的军费为N元”同样标注为“文档A”。“XXX在某年的军费为N元”经过LSTM网络模型以及CRF网络模型进行处理后得到“XXX”、“某年”、“军费”以及“N元”四个词组，对“XXX”、“某年”、“军费”以及“N元”四个词组均标注为“文档A”。[0159] 电子设备通过对上述信息进行相同标注，人员通过CRF网络模型输出的词组能够定位出该词组最初出现在哪个文字情报中，从而方便对词组进行溯源，进而便于人员对该词组最初出现的文字情报进行研究。[0160] 本申请实施例的一种可能的实现方式，还包括步骤S113（图中未示出），步骤S113可以在步骤S1076之后执行也可以与步骤S1076同时执行，其中，[0161] S113，对视频情报中截取的画面信息进行标注，标注为画面信息出现在视频情报中的时间点。[0162] 对于本申请实施例，例如检测到某一视频的转场时刻后，截取转场前后的两幅画面信息，例如转场前的画面信息出现在视频的一分十秒处，转场后的画面信息出现在视频的一分十一秒处，将一分十秒标注到转场时刻前的画面信息，将一分十一秒标注到转场时刻后的画面信息。[0163] 通过CRF网络模型输出的词组若出现在某视频情报的某一画面信息中，则将视频情报定位到该画面信息出现的时长处，从而便于人员对该词组对应的视频情报进行研究。[0164] 本申请实施例的一种可能的实现方式，步骤S102之后还包括步骤S114（图中未示出），其中，[0165] S114，基于向量序列对应的标注序列生成图谱信息，图谱信息为标注序列中词组之间的关系信息。[0166] 对于本申请实施例，参照图2，CRF网络模型在输出标注序列后，标注序列中的信息不能够直观地显示，电子设备基于标注序列生成各个情报信息词组对应的关系图谱，如“XXX”、“YYY”、“签订”、“某协议”、“售卖”、“某战机”、“部署”以及“MMM”等情报信息。电子设备基于上述情报信息生成如附图2所示的图谱信息。[0167] 上述实施例从方法流程的角度介绍一种基于非结构化情报中提取数据的方法，下述实施例从虚拟模块或者虚拟单元的角度介绍了一种基于非结构化情报中提取数据的装置20，具体详见下述实施例。[0168] 本申请实施例提供一种基于非结构化情报中提取数据的装置20，如图2所示，该基于非结构化情报中提取数据的装置20具体可以包括：[0169] 第一处理模块201，用于将处理好的情报信息输入至训练好的LSTM网络模型中进行处理，并输出处理好的情报信息对应的向量序列，情报信息包括搜集到的视频情报、音频情报、图片情报和文字情报中的至少一项；[0170] 第一标注模块202，用于将向量序列输入至训练好的CRF网络模型中进行标注，并输出向量序列对应的标注序列，标注序列为标注好词性的情报词组。[0171] 对于本申请实施例，处理好的情报信息输入至训练好的LSTM网络模型后，第一处理模块201对处理好的情报信息在LSTM网络模型中进行处理，LSTM网络模型针对处理好的情报信息输出情报信息中每个字对应各个标签的概率向量阵列，第一标注模块202将向量序列输入到CRF网络模型中进行标注，向量序列经过CRF网络模型输出标注序列，标注序列为每个有用的情报信息词组对应的词性，从而便于快速收集视频、音频以及图片等非结构化情报中的有用情报信息。[0172] 本申请实施例的一种可能的实现方式，装置20还包括：[0173] 第一生成模块，用于基于搜集到的所有视频情报生成视频数据库；[0174] 第二生成模块，用于基于搜集到的所有音频情报生成音频数据库；[0175] 第三生成模块，用于基于搜集到的所有图片情报生成图片数据库；[0176] 第四生成模块，用于基于搜集到的所有文字情报生成文字数据库；[0177] 第二处理模块，用于对视频数据库、音频数据库、图片数据库和文字数据库中存储的内容进行处理；[0178] 第五生成模块，用于基于处理结果生成标准情报信息库，标准情报信息库中包括处理好的情报信息。[0179] 本申请实施例的一种可能的实现方式，第二处理模块在对视频数据库、音频数据库、图片数据库和文字数据库进行处理时，具体用于：[0180] 提取每个视频情报中的音频信息；[0181] 将音频信息存入音频数据库中；[0182] 将音频数据库中的全部音频信息转换成第一文本信息，全部音频信息包括每个音频情报和从每个视频情报中提取的音频信息，第一文本信息包括每个音频情报转换成的文本信息以及每个视频情报中提取的音频信号转换成的文本信息；[0183] 将第一文本信息存入标准情报文书库中。[0184] 本申请实施例的一种可能的实现方式，第二处理模块在对视频数据库、音频数据库、图片数据库和文字数据库进行处理时，具体还用于：[0185] 检测每个视频情报中的所有转场时刻，转场时刻为视频画面中信息发生变化的时刻；[0186] 截取每个转场时刻前后的两幅画面信息；[0187] 将截取到的两幅画面信息存入图片数据库中；[0188] 对图片数据库中的全部图片情报以及画面信息进行文字识别并生成第二文本信息，第二文本信息包括对全部图片情报识别成的文本信息以及对画面信息识别成的文本信息；[0189] 将第二文本信息存入标准情报文书库中；[0190] 将文字数据库中的每个文字情报转换成文字信息；[0191] 将文字信息存入标准情报文书库中。[0192] 本申请实施例的一种可能的实现方式，装置20还包括：[0193] 第二标注模块，用于对每个音频情报、每个音频情报提取出的第一文本信息以及与每个音频情报对应的第一文本信息对应的标注序列中的词组进行相同标注，每个音频情报对应的第一文本信息为对每个音频情报转换成的文本信息；[0194] 第三标注模块，用于对每个视频情报以及每个视频情报中提取出的音频信息、与音频信息对应的第一文本信息、与第一文本信息对应的标注序列中的词组进行相同标注，音频信息对应的第一文本信息为每个视频情报中提取的音频信号转换成的文本信息；[0195] 第四标注模块，用于对每个视频情报以及每个视频情报中提取出的画面信息、与画面信息对应的第二文本信息以及与第二文本信息对应的标注序列中的词组进行相同标注，画面信息对应的第二文本信息为对画面信息识别成的文本信息；[0196] 第五标注模块，用于对每个图片情报、每个图片情报对应的第二文本信息以及每个图片情报对应的第二文本信息对应的标注序列中的词组进行相同标注，每个图片情报对应的第二文本信息为对全部图片情报识别成的文本信息；[0197] 第六标注模块，用于对每个文字情报、每个文字情报中提取出的文字信息以及文字信息对应的标注序列中的词组进行相同标注。[0198] 本申请实施例的一种可能的实现方式，装置20还包括：[0199] 第七标注模块，用于对视频情报中截取的画面信息进行标注，标注为画面信息出现在视频情报中的时间点。[0200] 本申请实施例的一种可能的实现方式，装置20还包括：[0201] 第六生成模块，用于基于向量序列对应的标注序列生成图谱信息，图谱信息为标注序列中词组之间的关系信息。[0202] 对于本申请实施例，第一处理模块201和第二处理模块可以均为相同的处理模块，也可以为不同的处理模块。第一标注模块202、第二标注模块、第三标注模块、第四标注模块、第五标注模块、第六标注模块以及第七标注模块可以均为相同的标注模块，也可以为不同的标注模块，也可以部分为相同的标注模块。第一生成模块、第二生成模块、第三生成模块、第四生成模块、第五生成模块以及第六生成模块可以均为相同的生成模块，也可以为不同的生成模块，也可以部分为相同的生成模块。[0203] 本申请实施例提供了一种基于非结构化情报中提取数据装置，适用于上述方法实施例，在此不在赘述。[0204] 本申请实施例中提供了一种电子设备，如图4所示，图4所示的电子设备30包括：处理器301和存储器303。其中，处理器301和存储器303相连，如通过总线302相连。可选地，电子设备30还可以包括收发器304。需要说明的是，实际应用中收发器304不限于一个，该电子设备30的结构并不构成对本申请实施例的限定。[0205] 处理器301可以是CPU（CentralProcessingUnit，中央处理器），通用处理器，DSP（DigitalSignalProcessor，数据信号处理器），ASIC（ApplicationSpecificIntegratedCircuit，专用集成电路），FPGA（FieldProgrammableGateArray，现场可编程门阵列）或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器301也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。[0206] 总线302可包括一通路，在上述组件之间传送信息。总线302可以是PCI（PeripheralComponentInterconnect，外设部件互连标准）总线或EISA（ExtendedIndustryStandardArchitecture，扩展工业标准结构）总线等。总线302可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。[0207] 存储器303可以是ROM（ReadOnlyMemory，只读存储器）或可存储静态信息和指令的其他类型的静态存储设备，RAM（RandomAccessMemory，随机存取存储器）或者可存储信息和指令的其他类型的动态存储设备，也可以是EEPROM（ElectricallyErasableProgrammableReadOnlyMemory，电可擦可编程只读存储器）、CD‑ROM（CompactDiscReadOnlyMemory，只读光盘）或其他光盘存储、光碟存储（包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等）、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。[0208] 存储器303用于存储执行本申请方案的应用程序代码，并由处理器301来控制执行。处理器301用于执行存储器303中存储的应用程序代码，以实现前述方法实施例所示的内容。[0209] 其中，电子设备包括但不限于：移动电话、笔记本电脑、数字广播接收器、PDA（个人数字助理）、PAD（平板电脑）、PMP（便携式多媒体播放器）、车载终端（例如车载导航终端）等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。还可以为服务器等。图4示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。[0210] 本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，当其在计算机上运行时，使得计算机可以执行前述方法实施例中相应内容。与现有技术相比，本申请实施例中处理好的情报信息输入至训练好的LSTM网络模型后，处理好的情报信息在LSTM网络模型中进行处理，LSTM网络模型针对处理好的情报信息输出情报信息中每个字对应各个标签的概率向量阵列，然后再将向量序列输入到CRF网络模型中进行标注，向量序列经过CRF网络模型输出标注序列，标注序列为每个有用的情报信息词组对应的词性，从而便于快速收集视频、音频以及图片中的情报信息。[0211] 应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。[0212] 以上所述仅是本申请的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

专利地区：北京

专利申请日期：2021-08-14

专利公开日期：2024-06-18

专利公告号：CN114048368B