一种甲骨文计算机辅助考释方法及系统发明专利

专利名称：一种甲骨文计算机辅助考释方法及系统

专利类型：发明专利

专利申请号：CN202210134775.2

专利申请（专利权）人：安阳师范学院
权利人地址：河南省安阳市弦歌大道436号

专利发明（设计）人：发明人:熊晶,刘国英,翟雪,刘永革,刘玉双,韩胜伟,郝涛,高峰,史小松,李邦,陈一宁,赵沛歌

专利摘要：本发明属于甲骨文考释技术领域，具体公开了一种甲骨文计算机辅助考释方法及系统，方法包括以下步骤：S1，利用深度学习模型对甲骨文图像进行特征提取得到图像向量；S2，将释文文本转换成甲骨文的字向量；S3，构建多模态知识图谱，将甲骨文的图像向量与甲骨文的字向量映射到统一的语义空间；S4，构建甲骨文考释事件数据库，动态抽取考释过程的事件日志，自主挖掘发现可用于甲骨文考释的关键点；S5，以统一语义空间的向量相似度计算及关键点为甲骨文考释线索来辅助甲骨文考释。该方案将数据驱动、知识驱动及过程驱动进行融合以辅助甲骨文考释，实现了甲骨文研究的静态思维到动态思维转变，提出了一种全新的甲骨文考释方法。

主权利要求：
1.一种甲骨文计算机辅助考释方法，其特征在于，包括以下步骤：S1，获取现有的甲骨文图像，利用深度学习模型对所述甲骨文图像进行特征提取得到图像向量；
通过深度学习模型自动对甲骨文图像进行特征提取、分类识别后得到图像特征，并在甲骨文大数据基础上，通过向量计算完成甲骨文专家较少干预的浅层任务；
S2，获取现有的甲骨文对应的释文文本，将所述释文文本表示为甲骨文的字向量；
S3，构建多模态知识图谱，将甲骨文的图像向量与甲骨文的字向量映射到统一的语义空间；
S4，构建甲骨文考释事件数据库，动态抽取考释过程的事件日志，自主挖掘发现可用于甲骨文考释的关键点，实现甲骨文考释线索的自动推送；
首先，整理历年来的甲骨文考释数据和考释成果，构建考释事件数据库，关注考释事件的时间节点和考释活动；
然后，实现基于数据库的事件日志提取；
最后，利用过程挖掘方法从日志中提取知识，用于发现、检测和改进考释过程；
S5，以统一语义空间的向量相似度计算及关键点为甲骨文考释线索来辅助甲骨文考释。
2.如权利要求1所述的甲骨文计算机辅助考释方法，其特征在于，所述S3具体包括：甲骨文图像特征和文本特征融合嵌入后，通过计算向量相似度得到相关甲骨文知识关联。
3.如权利要求2所述的甲骨文计算机辅助考释方法，其特征在于，所述向量相似度的计算公式为：其中，I为图像向量，T为文本向量。
4.如权利要求1所述的甲骨文计算机辅助考释方法，其特征在于，所述S4中的事件日志抽取方法为基于本体的数据访问技术(ontology‑baseddataaccess，OBDA)。
5.如权利要求1所述的甲骨文计算机辅助考释方法，其特征在于，所述S4中的“自主挖掘发现可用于甲骨文考释的关键点”具体包括：获取事件日志后，将其表示成符合IEEEXES标准的格式，利用ProM工具进行挖掘。
6.一种甲骨文计算机辅助考释系统，其特征在于，包括：数据驱动模块，用于获取现有的甲骨文图像，利用深度学习模型对所述甲骨文图像进行特征提取得到图像向量；通过深度学习模型自动对甲骨文图像进行特征提取、分类识别后得到图像特征，并在甲骨文大数据基础上，通过向量计算完成甲骨文专家较少干预的浅层任务；
以及，获取现有的甲骨文对应的释文文本，将所述释文文本表示成甲骨文的字向量；
知识驱动模块，构建多模态知识图谱，将甲骨文的图像向量与甲骨文的字向量映射到统一的语义空间；
首先，整理历年来的甲骨文考释数据和考释成果，构建考释事件数据库，关注考释事件的时间节点和考释活动；
然后，实现基于数据库的事件日志提取；
最后，利用过程挖掘方法从日志中提取知识，用于发现、检测和改进考释过程；
过程驱动模块，用于构建甲骨文考释事件数据库，动态抽取考释过程的事件日志，自主挖掘发现可用于甲骨文考释的关键点，实现甲骨文考释线索的自动推送。 说明书 : 一种甲骨文计算机辅助考释方法及系统技术领域[0001] 本发明属于甲骨文考释技术领域，特别是关于一种甲骨文计算机辅助考释方法及系统。背景技术[0002] 目前，随着人工智能及深度学习等技术的引入，使得甲骨文信息处理的研究有了较大进展，并取得了一系列的成果。但是这些方法在甲骨文考释研究方面尚未体现出明显的优势，因为甲骨文考释是一项高度复杂的知识推理任务，也是目前单靠感知智能无法完成的任务之一，必须有认知智能的介入。虽然我们已经积累了大量的甲骨文基础数据，但目前大多数的人工智能和深度学习技术过多依赖大数据而缺乏领域背景知识的支持，因此单靠这些方法尚不能解决甲骨文考释面临的种种问题。[0003] 经过分析，现有的甲骨文信息处理研究方法存在3个关键问题：一是甲骨文考释对领域背景知识的依赖性强，仅仅依赖基础研究数据是不够的；二是将甲骨文图像和甲骨文文本割裂开来进行研究，这与甲骨文专家的考释对象不一致，因为专家考释时总是综合多种甲骨文资料，相互对照和印证；三是从静态的角度进行考释研究，这与甲骨文专家的考释活动不一致，因为实际的考释是一个动态过程。[0004] 公开于该背景技术部分的信息仅仅旨在增加对本发明的总体背景的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域一般技术人员所公知的现有技术。发明内容[0005] 本发明的目的在于提供一种甲骨文计算机辅助考释方法及系统，其能够突破甲骨文考释面临的瓶颈问题。[0006] 本发明提供了一种甲骨文计算机辅助考释方法，包括以下步骤：[0007] S1，获取现有的甲骨文图像，利用深度学习模型对所述甲骨文图像进行特征提取得到图像向量；[0008] S2，获取现有的甲骨文对应的释文文本，将所述释文文本表示为甲骨文的字向量；[0009] S3，构建多模态知识图谱，将甲骨文的图像向量与甲骨文的字向量映射到统一的语义空间；[0010] S4，构建甲骨文考释事件数据库，动态抽取考释过程的事件日志，自主挖掘发现可用于甲骨文考释的关键点，实现甲骨文考释线索的自动推送；[0011] S5，以统一语义空间的向量相似度计算及关键点为甲骨文考释线索来辅助甲骨文考释。[0012] 优选地，所述S1具体包括：通过深度学习模型自动对甲骨文图像进行特征提取、分类识别后得到图像特征，并在甲骨文大数据基础上，通过向量计算完成甲骨文专家较少干预的浅层任务。[0013] 优选地，所述S3具体包括：甲骨文图像特征和文本特征融合嵌入后，通过计算向量相似度得到相关甲骨文知识关联。[0014] 优选地，所述向量相似度的计算公式为：[0015][0016] 其中，I为图像向量，T为文本向量。[0017] 优选地，所述S4具体包括：[0018] 首先，整理历年来的甲骨文考释数据和考释成果，构建考释事件数据库，关注考释事件的时间节点和考释活动；[0019] 然后，实现基于数据库的事件日志提取；[0020] 最后，利用过程挖掘方法从日志中提取知识，用于发现、检测和改进考释过程。[0021] 优选地，所述S4中的事件日志抽取方法为基于本体的数据访问技术(ontology‑baseddataaccess，OBDA)。[0022] 优选地，所述S4中的“自主挖掘发现可用于甲骨文考释的关键点”具体包括：获取事件日志后，将其表示成符合IEEEXES标准的格式，利用ProM工具进行挖掘。[0023] 本发明还提供了一种甲骨文计算机辅助考释系统，包括：[0024] 数据驱动模块，用于获取现有的甲骨文图像，利用深度学习模型对所述甲骨文图像进行特征提取得到图像向量；[0025] 以及，获取现有的甲骨文对应的释文文本，将所述释文文本表示成甲骨文的字向量；[0026] 知识驱动模块，构建多模态知识图谱，将甲骨文的图像向量与甲骨文的字向量映射到统一的语义空间；[0027] 过程驱动模块，用于构建甲骨文考释事件数据库，动态抽取考释过程的事件日志，自主挖掘发现可用于甲骨文考释的关键点，实现甲骨文考释线索的自动推送。[0028] 与现有技术相比，根据本发明的甲骨文计算机辅助考释方法及系统，方法包括以下步骤：S1，利用深度学习模型对甲骨文图像进行特征提取得到图像向量；S2，将释文文本转换成甲骨文的字向量；S3，构建多模态知识图谱，将甲骨文的图像向量与甲骨文的字向量映射到统一的语义空间；S4，构建甲骨文考释事件数据库，动态抽取考释过程的事件日志，自主挖掘发现可用于甲骨文考释的关键点；S5，以统一语义空间的向量相似度计算及关键点为甲骨文考释线索来辅助甲骨文考释。该方案将数据驱动、知识驱动及过程驱动进行融合以辅助甲骨文考释，实现了甲骨文研究的静态思维到动态思维的转变，提出了一种全新的甲骨文考释方法。该方案将数据驱动、知识驱动及过程驱动进行融合以辅助甲骨文考释，使得传统的甲骨文研究实现两大转变：“从感知智能到认知智能”、“从静态思维到动态思维”，提升了甲骨文考释效率和准确率。附图说明[0029] 图1是根据本发明甲骨文计算机辅助考释方法的流程示意图；[0030] 图2是根据本发明的融合“数据驱动+知识驱动+过程驱动”的甲骨文考释方法；[0031] 图3是根据本发明的甲骨文图像特征和文本特征的融合嵌入示意图；[0032] 图4是根据本发明的基于OBDA的日志提取示意图；[0033] 图5是根据本发明可能的电子设备的硬件结构示意图；[0034] 图6为本发明提供的一种可能的计算机可读存储介质的硬件结构示意图。具体实施方式[0035] 下面结合附图，对本发明的具体实施方式进行详细描述，但应当理解本发明的保护范围并不受具体实施方式的限制。[0036] 除非另有其它明确表示，否则在整个说明书和权利要求书中，术语“包括”或其变换如“包含”或“包括有”等等将被理解为包括所陈述的元件或组成部分，而并未排除其它元件或其它组成部分。[0037] 如图1至图4所示，根据本发明优选实施方式的[0038] S1，获取现有的甲骨文图像，利用深度学习模型对所述甲骨文图像进行特征提取得到图像向量；数据驱动是指利用深度学习可以自动抽取特征并进行特征学习的优点，在甲骨文大数据基础上，通过向量计算完成甲骨文专家较少干预的浅层任务。[0039] S2，获取现有的甲骨文对应的释文文本，将所述释文文本转换成甲骨文的字向量。[0040] S3，构建多模态知识图谱，将甲骨文的图像向量与甲骨文的字向量映射到统一的语义空间。此步为知识驱动，知识驱动是指通过构建多模态知识图谱，为甲骨文考释提供领域知识背景并基于其知识推理的优势，完成甲骨文专家较多干预的深层任务；这里的多模态知识图谱综合了甲骨文的图像数据和文本数据，为后续甲骨文图像特征和文本特征融合嵌入奠定了基础。[0041] S4，构建甲骨文考释事件数据库，动态抽取考释过程的事件日志，自主挖掘发现可用于甲骨文考释的关键点，实现甲骨文考释线索的自动推送。此步为过程驱动。过程驱动是指通过构建甲骨文考释事件数据库，动态挖掘考释过程的事件日志，自主挖掘发现可用于甲骨文考释的关键节点，实现甲骨文考释线索的自动推送。[0042] S5，以统一的语义空间及关键点为甲骨文考释线索来辅助甲骨文考释。[0043] 利用甲骨文图像特征和文本特征融合嵌入后，通过计算向量相似度得到的统一语义空间即相关甲骨文知识点，以及利用过程挖掘得到的甲骨文考释关键知识点。甲骨文专家可以在这些线索的启迪下进行针对性的考释，缩小考释范围，从而实现计算机辅助专家进行甲骨文考释的目的。[0044] 该方案将数据驱动、知识驱动及过程驱动进行融合以辅助甲骨文考释，实现了甲骨文研究的静态思维到动态思维转变，提升了甲骨文考释效率和准确率。[0045] 其中，S3中的融合嵌入，是指针对甲骨文图像数据和文本数据分别采用不同的深度学习框架，实现其向量化表示，并将图像向量和文本向量映射到同一个向量空间得到统一语义空间。一旦图像向量和字符向量处于统一的语义空间，则可以通过计算向量之间的距离来完成甲骨文信息处理的研究任务。因此采用某种相似度计算方法如余弦相似度来计算图像向量和字符向量之间的距离。具体计算公式如下：[0046][0047] 其中，I为图像向量，T为文本向量。[0048] 优选的方案，针对自动推送具体包括：首先，需要整理历年来的甲骨文考释数据和考释成果，构建考释事件数据库，关注考释事件的时间节点和考释活动；接着实现基于数据库的事件日志提取；再利用过程挖掘方法从日志中提取知识，用于发现、检测和改进考释过程。[0049] 优选的方案，针对事件日志的抽取，采用比较成熟的Ontology‑BasedDataAccess(OBDA)方法进行处理，如图4所示的流程。这是OBDA技术首次在甲骨文研究领域的应用。基于本体的数据访问技术(ontology‑baseddataaccess，OBDA)可以在抽象的概念级别上标注和查询数据，而不用关心底层的数据库细节，从而实现虚拟知识图谱技术。[0050] 优选的方案，针对过程挖掘方法，通过基于IEEE的XES标准，利用ProM工具进行实现，这是商业智能挖掘方法首次在甲骨文研究领域的应用。[0051] 利用甲骨文图像特征和文本特征融合嵌入后，通过计算向量相似度得到的统一语义空间即相关甲骨文知识点，以及利用过程挖掘得到的甲骨文考释关键知识点。甲骨文专家可以在这些线索的启迪下进行针对性的考释，缩小考释范围，从而实现计算机辅助专家进行甲骨文考释的目的。[0052] 本申请提出了“融合‘数据驱动+知识驱动+过程驱动’的甲骨文计算机辅助考释方法”，以期在甲骨文辅助考释研究上取得突破进展。将推进新时代甲骨文研究从“感知智能到认知智能”和“静态思维到动态思维”的转变。[0053] 本发明还提供了一种甲骨文计算机辅助考释系统，包括：[0054] 数据驱动模块，用于获取现有的甲骨文图像，利用深度学习模型对所述甲骨文图像进行特征提取得到图像向量；[0055] 以及，获取现有的甲骨文对应的释文文本，将所述释文文本转换成甲骨文的字向量；[0056] 知识驱动模块，构建多模态知识图谱，将甲骨文的图像向量与甲骨文的字向量映射到统一的语义空间；[0057] 过程驱动模块，用于构建甲骨文考释事件数据库，动态抽取考释过程的事件日志，自主挖掘发现可用于甲骨文考释的关键点，实现甲骨文考释线索的自动推送。[0058] 请参阅图5为本发明实施例提供的电子设备的实施例示意图。如图5所示，本发明实施例提了一种电子设备，包括存储器1310、处理器1320及存储在存储器1310上并可在处理器1320上运行的计算机程序1311，处理器1320执行计算机程序1311时实现以下步骤：S1，获取现有的甲骨文图像，利用深度学习模型对所述甲骨文图像进行特征提取得到图像向量；[0059] S2，获取现有的甲骨文对应的释文文本，将所述释文文本转换成甲骨文的字向量；[0060] S3，构建多模态知识图谱，将甲骨文的图像向量与甲骨文的字向量映射到统一的语义空间；[0061] S4，构建甲骨文考释事件数据库，动态抽取考释过程的事件日志，自主挖掘发现可用于甲骨文考释的关键点，实现甲骨文考释线索的自动推送；[0062] S5，以统一语义空间的向量相似度及关键点为甲骨文考释线索来辅助甲骨文考释[0063] 请参阅图6为本发明提供的一种计算机可读存储介质的实施例示意图。如图6所示，本实施例提供了一种计算机可读存储介质1400，其上存储有计算机程序1411，该计算机程序1411被处理器执行时实现如下步骤：S1，获取现有的甲骨文图像，利用深度学习模型对所述甲骨文图像进行特征提取得到图像向量；[0064] S2，获取现有的甲骨文对应的释文文本，将所述释文文本转换成甲骨文的字向量；[0065] S3，构建多模态知识图谱，将甲骨文的图像向量与甲骨文的字向量映射到统一的语义空间；[0066] S4，构建甲骨文考释事件数据库，动态抽取考释过程的事件日志，自主挖掘发现可用于甲骨文考释的关键点，实现甲骨文考释线索的自动推送；[0067] S5，以统一语义空间的向量相似度及关键点为甲骨文考释线索来辅助甲骨文考释。[0068] 本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD‑ROM、光学存储器等)上实施的计算机程序产品的形式。[0069] 本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。[0070] 这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。[0071] 这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。[0072] 前述对本发明的具体示例性实施方案的描述是为了说明和例证的目的。这些描述并非想将本发明限定为所公开的精确形式，并且很显然，根据上述教导，可以进行很多改变和变化。对示例性实施例进行选择和描述的目的在于解释本发明的特定原理及其实际应用，从而使得本领域的技术人员能够实现并利用本发明的各种不同的示例性实施方案以及各种不同的选择和改变。本发明的范围意在由权利要求书及其等同形式所限定。

专利地区：河南

专利申请日期：2022-02-14

专利公开日期：2024-10-11

专利公告号：CN114491075B