一种图神经网络架构定制方法、装置、设备及存储介质

专利名称：一种图神经网络架构定制方法、装置、设备及存储介质

专利类型：实用新型专利

专利申请号：CN202210715315.9

专利申请（专利权）人：清华大学
权利人地址：北京市海淀区清华园1号

专利发明（设计）人：朱文武,王鑫,秦一鉴

专利摘要：本申请实施例涉及图数据处理技术领域，具体涉及一种图神经网络架构定制方法、装置、设备及存储介质,旨在对分布不同的图定制最合适的神经网络架构，提升图数据相关任务的准确性。所述方法包括：接收图数据以及所述图数据对应的目标任务，通过自监督解耦自编码器对所述图数据进行特征提取，得到所述图数据对应的图表征；使用基于原型的架构定制策略，根据所述图表征进行架构定制，得到所述图表征对应的神经网络架构；将所述神经网络架构输入定制超网络中，在所述定制超网络中通过所述神经网络架构对所述图数据进行处理，得到目标任务结果。

主权利要求：
1.一种图神经网络架构定制方法，其特征在于，所述方法包括：接收图数据以及所述图数据对应的目标任务，通过自监督解耦自编码器对所述图数据进行特征提取，得到所述图数据对应的图表征；
使用基于原型的架构定制策略，根据所述图表征进行架构定制，得到所述图表征对应的神经网络架构；
将所述神经网络架构输入定制超网络中，在所述定制超网络中通过所述神经网络架构对所述图数据进行处理，得到目标任务结果；
所述方法基于图数据架构定制网络实现，所述图数据架构定制网络是由以下步骤训练得到的：将预先标注好的图数据与对应的目标任务输入所述图数据架构定制网络中；
所述图数据架构定制网络通过所述自监督解耦自编码器得到所述图数据对应的图表征，通过架构定制层得到所述图表征对应的神经网络架构，通过所述定制超网络，根据所述神经网络架构得到所述目标任务的预测结果；
根据所述目标任务的预测结果，得到所述图数据架构定制网络的任务损失值；
将所述图数据架构定制网络的任务损失值反向传播至所述图数据架构定制网络中，通过所述图数据架构定制网络的损失函数对所述图数据架构定制网络进行训练，得到训练好的图数据架构定制网络。
2.根据权利要求1所述的方法，其特征在于，通过自监督解耦自编码器对所述图数据进行特征提取，得到所述图数据对应的图表征，包括：将所述图数据进行平均拆分处理，得到多个子图；
将所述多个子图分别输入不同的网络块中，得到所述多个子图对应的多个子图表征；
将所述多个子图表征进行拼接，得到所述图数据对应的图表征。
3.根据权利要求1所述的方法，其特征在于，使用基于原型的架构定制策略，根据所述图表征进行架构定制，得到所述图表征对应的神经网络架构，包括：对所述图表征与多个原型向量分别进行余弦相似度计算，得到所述图表征与每个所述原型向量的余弦相似度，所述原型向量为所述神经网络架构中的每一层的每一种操作对应的向量；
对所述图表征与每个所述原型向量的余弦相似度进行归一化指数计算，得到所述神经网络架构。
4.根据权利要求1所述的方法，其特征在于，将所述神经网络架构输入定制超网络中，在所述定制超网络中通过所述神经网络架构对所述图数据进行处理，得到目标任务结果，包括：将所述图数据输入所述神经网络架构；
通过所述定制超网络，根据所述神经网络架构中的每一层神经网络的每种操作的权重，对所述图数据进行相应的操作，得到所有操作结果的加权和；
根据所述加权和，得到所述目标任务的预测结果。
5.根据权利要求1所述的方法，其特征在于，根据所述目标任务的预测结果，得到所述图数据架构定制网络的任务损失值，包括：根据所述目标任务的预测结果，确定所述自监督解耦自编码器的损失值，所述架构定制层的损失值以及所述定制超网络的损失值；
将所述自监督解耦自编码器的损失值，所述架构定制层的损失值以及所述定制超网络的损失值进行加权组合，得到所述图数据架构定制网络的任务损失值。
6.根据权利要求5所述的方法，其特征在于，根据所述目标任务的预测结果，确定所述自监督解耦自编码器的损失值，所述架构定制层的损失值，包括：根据所述目标任务的预测结果，确定所述自监督解耦自编码器的监督任务的损失值，根据所述自监督解耦自编码器的监督任务的损失值与所述自监督解耦自编码器的自监督任务的损失值，确定所述自监督解耦自编码器的损失值；
根据所述目标任务的预测结果，确定所述架构定制层中的监督任务的损失值，根据所述架构定制层中监督任务的损失值以及所述架构定制层中的原型向量的余弦距离损失值，确定所述架构定制层的损失值。
7.一种图神经网络架构定制装置，其特征在于，所述装置包括：图表征提取模块，用于接收图数据以及所述图数据对应的目标任务，通过自监督解耦自编码器对所述图数据进行特征提取，得到所述图数据对应的图表征；
架构定制模块，用于使用基于原型的架构定制策略，根据所述图表征进行架构定制，得到所述图表征对应的神经网络架构；
超网络计算模块，用于将所述神经网络架构输入定制超网络中，在所述定制超网络中通过所述神经网络架构对所述图数据进行处理，得到目标任务结果；
所述装置基于图数据架构定制网络实现，所述图数据架构定制网络是由以下步骤训练得到的：将预先标注好的图数据与对应的目标任务输入所述图数据架构定制网络中；
所述图数据架构定制网络通过所述自监督解耦自编码器得到所述图数据对应的图表征，通过架构定制层得到所述图表征对应的神经网络架构，通过所述定制超网络，根据所述神经网络架构得到所述目标任务的预测结果；
根据所述目标任务的预测结果，得到所述图数据架构定制网络的任务损失值；
将所述图数据架构定制网络的任务损失值反向传播至所述图数据架构定制网络中，通过所述图数据架构定制网络的损失函数对所述图数据架构定制网络进行训练，得到训练好的图数据架构定制网络。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时，实现如权利要求1至6任一所述的方法中的步骤。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时，实现如权利要求1至6任一所述的方法的步骤。 说明书 : 一种图神经网络架构定制方法、装置、设备及存储介质技术领域[0001] 本申请实施例涉及图数据处理技术领域，具体而言，涉及一种图神经网络架构定制方法、装置、设备及存储介质。背景技术[0002] 图神经网络是对图数据进行处理的一种神经网络，图神经网络被普遍应用于解决图分类问题，图神经网络的架构设计一直以来都是一个研究的热点问题，神经网络的架构搜索是通过计算机使用搜索算法，在搜索空间中根据图数据搜索出该图数据的最优架构。现有技术一种是手工设计图神经网络并定制参数，这类方法为图分类任务设计一个固定的神经网络架构，从另一个神经网络得到该网络架构的参数；另一种是进行神经网络架构搜索，这类方法是在一个自定义的搜索空间中执行强化学习、可微搜索等算法，最后搜索出的最优神经网络架构将通过标准的机器学习训练测试流程。[0003] 现有技术中，都是将固定的神经网络架构适用到训练集和测试集的所有图上，没有关注神经网络架构对不同图的影响，而图数据集中的图数据是现实世界中收集的多样化数据，经常存在训练集和测试集分布不同的问题，在训练集上进行训练的图神经网络运用在测试集上时性能大幅度降低。分布不同的图性质不同，需要使用不同机制的图神经网络来进行分类或知识提取。现有的图神经网络架构定制方法定制出的架构对分布不同的图使用固定的神经网络架构，泛化性低，导致图分类的结果不理想，对基于图分类的预测任务，预测的结果不准确。发明内容[0004] 本申请实施例提供一种图神经网络架构定制方法、装置、设备及存储介质，旨在对分布不同的图定制最合适的神经网络架构，提升图数据相关任务的准确性。[0005] 本申请实施例第一方面提供一种图神经网络架构定制方法，所述方法包括：[0006] 接收图数据以及所述图数据对应的目标任务，通过自监督解耦自编码器对所述图数据进行特征提取，得到所述图数据对应的图表征；[0007] 使用基于原型的架构定制策略，根据所述图表征进行架构定制，得到所述图表征对应的神经网络架构；[0008] 将所述神经网络架构输入定制超网络中，在所述定制超网络中通过所述神经网络架构对所述图数据进行处理，得到目标任务结果。[0009] 可选地，通过自监督解耦自编码器对所述图数据进行特征提取，得到所述图数据对应的图表征，包括：[0010] 将所述图数据进行平均拆分处理，得到多个子图；[0011] 将所述多个子图分别输入不同的网络块中，得到所述多个子图对应的多个子图表征；[0012] 将所述多个子图表征进行拼接，得到所述图数据对应的图表征。[0013] 可选地，使用基于原型的架构定制策略，根据所述图表征进行架构定制，得到所述图表征对应的神经网络架构，包括：[0014] 对所述图表征与多个原型向量分别进行余弦相似度计算，得到所述图表征与每个所述原型向量的余弦相似度，所述原型向量为所述神经网络架构中的每一层的每一种操作对应的向量；[0015] 对所述图表征与每个所述原型向量的余弦相似度进行归一化指数计算，得到所述神经网络架构。[0016] 可选地，将所述神经网络架构输入定制超网络中，在所述定制超网络中通过所述神经网络架构对所述图数据进行处理，得到目标任务结果，包括：[0017] 将所述图数据输入所述神经网络架构；[0018] 通过所述定制超网络，根据所述神经网络架构中的每一层神经网络的每种操作的权重，对所述图数据进行相应的操作，得到所有操作结果的加权和；[0019] 根据所述加权和，得到所述目标任务的预测结果。[0020] 可选地，所述方法基于图数据架构定制网络实现，所述图数据架构定制网络是由以下步骤训练得到的：[0021] 将预先标注好的图数据与对应的目标任务输入所述图数据架构定制网络中；[0022] 所述图数据架构定制网络通过所述自监督解耦自编码器得到所述图数据对应的图表征，通过架构定制层得到所述图表征对应的神经网络架构，通过所述定制超网络，根据所述神经网络架构得到所述目标任务的预测结果；[0023] 根据所述目标任务的预测结果，得到所述图数据架构定制网络的任务损失值；[0024] 将所述图数据架构定制网络的任务损失值反向传播至所述图数据架构定制网络中，通过所述图数据架构定制网络的损失函数对所述图数据架构定制网络进行训练，得到训练好的图数据架构定制网络。[0025] 可选地，根据所述目标任务的预测结果，得到所述图数据架构定制网络的任务损失值，包括：[0026] 根据所述目标任务的预测结果，确定所述自监督解耦自编码器的损失值，所述架构定制层的损失值以及所述定制超网络的损失值；[0027] 将所述自监督解耦自编码器的损失值，所述架构定制层的损失值以及所述定制超网络的损失值进行加权组合，得到所述图数据架构定制网络的任务损失值。[0028] 可选地，根据所述目标任务的预测结果，确定所述自监督解耦自编码器的损失值，所述架构定制层的损失值，包括：[0029] 根据所述目标任务的预测结果，确定所述自监督解耦自编码器的监督任务的损失值，根据所述自监督解耦自编码器的监督任务的损失值与所述自监督解耦自编码器的自监督任务的损失值，确定所述自监督解耦自编码器的损失值；[0030] 根据所述目标任务的预测结果，确定所述架构定制层中的监督任务的损失值，根据所述架构定制层中监督任务的损失值以及所述架构定制层中的原型向量的余弦距离损失值，确定所述架构定制层的损失值。[0031] 本申请实施例第二方面提供一种图神经网络架构定制装置，所述装置包括：[0032] 图表征提取模块，用于接收图数据以及所述图数据对应的目标任务，通过自监督解耦自编码器对所述图数据进行特征提取，得到所述图数据对应的图表征；[0033] 架构定制模块，用于使用基于原型的架构定制策略，根据所述图表征进行架构定制，得到所述图表征对应的神经网络架构；[0034] 超网络计算模块，用于将所述神经网络架构输入定制超网络中，在所述定制超网络中通过所述神经网络架构对所述图数据进行处理，得到目标任务结果。[0035] 可选地，所述图表征提取模块包括：[0036] 图数据拆分子模块，用于将所述图数据进行平均拆分处理，得到多个子图；[0037] 子图表征提取子模块，用于将所述多个子图分别输入不同的网络块中，得到所述多个子图对应的多个子图表征；[0038] 图表征获得子模块，用于将所述多个子图表征进行拼接，得到所述图数据对应的图表征。[0039] 可选地，所述架构定制模块包括：[0040] 余弦相似度计算子模块，用于对所述图表征与多个原型向量分别进行余弦相似度计算，得到所述图表征与每个所述原型向量的余弦相似度，所述原型向量为所述神经网络架构中的每一层的每一种操作对应的向量；[0041] 神经网络架构获得子模块，用于对所述图表征与每个所述原型向量的余弦相似度进行归一化指数计算，得到所述神经网络架构。[0042] 可选地，所述超网络计算模块包括：[0043] 图数据输入子模块，用于将所述图数据输入所述神经网络架构；[0044] 图数据计算子模块，用于通过所述定制超网络，根据所述神经网络架构中的每一层神经网络的每种操作的权重，对所述图数据进行相应的操作，得到所有操作结果的加权和；[0045] 预测结果获得子模块，用于根据所述加权和，得到所述目标任务的预测结果。[0046] 可选地，所述方法基于图数据架构定制网络实现，所述图数据架构定制网络是由以下步骤训练得到的：[0047] 将预先标注好的图数据与对应的目标任务输入所述图数据架构定制网络中；[0048] 所述图数据架构定制网络通过所述自监督解耦自编码器得到所述图数据对应的图表征，通过架构定制层得到所述图表征对应的神经网络架构，通过所述定制超网络，根据所述神经网络架构得到所述目标任务的预测结果；[0049] 根据所述目标任务的预测结果，得到所述图数据架构定制网络的任务损失值；[0050] 将所述图数据架构定制网络的任务损失值反向传播至所述图数据架构定制网络中，通过所述图数据架构定制网络的损失函数对所述图数据架构定制网络进行训练，得到训练好的图数据架构定制网络。[0051] 可选地，根据所述目标任务的预测结果，得到所述图数据架构定制网络的任务损失值，包括：[0052] 根据所述目标任务的预测结果，确定所述自监督解耦自编码器的损失值，所述架构定制层的损失值以及所述定制超网络的损失值；[0053] 将所述自监督解耦自编码器的损失值，所述架构定制层的损失值以及所述定制超网络的损失值进行加权组合，得到所述图数据架构定制网络的任务损失值。[0054] 可选地，根据所述目标任务的预测结果，确定所述自监督解耦自编码器的损失值，所述架构定制层的损失值，包括：[0055] 根据所述目标任务的预测结果，确定所述自监督解耦自编码器的监督任务的损失值，根据所述自监督解耦自编码器的监督任务的损失值与所述自监督解耦自编码器的自监督任务的损失值，确定所述自监督解耦自编码器的损失值；[0056] 根据所述目标任务的预测结果，确定所述架构定制层中的监督任务的损失值，根据所述架构定制层中监督任务的损失值以及所述架构定制层中的原型向量的余弦距离损失值，确定所述架构定制层的损失值。[0057] 本申请实施例第三方面提供一种可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现如本申请第一方面所述的方法中的步骤。[0058] 本申请实施例第四方面提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现本申请第一方面所述的方法的步骤。[0059] 采用本申请提供的图神经网络架构定制方法，接收图数据以及所述图数据对应的目标任务，通过自监督解耦自编码器对所述图数据进行特征提取，得到所述图数据对应的图表征；使用基于原型的架构定制策略，根据所述图表征进行架构定制，得到所述图表征对应的神经网络架构；将所述神经网络架构输入定制超网络中，在所述定制超网络中通过所述神经网络架构对所述图数据进行处理，得到目标任务结果。本申请中，通过自监督解耦自编码器对图数据进行特征提取，自监督解耦自编码器通过监督任务与自监督任务进行训练，可以很好的提取出不同的图数据总的重要结构信息，因而增加了定制出的神经网络架构的泛化性，还使用了基于原型的定制策略为不同的图数据定制不同的神经网络架构，使得整个架构定制网络可以为不同类型的图数据定制最优的神经网络架构，最后在超网络中根据该神经网络架构进行对应的操作，得到图数据对应的目标任务的结果，有利于解决存在分布变化的图分类深度学习问题，提高了图分类任务的预测结果的准确性。附图说明[0060] 为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。[0061] 图1是本申请一实施例提出的图神经网络架构定制方法的流程图；[0062] 图2是本申请一实施例提出的图数据架构定制网络的结构示意图；[0063] 图3是本申请一实施例提出的图神经网络架构定制装置的示意图。具体实施方式[0064] 下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。[0065] 本申请提出的图神经网络架构定制方法是通过图数据架构定制网络实现的，图数据架构定制网络包括自监督结构编码器，架构定制层以及定制超网络三个部分。所述图数据架构定制网络是由以下步骤训练得到的：[0066] S11：将预先标注好的图数据与对应的目标任务输入所述图数据架构定制网络中。[0067] 图数据就是图结构类型的数据，图结构是由点和边连接起来的结构，其中点代表个体，个体之间的边代表个体之间的关系，目标任务是图数据对应的分类任务。[0068] 本实施例中，在对图数据架构定制网络训练时，需要预先收集图数据，确定图数据对应的目标任务，将训练集中的图数据以及图数据对应的目标任务输入图数据架构定制网络中，同时需要在训练集中的图数据上标注目标任务的正确结果，例如分类任务中需预先标注该图数据的正确的类型。[0069] 示例地，当图数据为社交网络关系图时，图中点代表人物，点之间的边代表人物之间的关系，目标任务为对该关系图进行分类，例如在一个公司关系图中有节点A、B、C，节点A与节点B为同部门的关系，节点B与节点C为公司上下级关系，将该关系图标注为公司员工关系图，输入图数据架构定制网络中。[0070] S12：所述图数据架构定制网络通过所述自监督解耦自编码器得到所述图数据对应的图表征，通过架构定制层得到所述图表征对应的神经网络架构，通过所述定制超网络，根据所述神经网络架构得到所述目标任务的预测结果。[0071] 本实施例中，图数据架构定制网络，对于训练集中的图数据，通过自监督解耦自编码器进行特征提取，得到对应的图表征，将该图表征输入架构定制层，得到对应的神经网络架构，将定制的架构输入到定制超网络中，通过定制超网络自行对应的操作对图数据进行处理，得到目标任务的预测结果。[0072] 示例地，输入一个图，图中图中有节点A、B、C，节点A与节点B为同部门的关系，节点B与节点C为公司上下级关系，则图数据架构定制网络对该图数据进行分类预测，预测结果为公司员工关系图。[0073] S13：根据所述目标任务的预测结果，得到所述图数据架构定制网络的任务损失值。[0074] 本实施例中，本实施例中，根据对目标任务的预测结果，可以确定图数据架构定制网络的损失值，通过对比目标任务的预测结果与预先标注的图结构数据的任务结果，可以确定图数据架构定制网络的任务损失值。[0075] 本实施例中，根据所述目标任务的预测结果，得到所述图数据架构定制网络的任务损失值的具体步骤为：[0076] S13‑1：根据所述目标任务的预测结果，确定所述自监督解耦自编码器的损失值，所述架构定制层的损失值以及所述定制超网络的损失值。[0077] 本实施例中，根据目标任务的预测结果与预先标注的正确的任务结果进行对比，通过两个结果之间的差值，得到图数据架构定制网络的损失值。通过目标任务的预测结果，可以确定自监督解耦自编码器的损失值，架构定制层的损失值以及定制超网络的损失值。[0078] 本实施例中，根据所述目标任务的预测结果，确定所述自监督解耦自编码器的损失值，所述架构定制层的损失值的具体步骤包括：[0079] S13‑1‑1：根据所述目标任务的预测结果，确定所述自监督解耦自编码器的监督任务的损失值，根据所述自监督解耦自编码器的监督任务的损失值与所述自监督解耦自编码器的自监督任务的损失值，确定所述自监督解耦自编码器的损失值。[0080] 本实施例中，对图数据架构定制网络中的自监督解耦自编码器进行训练时，同时使用监督任务和自监督任务来指导该编码器的学习，监督任务就是输入图数据对应的目标任务，通过目标任务预测结果与正确结果的差值，可以得到监督任务的损失值，自监督任务是一系列的伪标签辅助任务，用来指导自监督解耦自编码器更好的学习到图数据的结构特性。监督任务的损失值与自监督任务的损失值相加，得到自监督解耦自编码器的损失值。[0081] 本实施例中，自监督解耦自编码器是一个图神经网络，该网络的尾部的神经网络层被分割成了几个网络块，神经元只能进行块内传播，块与块之间没有神经元连接，因此，在进行训练时，每个网络块执行监督任务和自监督任务，并且每个块执行的自监督任务的任务目标不同，另外在训练时还留有一个网络块不适用自监督任务指导学习，只使用监督任务指导学习，这样有利于该网络块更好的学习图数据的多样化特征。[0082] 示例地，辅助任务为预测图中不同度数的节点所占的比例，度数代表节点的边的数量。每一个网络块可以预测一种度数的节点所占的比例，例如，自监督解耦自编码器的神经网络尾部一共有4个网络块，其中3个分别预测度数为1、2、3的节点所占的比例，剩下一个网络块不执行自监督任务。[0083] 本实施例中，通过监督任务与自监督任务来指导自监督解耦自编码器的学习，有利于通过自监督解耦自编码器学习到图数据的结构特征，对图数据的特征进行更好的提取，从不同的图结构中提取出多样化的图表征。[0084] S13‑1‑2：根据所述目标任务的预测结果，确定所述架构定制层中的监督任务的损失值，根据所述架构定制层中监督任务的损失值以及所述架构定制层中的原型向量的余弦距离损失值，确定所述架构定制层的损失值。[0085] 本实施例中，原型向量就是架构中的操作对应的向量，余弦距离损失值是在架构中同一层的不同的原型向量两两之间的余弦相似度。[0086] 本实施例中，在对图数据架构定制网络进行训练时，架构定制层中的损失值是由监督任务的损失值与架构定制层中的原型向量的余弦距离损失值构成的。通过在损失值中加入了余弦距离损失，防止了原型向量坍缩，即原型向量在训练中逐渐趋于一致。[0087] S13‑2：将所述自监督解耦自编码器的损失值，所述架构定制层的损失值以及所述定制超网络的损失值进行加权组合，得到所述图数据架构定制网络的任务损失值。[0088] 本实施例中，将自监督解耦自编码器的损失值，架构定制层的损失值以及定制超网络的损失值通过超参数加权组合在一起，得到图数据架构定制网络的损失值。定制超网络的损失值是根据目标任务的预测结果与任务的真实结果的差值得到的。[0089] S14：将所述图数据架构定制网络的任务损失值反向传播至所述图数据架构定制网络中，通过所述图数据架构定制网络的损失函数对所述图数据架构定制网络进行训练，得到训练好的图数据架构定制网络。[0090] 本实施例中，在确定了图数据架构定制网络的任务是损失值之后，将所述损失值反向传播至图数据架构定制网络的自监督解耦自编码器、架构定制层以及定制超网络中，对整个图数据架构定制网络进行训练，使用基于梯度的方法进行整个神经网络架构定制框架的优化。[0091] 本实施例中，在训练时，需要预先设置各部分损失值的权重大小，在训练初期，为训练自监督解耦自编码器的监督和自监督任务损失值设置较大的权重，为架构定制层的损失值以及超网络的损失值设置较小的权重，因为训练初期的自监督解耦自编码器还不能很好地捕获图的不同性质，得到的图表征不一定准确，因此定制出的架构不一定适合图的机制，如果用较大的权重训练架构定制层与定制超网络，可能会导致参数不稳定。在模型训练过程中，架构定制层中的原型向量的余弦距离损失以及超网络监督任务的损失的权重会逐渐增大，使得架构定制层与超网络学些到更多有用的知识，有利于为图数据定制最优的神经网络架构。[0092] 参考图1，图1是本申请一实施例提出的图神经网络架构定制方法的流程图。如图1所示，该方法包括以下步骤：[0093] S21：接收图数据以及所述图数据对应的目标任务，通过自监督解耦自编码器对所述图数据进行特征提取，得到所述图数据对应的图表征。[0094] 本实施例中，自监督解耦自编码器是一个图神经网络，用于提取图数据中的信息，生成对应的图表征。该网络的尾部，神经网络层被分割成几个块，神经元只能进行块内传播，块与块之间没有神经元连接，这样有助于让该网络学习到多样化的图表征。[0095] 本实施例中，接收图数据以及所述图数据对应的目标任务，通过自监督解耦自编码器对所述图数据进行特征提取，得到所述图数据对应的图表征的具体步骤为：[0096] S21‑1：将所述图数据进行平均拆分处理，得到多个子图。[0097] 本实施例中，自监督解耦自编码器接收到图数据后，会对图数据进行平均拆分处理，得到多个子图，子图的个数可以根据自监督解耦自编码器的结构进行自适应的调整，确保该网络的每一个网络块都可以接收到一个子图。[0098] 示例地，输入的图数据是一个特征维度为64的图，将其拆分成4个同样大小的，特征维度为16维的图，得到4个特征维度为16维的子图。[0099] S21‑2：将所述多个子图分别输入不同的网络块中，得到所述多个子图对应的多个子图表征。[0100] 本实施例中，自监督解耦自编码器的神经网络尾部的神经网络层被分为了多个网络块，将多个子图分别输入不同的网络块中，每个网络块对接收到的子图进行处理，得到多个对应的子图表征。[0101] 示例地，将4个子图输入4个网络块中，得到4个子对应的子图表征。[0102] S21‑3：将所述多个子图表征进行拼接，得到所述图数据对应的图表征。[0103] 本实施例中，得到多个子图表征后，将多个子图表征进行拼接，就得到了该图数据对应的图表征。[0104] S22：使用基于原型的架构定制策略，根据所述图表征进行架构定制，得到所述图表征对应的神经网络架构。[0105] 本实施例中，在得到图数据对应的图表征后，将该图表征输入图数据架构定制网络的架构定制层中，在该层中通过基于原型的架构定制策略，根据该图表征进行架构定制，得到该图表征对应的神经网络架构。具体的步骤为：[0106] S22‑1：对所述图表征与多个原型向量分别进行余弦相似度计算，得到所述图表征与每个所述原型向量的余弦相似度，所述原型向量为所述神经网络架构中的每一层的每一种操作对应的向量。[0107] S22‑2：对所述图表征与每个所述原型向量的余弦相似度进行归一化指数计算，得到所述神经网络架构。[0108] 本实施例中，神经网络架构中的每一层都有多种操作，每个操作都对应一个向量，将该向量称为原型向量。[0109] 本实施例中，在通过基于原型的架构定制策略进行架构定制时，首先将各个原型向量进行归一化，使得各个原型向量处于公平竞争的状态。然后计算图表征和各个原型向量之间的余弦相似度，将得到的多个余弦相似度进行归一化指数计算，得到的结果就是图数据对应的神经网络架构，该神经网络架构实质上是不同操作在神经网络层的权重实数值。[0110] 示例地，神经网络每一层的操作可以为卷积操作或注意力操作。[0111] 本实施例中，通过基于原型的架构定制策略得到了图表征对应的神经网络架构，确定了神经网络架构中每一层的每一中操作的权重。保留了每一个权重的是数值，保留实数值可以使整个架构是可微的，从而可以使用基于梯度的方法对架构进行优化。[0112] S23：将所述神经网络架构输入定制超网络中，在所述定制超网络中通过所述神经网络架构对所述图数据进行处理，得到目标任务结果。[0113] 本实施例中，超网络是一个在每一层中包含所有可能操作类型的神经网络，该网络可以为不同的神经网络架构提供模型的内部参数，定制超网络可以根据得到的神经网络架构进行对应的操作。将所神经网络架构输入架构定制超网络中，在所述定制超网络中通过所述神经网络架构对所述图数据进行处理，得到目标任务结果的具体步骤为：[0114] S23‑1：将所述图数据输入所述神经网络架构。[0115] 本实施例中，在得到图数据对应的神经网络架构后，将该网络架构输入定制超网络中，在定制超网络中，将图数据输入该神经网络架构，对图数据进行处理。[0116] S23‑2：通过所述定制超网络，根据所述神经网络架构中的每一层神经网络的每种操作的权重，对所述图数据进行相应的操作，得到所有操作结果的加权和。[0117] S23‑3：根据所述加权和，得到所述目标任务的预测结果。[0118] 本实施例中，将得到的神经网络架构输入定制超网络中，定制超网络根据该神经网络架构，对所有操作根据该操作的权重进行计算。在定制网络中根据该图数据进行前向传播计算，前向传播过程中，神经网络架构的每一层的结果是超网络中所有的操作结果的加权和，该加权和的权重就是定制出的神经网络架构，该加权和向量表征了目标任务的预测结果。图数据架构定制网络在得到目标任务预测结果之后，进行输出。[0119] 示例地，在进行图分类时，输入的图数据中的节点是人物，节点A与节点B之间的关系为朋友，节点B与节点C之间的关系为请人，图中还有很多诸如此类的节点与边。通过自监督解耦自编码器提取图数据对应的图表征，再通过架构定制层使用基于原型的架构定制策略定制出对应的神经网络结构，在将该神经网络结构输入定制超网络中，定制超网络根据该神经网络结构对该图数据进行计算，得到最终的预测结果，根据该图数据中的人物以及节点之间的关系，可以得出该图数据的类别为社交网络关系图。[0120] 本实施例中，自监督解耦自编码器通过自监督学习以及监督学习具备了捕获不同图的性质的能力，可以很好地表征出各个图的结构特性，然后根据得到的图表征，使用基于原型的架构定制策略来定制对应的神经网络架构，为每个图定制了最适合的神经网络，可以很好地泛化在不同的图上，最终在超网络中对神经网络架构进行计算，得到目标任务的预测结果，有利于对基于图表征学习的下游任务的预测准确性进行提升。[0121] 参考图2，图2是本申请实一实施例提出的图数据架构定制网络的结构示意图，如图2所示，图中包含了三个部分，自监督解耦自编码器，基于原型的架构定制层以及定制超网络。[0122] 自监督解耦自编码器接收图数据通过解耦因子对图数据进行解耦，提取出对应的特征，自监督解耦子编码器通过自监督任务(Lssl)和监督任务(Lsup)来学习图数据的特性。[0123] 再将提取出的图表征输入架构定制层中，计算原型向量(q1，q2)与各个图表征(h1，h2，h3)的余弦相似度，再使用softmax函数(po)度余弦相似度进行指数归一化计算，定制出对应的架构，Lcos为两个原型向量之间的余弦距离损失。[0124] 得到对应的神经网络架构之后，在定制超网络中，在神经网络的每一层进行操作，将操作的结果的加权和进行输出，得到监督任务的损失值(Lmain)，其中o1，o2，o3为每一层的一个操作，函数f(x)为将操作结果加权求和的函数。[0125] 再将损失值反向传播至图数据架构定制网络的自监督解耦自编码器，架构定制层，定制超网络中，对整个网络进行优化，整个网络的损失函数为：[0126][0127] 其中γ，β1，β2表示权重。[0128] 基于同一发明构思，本申请一实施例提供一种图神经网络架构定制装置。参考图3，图3是本申请一实施例提出的图神经网络架构定制装置300的示意图。如图3所示，该装置包括：[0129] 图表征提取模块301，用于接收图数据以及所述图数据对应的目标任务，通过自监督解耦自编码器对所述图数据进行特征提取，得到所述图数据对应的图表征；[0130] 架构定制模块302，用于使用基于原型的架构定制策略，根据所述图表征进行架构定制，得到所述图表征对应的神经网络架构；[0131] 超网络计算模块303，用于将所述神经网络架构输入定制超网络中，在所述定制超网络中通过所述神经网络架构对所述图数据进行处理，得到目标任务结果。[0132] 可选地，所述图表征提取模块包括：[0133] 图数据拆分子模块，用于将所述图数据进行平均拆分处理，得到多个子图；[0134] 子图表征提取子模块，用于将所述多个子图分别输入不同的网络块中，得到所述多个子图对应的多个子图表征；[0135] 图表征获得子模块，用于将所述多个子图表征进行拼接，得到所述图数据对应的图表征。[0136] 可选地，所述架构定制模块包括：[0137] 余弦相似度计算子模块，用于对所述图表征与多个原型向量分别进行余弦相似度计算，得到所述图表征与每个所述原型向量的余弦相似度，所述原型向量为所述神经网络架构中的每一层的每一种操作对应的向量；[0138] 神经网络架构获得子模块，用于对所述图表征与每个所述原型向量的余弦相似度进行归一化指数计算，得到所述神经网络架构。[0139] 可选地，所述超网络计算模块包括：[0140] 图数据输入子模块，用于将所述图数据输入所述神经网络架构；[0141] 图数据计算子模块，用于通过所述定制超网络，根据所述神经网络架构中的每一层神经网络的每种操作的权重，对所述图数据进行相应的操作，得到所有操作结果的加权和；[0142] 预测结果获得子模块，用于根据所述加权和，得到所述目标任务的预测结果。[0143] 可选地，所述方法基于图数据架构定制网络实现，所述图数据架构定制网络是由以下步骤训练得到的：[0144] 将预先标注好的图数据与对应的目标任务输入所述图数据架构定制网络中；[0145] 所述图数据架构定制网络通过所述自监督解耦自编码器得到所述图数据对应的图表征，通过架构定制层得到所述图表征对应的神经网络架构，通过所述定制超网络，根据所述神经网络架构得到所述目标任务的预测结果；[0146] 根据所述目标任务的预测结果，得到所述图数据架构定制网络的任务损失值；[0147] 将所述图数据架构定制网络的任务损失值反向传播至所述图数据架构定制网络中，通过所述图数据架构定制网络的损失函数对所述图数据架构定制网络进行训练，得到训练好的图数据架构定制网络。[0148] 可选地，根据所述目标任务的预测结果，得到所述图数据架构定制网络的任务损失值，包括：[0149] 根据所述目标任务的预测结果，确定所述自监督解耦自编码器的损失值，所述架构定制层的损失值以及所述定制超网络的损失值；[0150] 将所述自监督解耦自编码器的损失值，所述架构定制层的损失值以及所述定制超网络的损失值进行加权组合，得到所述图数据架构定制网络的任务损失值。[0151] 可选地，根据所述目标任务的预测结果，确定所述自监督解耦自编码器的损失值，所述架构定制层的损失值，包括：[0152] 根据所述目标任务的预测结果，确定所述自监督解耦自编码器的监督任务的损失值，根据所述自监督解耦自编码器的监督任务的损失值与所述自监督解耦自编码器的自监督任务的损失值，确定所述自监督解耦自编码器的损失值；[0153] 根据所述目标任务的预测结果，确定所述架构定制层中的监督任务的损失值，根据所述架构定制层中监督任务的损失值以及所述架构定制层中的原型向量的余弦距离损失值，确定所述架构定制层的损失值。[0154] 基于同一发明构思，本申请另一实施例提供一种可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请上述任一实施例所述的图神经网络架构定制方法中的步骤。[0155] 基于同一发明构思，本申请另一实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行时实现本申请上述任一实施例所述的图神经网络架构定制方法中的步骤。[0156] 对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。[0157] 本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。[0158] 本领域内的技术人员应明白，本申请实施例可提供为方法、装置、或计算机程序产品。因此，本申请实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD‑ROM、光学存储器等)上实施的计算机程序产品的形式。[0159] 本申请实施例是参照根据本申请实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。[0160] 这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。[0161] 这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。[0162] 尽管已描述了本申请实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请实施例范围的所有变更和修改。[0163] 最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。[0164] 以上对本申请所提供的图神经网络架构定制方法、装置、设备及存储介质，进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

专利地区：北京

专利申请日期：2022-06-23

专利公开日期：2024-06-18

专利公告号：CN114972772B