可左右滑动选省市

一种基于相互知识转移的联邦学习优化方法发明专利

更新时间:2024-11-01
一种基于相互知识转移的联邦学习优化方法发明专利 专利申请类型:发明专利;
地区:湖南-长沙;
源自:长沙高价值专利检索信息库;

专利名称:一种基于相互知识转移的联邦学习优化方法

专利类型:发明专利

专利申请号:CN202410783397.X

专利申请(专利权)人:湘江实验室
权利人地址:湖南省长沙市高新区尖山路217号北斗产业园1栋

专利发明(设计)人:杨俊丰,傅清爽,李彪,刘利枚,余海航,曹文治,杨艺,张震,蒲艺,符静,王言

专利摘要:本发明实施例中提供了一种基于相互知识转移的联邦学习优化方法,属于计算技术领域,具体包括:存储大模型对应的数据集;在中央服务器通过知识蒸馏将大模型的知识迁移至蒸馏后的学生模型上;将学生模型下发给联邦系统的本地客户端;得到本轮训练后的一代本地模型;通过相互知识转移技术得到该本地客户端本轮训练的二代本地模型;服务器将本地客户端上传的模型进行模型聚合,得到本轮训练的全局模型;将上一轮训练后的全局模型再次下发给联邦系统的各个本地客户端,本地客户端再次利用本地数据集训练本轮的本地模型,进行迭代训练,直至最后一轮训练完成后的全局模型收敛,结束训练过程。通过本发明的方案,提高了模型性能、泛化能力和安全性。

主权利要求:
1.一种基于相互知识转移的联邦学习优化方法,其特征在于,包括:步骤1,根据接收到的任务方的需求选择对应的大模型部署在联邦学习系统的中央服务器上,并存储大模型对应的数据集;
步骤2,将大模型作为教师模型,在中央服务器通过知识蒸馏将大模型的知识迁移至蒸馏后的学生模型上;
步骤3,将学生模型作为联邦学习系统的初始模型,并下发给联邦系统的本地客户端;
步骤4,本地客户端根据下发的初始模型,将其复制作为学生模型保存在本地,然后各个本地客户端根据自己的本地数据集作为初始模型的输入,训练初始模型并更新初始模型参数,得到本轮训练后的一代本地模型;
步骤5,将使用本地数据集训练后的一代本地模型通过相互知识转移技术继续学习学生模型的知识,得到该本地客户端本轮训练的二代本地模型;
所述步骤5具体包括:
步骤5.1,将本地客户端 的数据集 分成L个小批,大小为 ,记为 ;
步骤5.2,将使用本地数据集训练后的一代本地模型通过最小化给定的损失函数来模仿学生模型的输出,遍历本地客户端 的本地数据集 的小批量,并最小化损失函数,更新一代本地模型 ,得到第 个本地客户端在第t轮训练中得到的二代本地模型 ;
所述最小化给定的损失函数的表达式为
其中, 为 中数据样本的真标签集, 是 中的第z个样本的真实标签, 是第k个本地客户端在第t轮训练中利用本地私有数据训练得到的一代本地模型, 是全局模型产生的软预测, 是学生模型产生的软预测:其中 和 是两个长度为C的向量,
表示在小批量 中的第z个数据样本的软预测, 是大模型知识蒸馏后的学生网络;
表示真标签与软预测之间的交叉熵误差
其中 是 单热向量, 中的所有元素都是零,除了第 个元素是1,损失函数中的第二项为量化两个网络软预测匹配的KL发散,表达式为:;
所述二代本地模型的表达式为
其中,为相互知识转移的学习速率;
步骤6,在一轮训练中,每个本地客户端将自己的二代本地模型上传至服务器,服务器将本地客户端上传的二代本地模型进行模型聚合,得到本轮训练的全局模型;
步骤7,将上一轮训练后的全局模型再次下发给联邦系统的各个本地客户端,本地客户端再次利用本地数据集训练本轮的本地模型,然后重复步骤5和步骤6进行迭代训练,直至最后一轮训练完成后的全局模型收敛,结束训练过程。
2.根据权利要求1所述的方法,其特征在于,所述步骤6具体包括:每个本地客户端发送二代本地模型 至服务器进行聚合,得到第t轮训练的全局模型,然后t自加1,进行下一轮的迭代训练。
3.根据权利要求2所述的方法,其特征在于,所述步骤6中聚合采用的方法为联邦平均算法。 说明书 : 一种基于相互知识转移的联邦学习优化方法技术领域[0001] 本发明实施例涉及计算技术领域,尤其涉及一种基于相互知识转移的联邦学习优化方法。背景技术[0002] 目前,随着计算机硬件技术的不断革新,计算能力不断提升,从单核到多核、从CPU到GPU、再到TPU,硬件设备为大模型的训练和推理提供了强大的支持。这为大模型的兴起提供了必要条件。大模型需要庞大的计算资源来进行参数优化和模型训练,而现代硬件设备的高性能使得这一过程变得更加高效和可行。然而,大模型的发展也面临一些挑战和问题。首先是计算资源的需求和成本的增加。大模型需要大量的计算资源来进行训练和推理,而这些资源的获取和维护成本较高。其次是模型的可解释性和可理解性问题。大模型的参数量巨大,往往难以解释其中的决策过程和推理逻辑,这给模型的应用和评估带来了困难。此外,数据隐私和安全问题也需要引起重视,大模型在处理个人隐私数据时需要采取有效的隐私保护措施。[0003] 可见,亟需一种能提升模型性能、泛化能力和安全性的基于相互知识转移的联邦学习优化方法。发明内容[0004] 有鉴于此,本发明实施例提供一种基于相互知识转移的联邦学习优化方法,至少部分解决现有技术中存在模型性能、泛化能力和安全性较差的问题。[0005] 本发明实施例提供了一种基于相互知识转移的联邦学习优化方法,包括:[0006] 步骤1,根据接收到的任务方的需求选择对应的大模型部署在联邦学习系统的中央服务器上,并存储大模型对应的数据集;[0007] 步骤2,将大模型作为教师模型,在中央服务器通过知识蒸馏将大模型的知识迁移至蒸馏后的学生模型上;[0008] 步骤3,将学生模型作为联邦学习系统的初始模型,并下发给联邦系统的本地客户端;[0009] 步骤4,本地客户端根据下发的初始模型,将其复制作为学生模型保存在本地,然后各个本地客户端根据自己的本地数据集作为模型的输入,训练初始模型并更新初始模型参数,得到本轮训练后的一代本地模型;[0010] 步骤5,将使用本地数据集训练后的一代本地模型通过相互知识转移技术继续学习学生模型的知识,得到该本地客户端本轮训练的二代本地模型;[0011] 步骤6,在一轮训练中,每个本地客户端将自己的二代本地模型上传至服务器,服务器将本地客户端上传的二代本地模型进行模型聚合,得到本轮训练的全局模型;[0012] 步骤7,将上一轮训练后的全局模型再次下发给联邦系统的各个本地客户端,本地客户端再次利用本地数据集训练本轮的本地模型,然后重复步骤5和步骤6进行迭代训练,直至最后一轮训练完成后的全局模型收敛,结束训练过程。[0013] 根据本发明实施例的一种具体实现方式,所述步骤5具体包括:[0014] 步骤5.1,将本地客户端 的数据集 分成L个小批,大小为 ,记为;[0015] 步骤5.2,将使用本地数据集训练后的一代本地模型通过最小化给定的损失函数来模仿学生模型的输出,遍历本地客户端 的本地数据集 的小批量,并最小化损失函数,更新一代本地模型 ,得到第 个本地客户端在第t轮训练中得到的二代本地模型。[0016] 根据本发明实施例的一种具体实现方式,所述最小化给定的损失函数的表达式为[0017] ;[0018] 其中, 为 中数据样本的真标签集, 是 中的第z个样本的真实标签, 是第k个本地客户端在第t轮训练中利用本地私有数据训练得到的一代本地模型, 是全局模型产生的软预测, 是学生模型产生的软预测:[0019][0020][0021] 其中 和 是两个长度为C的向量,表示在小批量 中的第z个数据样本的软预测, 是大模型知识蒸馏后的学生网络;[0022] 表示真标签与软预测之间的交叉熵误差[0023][0024] 其中 是 单热向量, 中的所有元素都是零,除了第 个元素是1,损失函数中的第二项为量化两个网络软预测匹配的KL发散,表达式为:[0025] ;[0026] 所述二代本地模型的表达式为[0027][0028] 其中,为相互知识转移的学习速率。[0029] 根据本发明实施例的一种具体实现方式,所述步骤6具体包括:[0030] 每个本地客户端发送二代本地模型 至服务器进行聚合,得到第t轮训练的全局模型 ,然后t自加1,进行下一轮的迭代训练。[0031] 根据本发明实施例的一种具体实现方式,所述步骤6中聚合采用的方法为联邦平均算法。[0032] 本发明实施例中的基于相互知识转移的联邦学习优化方案,包括:步骤1,根据接收到的任务方的需求选择对应的大模型部署在联邦学习系统的中央服务器上,并存储大模型对应的数据集;步骤2,将大模型作为教师模型,在中央服务器通过知识蒸馏将大模型的知识迁移至蒸馏后的学生模型上;步骤3,将学生模型作为联邦学习系统的初始模型,并下发给联邦系统的本地客户端;步骤4,本地客户端根据下发的初始模型,将其复制作为学生模型保存在本地,然后各个本地客户端根据自己的本地数据集作为模型的输入,训练初始模型并更新初始模型参数,得到本轮训练后的一代本地模型;步骤5,将使用本地数据集训练后的一代本地模型通过相互知识转移技术继续学习学生模型的知识,得到该本地客户端本轮训练的二代本地模型;步骤6,在一轮训练中,每个本地客户端将自己的二代本地模型上传至服务器,服务器将本地客户端上传的二代本地模型进行模型聚合,得到本轮训练的全局模型;步骤7,将上一轮训练后的全局模型再次下发给联邦系统的各个本地客户端,本地客户端再次利用本地数据集训练本轮的本地模型,然后重复步骤5和步骤6进行迭代训练,直至最后一轮训练完成后的全局模型收敛,结束训练过程。[0033] 本发明实施例的有益效果为:通过本发明的方案,大模型的加入使得本地客户端既可以不用承受大模型庞大计算需求和存储需求,又可以运行拥有大模型知识的模型,实现了联邦学习中的模型优化,提升了模型性能,使得本方法中客户端运行的模型可以实现对于普通模型进行联邦训练所无法达到的性能、泛化能力的提升,实现联邦普通模型向大模型方向的追平,对于大模型蒸馏后的学生模型下发给本地客户端进行本地训练过程中发生的灾难性遗忘问题,通过相互知识转移技术,在本地训练后继续学习大模型的知识,缓解灾难性遗忘问题,实现了大模型最大程度的协助联邦模型优化过程,为大模型应用在数据隐私领域,尤其是联邦学习这一保护数据隐私领域提供了新思路和新方法,显著提升了联邦模型的性能,实现对联邦模型的优化,并通过相互知识转移技术,缓解大模型知识在本地训练时的灾难性遗忘问题。附图说明[0034] 为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。[0035] 图1为本发明实施例提供的一种基于相互知识转移的联邦学习优化方法的流程示意图;[0036] 图2为本发明实施例提供的一种基于相互知识转移的联邦学习优化方法的具体实施过程示意图。具体实施方式[0037] 下面结合附图对本发明实施例进行详细描述。[0038] 以下通过特定的具体实例说明本发明的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。本发明还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本发明的精神下进行各种修饰或改变。需说明的是,在不冲突的情况下,以下实施例及实施例中的特征可以相互组合。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。[0039] 需要说明的是,下文描述在所附权利要求书的范围内的实施例的各种方面。应显而易见,本文中所描述的方面可体现于广泛多种形式中,且本文中所描述的任何特定结构及/或功能仅为说明性的。基于本发明,所属领域的技术人员应了解,本文中所描述的一个方面可与任何其它方面独立地实施,且可以各种方式组合这些方面中的两者或两者以上。举例来说,可使用本文中所阐述的任何数目个方面来实施设备及/或实践方法。另外,可使用除了本文中所阐述的方面中的一或多者之外的其它结构及/或功能性实施此设备及/或实践此方法。[0040] 还需要说明的是,以下实施例中所提供的图示仅以示意方式说明本发明的基本构想,图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制,其实际实施时各组件的型态、数量及比例可为一种随意的改变,且其组件布局型态也可能更为复杂。[0041] 另外,在以下描述中,提供具体细节是为了便于透彻理解实例。然而,所属领域的技术人员将理解,可在没有这些特定细节的情况下实践所述方面。[0042] 本发明实施例提供一种基于相互知识转移的联邦学习优化方法,所述方法可以应用于社区、医院等场景的本地客户端模型训练过程。[0043] 参见图1,为本发明实施例提供的一种基于相互知识转移的联邦学习优化方法的流程示意图。如图1和图2所示,所述方法主要包括以下步骤:[0044] 步骤1,根据接收到的任务方的需求选择对应的大模型部署在联邦学习系统的中央服务器上,并存储大模型对应的数据集;[0045] 联邦学习是一种机器学习的分布式训练方式,它允许在保护数据隐私的同时集中训练模型。传统的机器学习方法通常需要将所有数据集中到一个中心化的服务器进行训练,而联邦学习则可以在本地设备上进行局部训练,并将模型参数的更新发送到中心服务器进行聚合,从而实现模型的全局训练。联邦学习的核心思想是将模型的训练过程与数据的存储分离开来,保护用户的隐私。在联邦学习中,中心服务器只接收和聚合模型参数的更新,无法直接访问用户的原始数据。这样一来,用户的数据可以始终保持在本地,不需要传输到中心服务器,从而减少了隐私泄露的风险。联邦学习适用于数据分布广泛且规模庞大的场景,如智能手机、物联网设备等。它可以利用这些分布式设备上的数据来训练模型,从而提高模型的效果和普适性,同时又能保护用户数据的隐私。联邦学习在医疗、金融、智能交通等领域有着广泛的应用前景,并且近年来取得了令人瞩目的研究进展。[0046] 研究表明,现今的大模型还受限于庞大的计算需求和存储需求而无法应用于数据隐私保护背景下,并且学术界暂时还没有这方面的研究成果。联邦学习作为数据隐私保护领域的一种重要技术,可以通过将大模型与联邦学习结合的方法实现大模型在数据隐私保护领域的应用。但是,两者的结合也同样还存在着一系列的问题。例如如何才能在不违背联邦学习中隐私数据不共享的原则下正常运行大模型、联邦学习系统的网络如何承担起大模型与服务器之间的交互的通信、联邦本地客户端是否拥有足够算力和存储空间去支撑大模型的训练等。基于这些情况,本发明提出了一种数据隐私保护背景下的基于相互知识转移的联邦学习优化方法。该方法的提出不仅可以扩展大模型在数据隐私保护领域的应用,还可以提升联邦学习的模型性能、泛化能力等方面,扩展联邦学习的应用,提升联邦学习在数据隐私领域的地位。[0047] 具体实施时,在一个联邦学习系统中,中央服务器拥有足够的算力资源和存储资源去支撑大模型的正常运行。将一个大模型部署在中央服务器上,并存储其对应的数据集。[0048] 步骤2,将大模型作为教师模型,在中央服务器通过知识蒸馏将大模型的知识迁移至蒸馏后的学生模型上;[0049] 具体实施时,考虑到联邦系统的本地客户端可能无法正常运行大模型,所以通过知识蒸馏这一大模型知识迁移技术,使学习了大模型知识后的模型可以在本地客户端正常训练。可以以存储的大模型的数据集作为输入,通过知识蒸馏技术,提取大模型的知识作为指导条件去指导学生模型的训练,得到一个学习了大模型知识的学生模型。[0050] 知识蒸馏是一种重要的机器学习技术,也被称为教师‑学生神经网络学习算法,它旨在通过迁移大型模型(教师模型)的知识到小型模型(学生模型)来提高模型的性能和泛化能力。其核心思想是将教师模型的综合知识转化为更精简、更有效的表示形式。在大模型知识蒸馏中,通常存在两种主要的类别:标准知识蒸馏和基于EA(涌现能力)的知识蒸馏。[0051] 标准知识蒸馏的主要目标是使学生模型学习到大型语言模型(LLM)所具备的常见知识,比如输出分布和特征信息等。而基于EA的知识蒸馏则不仅迁移LLM的常识性知识,还侧重于蒸馏出LLM的涌现能力。这种涌现能力是指LLM在处理复杂任务时所表现出的令人惊讶的能力,具体包含上下文学习(ICL)、思维链(CoT)和指令遵循(IF)等方面。[0052] 在实际应用中,大模型知识蒸馏的过程可以根据具体的任务需求,选择适当的知识蒸馏方法来学习大模型的知识。这样,学生模型不仅能够保持较高的性能,还能够减少计算资源和存储空间的占用,实现模型的压缩和加速。[0053] 例如,大模型知识蒸馏的具体过程可以如下所示:[0054] 其中大模型知识蒸馏的过程可以根据任务需求,选择恰当的知识蒸馏方法学习大模型的知识。下面介绍一种普通的大模型知识蒸馏方法,具体过程如下:[0055] 设样本训练样本数为N,类别数为C。 是教师模型教导学生模型学习的损失函数:[0056][0057] 其中[0058][0059][0060] 其中,N表示模型训练样本数量,p表示教师模型的输出,q表示学生模型的输出,T表示温度, 表示教师模型输出的对于第i个类别的概率预测值, 是学生模型输出的对于第i个类别的概率预测值, 表示教师网络中第i个样本在温度T时的输出, 表示学生网络中第i个样本在温度T时的输出, 表示第i个样本,表示第j个样本, 表示第k个样本。[0061] 是学生模型自己跟着真实标签学习的损失函数:[0062][0063] 其中[0064][0065] 其实和常规模型是一样的,就是根据训练集的标签来学习。上面公式中g就是真实标签,也就是计算学生模型的输出结果q和标签g的交叉熵。[0066] 总损失为:[0067][0068] 其中 和 是平衡蒸馏损失和学生损失的参数,且 。[0069] 步骤3,将学生模型作为联邦学习系统的初始模型,并下发给联邦系统的本地客户端;[0070] 具体实施时,在训练得到学生模型后,可以将学生模型作为联邦学习系统的初始模型,并下发给联邦系统的本地客户端。[0071] 步骤4,本地客户端根据下发的初始模型,将其复制作为学生模型保存在本地,然后各个本地客户端根据自己的本地数据集作为模型的输入,训练初始模型并更新初始模型参数,得到本轮训练后的一代本地模型;[0072] 具体实施时,对于服务器下发的初始模型,也就是大模型蒸馏后的学生模型,首先复制一份学生模型保存在本地,然后各个本地客户端在根据自己的本地私有数据集训练服务器下发的模型,训练完成后得到该客户端本轮训练的一代本地模型。[0073] 步骤5,将使用本地数据集训练后的一代本地模型通过相互知识转移技术继续学习学生模型的知识,得到该本地客户端本轮训练的二代本地模型;[0074] 在上述实施例的基础上,所述步骤5具体包括:[0075] 步骤5.1,将本地客户端 的数据集 分成L个小批,大小为 ,记为;[0076] 步骤5.2,将使用本地数据集训练后的一代本地模型通过最小化给定的损失函数来模仿学生模型的输出,遍历本地客户端 的本地数据集 的小批量,并最小化损失函数,更新一代本地模型 ,得到第 个本地客户端在第t轮训练中得到的二代本地模型。[0077] 进一步的,所述最小化给定的损失函数的表达式为[0078][0079] 其中, 为 中数据样本的真标签集, 是 中的第z个样本的真实标签, 是第k个本地客户端在第t轮训练中利用本地私有数据训练得到的一代本地模型, 是全局模型产生的软预测, 是学生模型产生的软预测:[0080][0081][0082] 其中 和 是两个长度为C的向量,表示在小批量 中的第z个数据样本的软预测, 是大模型知识蒸馏后的学生网络;[0083] 表示真标签与软预测之间的交叉熵误差[0084][0085] 其中 是 单热向量, 中的所有元素都是零,除了第 个元素是1,损失函数中的第二项为量化两个网络软预测匹配的KL发散,表达式为:[0086] ;[0087] 所述二代本地模型的表达式为[0088][0089] 其中,为相互知识转移的学习速率。[0090] 具体实施时,相互知识转移是一代本地模型通过模仿学生模型的输出来达到学习对方知识的目的,具体过程如下:[0091] 将本地客户端 的数据集 分成L个小批,大小为 ,记为 ,两个模型不同的“专业知识”导致它们的softmax层的输出不同,也就是对同一小批量数据样本的软预测。[0092] 在此基础上,为了相互传递知识,通过最小化给定的损失函数来模仿学生网络的输出[0093][0094] 其中 为 中数据样本的真标签集, 是 中的第z个样本的真实标签, 是第k个客户端在第t轮训练中利用本地私有数据训练得到的一代本地模型。 是全局模型产生的软预测, 是学生模型产生的软预测:[0095][0096] 其中 和 是两个长度为C的向量,表示在小批量 中的第z个数据样本的软预测, 是大模型知识蒸馏后的学生网络。[0097] 损失函数中的 表示真标签与软预测之间的交叉熵误差[0098] ;[0099] 其中 是 单热向量, 中的所有元素都是零,除了第 个元素是1。损失函数中的第二项是量化两个网络软预测匹配的KL发散,给出如下:[0100] ;[0101] 则一代本地模型通过学习学生网络之后更新为[0102][0103] 其中, 为相互知识转移的学习速率。遍历客户端 的本地数据集 的小批量,并最小化损失函数,更新 ,得到第 个客户端在第t轮训练中得到的二代本地模型。[0104] 步骤6,在一轮训练中,每个本地客户端将自己的二代本地模型上传至服务器,服务器将本地客户端上传的二代本地模型进行模型聚合,得到本轮训练的全局模型;[0105] 在上述实施例的基础上,所述步骤6具体包括:[0106] 每个本地客户端发送二代本地模型 至服务器进行聚合,得到第t轮训练的全局模型 ,然后t自加1,进行下一轮的迭代训练。[0107] 进一步的,所述步骤6中聚合采用的方法为联邦平均算法。[0108] 具体实施时,联邦模型的具体训练过程,主要分为下面3个步骤:[0109] ①任务初始化:在训练开始之前,服务器首先要确定训练的任务和目标,并选择参与联邦学习的设备,然后把上述大模型知识蒸馏得到的学生模型发送给已选择的设备。[0110] ②本地训练与共享:每个设备利用私有数据训练本地模型。训练的目标就是找到最佳的本地模型。设备训练完之后把模型参数上传到服务器,进行下一步操作。[0111] ③全局聚合与更新:服务器收集到来自所有参与设备的本地模型后,进行模型参数聚合。典型的聚合操作是平均算法FedAvg,联邦学习服务器通过平均本地模型参数得到本轮的聚合全局模型,然后通过相互知识转移技术学习大模型的知识,得到本轮最终的全局模型,目标是找到最佳的全局模型。[0112] 上述步骤将会依次迭代进行,当全局模型收敛或者达到一定的准确率时结束训练。[0113] 对于联邦学习的聚合过程,这里可以使用联邦平均算法,当然也可以使用其它的模型聚合算法,实际应用中可以根据任务要求等选择合适的聚合算法进行联邦学习以便训练出更好的模型,得到更好的模型效果。[0114] 步骤7,将上一轮训练后的全局模型再次下发给联邦系统的各个本地客户端,本地客户端再次利用本地数据集训练本轮的本地模型,然后重复步骤5和步骤6进行迭代训练,直至最后一轮训练完成后的全局模型收敛,结束训练过程。[0115] 具体实施时,可以继续将上一轮训练得到的最终全局模型下发给各个参与方,各个参与方再次根据本地数据集训练本地模型,然后重复步骤5和步骤6进行迭代训练,直至最后一轮训练后的最终全局模型收敛,则结束所有训练过程。[0116] 本实施例提供的基于相互知识转移的联邦学习优化方法,通过利用知识蒸馏和相互知识转移技术学习大模型的知识,可以扩展大模型在数据隐私领域的应用,使大模型的应用更广泛,同时让联邦学习的模型可以学习大模型的知识,提升模型的性能、泛化能力等,进一步拓展了联邦学习在数据隐私保护领域的应用。[0117] 应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。[0118] 以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。

专利地区:湖南

专利申请日期:2024-06-18

专利公开日期:2024-09-03

专利公告号:CN118364898B


以上信息来自国家知识产权局,如信息有误请联系我方更正!
电话咨询
读内容
搜本页
回顶部