可左右滑动选省市

一种基于领域对抗训练的情感分析方法发明专利

更新时间:2024-07-01
一种基于领域对抗训练的情感分析方法发明专利 专利申请类型:发明专利;
地区:四川-成都;
源自:成都高价值专利检索信息库;

专利名称:一种基于领域对抗训练的情感分析方法

专利类型:发明专利

专利申请号:CN202210529801.1

专利申请(专利权)人:电子科技大学
权利人地址:四川省成都市高新区(西区)西源大道2006号

专利发明(设计)人:刘欣刚,潘多,贺川圳,庄晓淦

专利摘要:本发明公开了一种基于领域对抗训练的情感分析方法,属于自然语言处理技术领域。本发明所述方法主要包括以下步骤:数据预处理与文本表示,构建对抗训练网络,设定对抗网络的初始参数并迭代更新,利用完成训练的网络对目标域数据中的所有输入文字序列进行序列标注。本发明所述方法利用领域对抗训练达到了模型跨域学习的目标,采用半监督的学习方式,通过为目标域无标记数据设置伪标签,使得教师网络与学生网络的学习能力趋于一致,从而提高模型对共享特征的提取能力。本发明所述方法利用语义距离动态加权和注意力机制相结合的方式,提高模型对领域特有特征的提取能力,最终使得模型在跨域场景下能达到良好的细粒度情感分类效果。

主权利要求:
1.一种基于领域对抗训练的情感分析方法,其特征在于,包括以下步骤:S1:数据预处理与文本表示
源域数据和目标域数据分别作为输入文字序列集合,将输入文字序列集合中的每个输入文字序列拆分为上文部分、方面词部分和下文部分,对每个部分执行分词操作和词嵌入操作,获取词向量表示;
S2:构建对抗训练网络
构建对抗训练网络,对抗训练网络包括教师网络、学生网络和领域分类器;教师网络和学生网络的结构相同,均为依次连接的特征提取器和序列标注器,分别对输入数据进行特征提取和序列标注;领域分类器对输入数据进行领域鉴别;
S3:设定教师网络的初始参数 和学生网络的初始参数 令当前迭代次数Iter=1;
S4:将源域数据及进行预处理后的词向量表示输入至学生网络的特征提取器,获取源域数据的特征;将源域数据的特征输入至学生网络的序列标注器,获取源域数据中各词对应的序列分类概率分布和标注符号;将源域数据的特征输入至领域分类器,获取源域数据的领域类别标签;
将目标域数据及进行预处理后的词向量表示输入至学生网络的特征提取器,获取学生网络提取的目标域数据的特征,并输入至学生网络的序列标注器,获取学生网络预测的目标域数据中各词对应的序列分类概率分布和标注符号;将目标域数据的特征输入至领域分类器,获取目标域数据的领域类别标签;
将目标域数据及进行预处理后的词向量表示输入至教师网络的特征提取器,获取教师网络提取的目标域数据的特征,并输入至教师网络的序列标注器,获取教师网络预测的目标域数据中各词对应的序列分类概率分布和标注符号,教师网络预测的目标域数据中各词对应的标注符号作为伪标签;
S5:根据教师网络输出的序列分类概率分布设定掩码矩阵Mpq进行过滤;
S6:计算学生网络的序列标注损失函数Llabel、领域分类器的交叉熵损失函数Ldom和基于伪标签修正的一致性损失函数Lmse;
S7:通过优化Llabel和Lmse更新学生网络中序列标注器的参数,通过优化Ldom更新领域分类器的参数,通过最小化三者之和L更新学生网络中特征提取器的参数;更新后的学生网络参数 为更新后学生网络中序列标注器的参数与更新后学生网络中特征提取器的参数的组合;
S8:利用学生网络参数 的指数移动均值更新教师网络参数
S9:判断两次迭代之间的L值的差值是否小于设定精度阈值,若否,令当前迭代次数Iter=Iter+1,返回执行S4,若是,完成训练,记录当前教师网络参数;
S10:利用完成训练的教师网络对目标域数据中的所有输入文字序列进行序列标注。
2.根据权利要求1所述的基于领域对抗训练的情感分析方法,其特征在于,S1的具体过程为:S1.1:对于每个输入文字序列,根据方面词的位置将输入文字序列拆分为上文部分、方面词部分和下文部分,上文部分为位于方面词左边的部分序列,下文部分为位于方面词右边的部分序列;
S1.2:分别对上文部分、方面词部分和下文部分进行分词,得到各部分对应的词元;
S1.3:对各部分对应的词元分别进行词嵌入操作,生成各部分对应的词向量表示。
3.根据权利要求2所述的基于领域对抗训练的情感分析方法,其特征在于,对抗训练网络中,特征提取器包含依次连接的语义动态加权层、BiLSTM网络和注意力层;特征提取器对输入文字序列及预处理后的词向量表示进行处理的具体过程为:步骤1:语义动态加权层解析输入文字序列对应的依存句法树,计算上文部分和下文部分在依存句法树中对应的节点与方面词节点间的语义相对距离:其中,SRDi表示第i个节点与方面词节点间的语义相对距离,pa表示依存句法树中方面词节点的中心位置,m表示方面词的序列长度,||表示取绝对值, 表示向下取整;
步骤2:语义动态加权层根据语义相对距离生成不同的权重来表示上文部分和下文部分中各词对于情感判别的重要程度,第i个节点对应词的权重wi为:其中,I表示全为1的向量,维度与第i个节点对应词的词向量维度相同;α为设定的语义相对距离阈值,N表示输入文字序列的序列长度;
语义动态加权层使用权重wi对上文部分和下文部分的词向量表示进行动态加权;
步骤3:将动态加权后的上文部分的词向量表示、方面词的词向量表示和动态加权后的下文部分的词向量分别输入BiLSTM网络中,获取上文部分、方面词部分和下文部分的语义相关性特征;
步骤4:注意力层首先将上文部分、方面词部分和下文部分的语义相关性特征两两组合,得到三个组合,然后对于每个组合执行以下步骤:构造当前组合中两者的相关性矩阵M:
T
M=σ(H1H2)
其中,σ表示激活函数,H1和H2分别表示当前组合中的两部分的语义相关性特征,上标T表示转置;
对M分别按列和行执行softmax操作,得到H2相对于H1中各个词的相关性权重ω1和H1相T T对于H2中各个词的相关性权重ω2,使用ω1和ω2分别对H1H2 和H2H1加权,得到H2相对于H1的相关性表示V1和H1相对于H2的相关性表示V2;
对V1和V2再次执行softmax操作,得到H1和H2对应的注意力权重a1和a2,使用a1和a2分别对H1和H2加权,得到融合注意力的特征;
将三个组合对应的融合注意力的特征进行拼接,得到输入文字序列对应的特征。
4.根据权利要求3所述的基于领域对抗训练的情感分析方法,其特征在于,对抗训练网络中,序列标注器为第一分类网络,分类网络由全连接层和softmax函数构成;输入文字序列对应的特征输入至第一分类网络,得到输入文字序列的标注符号;
输入文字序列对应的特征输入至第一分类网络,得到序列分类概率分布:
yj=softmax(WyXj+by)
其中,yj表示输入文字序列中第j个词的序列分类概率,Wy和by分别表示第一分类网络中全连接层的权重矩阵和偏置项;softmax表示softmax函数,Xj表示输入文字序列中第j个词对应的特征;
通过序列分类概率确定输入文字序列中各词对应的标注符号,标注符号将同时指示当前词是否为方面词以及方面词的情感极性。
5.根据权利要求4所述的基于领域对抗训练的情感分析方法,其特征在于,对抗训练网络中,领域分类器为依次连接的梯度反转层和第二分类网络,输入文字序列对应的特征输入至领域分类器,得到领域类别标签:其中,表示当前输入文字序列对应的预测领域类别标签,Wdc和bdc分别表示第二分类网络中全连接层的权重矩阵和偏置项,Rλ表示梯度反转层函数,X表示输入文字序列对应的特征。
6.根据权利要求5所述的基于领域对抗训练的情感分析方法,其特征在于,S5中,掩码矩阵Mpq为:其中,max表示取最大值, 代表教师网络中的序列标注器计算出目标域数据中第p个输入文字序列中的第q个词的序列分类概率分布; 则表示目标域数据中第p个输入文字序列中的第q个词的伪标签;将伪标签集合按照伪标签是否指示为方面词分为两个伪标签子集,αl′表示伪标签子集yl′的置信度阈值,l′=1,2。
7.根据权利要求6所述的基于领域对抗训练的情感分析方法,其特征在于,S6中,学生网络的序列标注损失函数Llabel、领域分类器的交叉熵损失函数Ldom和基于伪标签修正的一致性损失函数Lmse分别为:其中,1≤n≤Ns,Ns为源域数据中输入文字序列数目;1≤p≤Nt,Nt为目标域数据的输入文字序列数目;TWn表示源域数据中第n个输入文字序列的词总数;lnk为源域数据中第n个输入文字序列第k个词对应的标注符号; 为学生网络中的序列标注器计算出源域数据中第n个输入文字序列第k个词的概率分布;1≤l≤Ns+Nt, 表示领域分类器预测的源域数据和目标域数据中第l个输入文字序列的预测领域类别标签,dl表示源域数据和目标域数据中第l个输入文字序列的真实领域类别标签;1≤q≤TWp,TWp表示目标域数据中第p个输入文字序列中的词总数; 表示学生网络中的序列标注器计算出目标域数据中第p个输入文字序列2
中的第q个词的概率分布;||||表示求二范数平方。
8.根据权利要求7所述的基于领域对抗训练的情感分析方法,其特征在于,S7中,三者之和L表示为:L=Llabel+λdomLdom+λmseLmse
其中,λdom和λmse是控制Ldom和Lmse相对平衡的超参数。
9.根据权利要求8所述的基于领域对抗训练的情感分析方法,其特征在于,S8中,利用学生网络参数 的指数移动均值更新教师网络参数其中,μ为调整系数。 说明书 : 一种基于领域对抗训练的情感分析方法技术领域[0001] 本发明属于自然语言处理技术领域,具体涉及一种基于领域对抗训练的情感分析方法。背景技术[0002] 随着互联网进程的推进,社交软件和线上媒体成为了重要的信息承载平台,积累了大量文本数据。充分挖掘和分析文本数据背后的情感倾向在舆情监督、电子商务、行为判别等多种领域发挥着至关重要的作用,能为决策提供指导性意见。随着信息技术的发展和应用场景的多元化,各种交叉复合型领域层出不穷。然而,新兴领域往往伴随着数据匮乏的问题,缺乏足够的标记数据使得深度学习模型无法发挥出最大效能。人工标注数据的方法不仅浪费大量的人力资源和时间成本,而且需要各环节的紧密配合,显得不够灵活和便捷。因此,利用现有领域的标注数据实现资源的最大化利用显得尤为关键。[0003] 根据分析对象的层级,情感分析方法可分为粗粒度情感分析方法和细粒度情感分析方法。粗粒度情感分析方法旨在根据篇章级别的文本信息判定整个文本的情感极性,分析不够细致且资源浪费率较高。细粒度情感分析方法则是根据输入文本中具体涉及的方面词判定对应的情感极性,因此会得到更为全面的分析结果。但是,由于粗粒度情感分析方法中可供参考的资源更为丰富,现有大多数跨领域情感分析方法是基于粗粒度完成的,对于基于细粒度的跨域情感分析的研究不足。领域对抗训练是一种迁移学习思想,基于对抗训练的神经网络一般包含特征提取器、领域分类器和任务分类器三个部分,特征提取器和领域分类器因为目标相反而导致整体网络会进行最小‑最大化(min‑max)博弈,由此提取出领域共享特征,实现知识迁移。然而,由于只将目标域的未标记数据用于领域分类,造成了一定程度的资源浪费,因此急需新方法解决上述问题。发明内容[0004] 本发明的目的是针对现有技术对语义特征提取不充分和未对目标域数据进行最大化利用的技术问题,提供一种基于领域对抗训练的情感分析方法。[0005] 本发明所提出的技术问题是这样解决的:[0006] 一种基于领域对抗训练的情感分析方法,包括以下步骤:[0007] S1:数据预处理与文本表示[0008] 源域数据和目标域数据分别作为输入文字序列集合,将输入文字序列集合中的每个输入文字序列拆分为上文部分、方面词部分和下文部分,对每个部分执行分词操作和词嵌入操作,获取词向量表示;[0009] S2:构建对抗训练网络[0010] 构建对抗训练网络,对抗训练网络包括教师网络、学生网络和领域分类器;教师网络和学生网络的结构相同,均为依次连接的特征提取器和序列标注器,分别对输入数据进行特征提取和序列标注;领域分类器对输入数据进行领域鉴别;[0011] S3:设定教师网络的初始参数 和学生网络的初始参数 令当前迭代次数Iter=1;[0012] S4:将源域数据及进行预处理后的词向量表示输入至学生网络的特征提取器,获取源域数据的特征;将源域数据的特征输入至学生网络的序列标注器,获取源域数据中各词对应的序列分类概率分布和标注符号;将源域数据的特征输入至领域分类器,获取源域数据的领域类别标签;[0013] 将目标域数据及进行预处理后的词向量表示输入至学生网络的特征提取器,获取学生网络提取的目标域数据的特征,并输入至学生网络的序列标注器,获取学生网络预测的目标域数据中各词对应的序列分类概率分布和标注符号;将目标域数据的特征输入至领域分类器,获取目标域数据的领域类别标签;[0014] 将目标域数据及进行预处理后的词向量表示输入至教师网络的特征提取器,获取教师网络提取的目标域数据的特征,并输入至教师网络的序列标注器,获取教师网络预测的目标域数据中各词对应的序列分类概率分布和标注符号,教师网络预测的目标域数据中各词对应的标注符号作为伪标签;[0015] S5:根据教师网络输出的序列分类概率分布设定掩码矩阵Mpq进行过滤;[0016] S6:计算学生网络的序列标注损失函数Llabel、领域分类器的交叉熵损失函数Ldom和基于伪标签修正的一致性损失函数Lmse;[0017] S7:通过优化Llabel和Lmse更新学生网络中序列标注器的参数,通过优化Ldom更新领域分类器的参数,通过最小化三者之和L更新学生网络中特征提取器的参数;更新后的学生网络参数 为更新后学生网络中序列标注器的参数与更新后学生网络中特征提取器的参数的组合;[0018] S8:利用学生网络参数 的指数移动均值更新教师网络参数[0019] S9:判断两次迭代之间的L值的差值是否小于设定精度阈值,若否,令当前迭代次数Iter=Iter+1,返回执行S4,若是,完成训练,记录当前教师网络参数;[0020] S10:利用完成训练的教师网络对目标域数据中的所有输入文字序列进行序列标注。[0021] 进一步的,S1的具体过程为:[0022] S1.1:对于每个输入文字序列,根据方面词的位置将输入文字序列拆分为上文部分、方面词部分和下文部分,上文部分为位于方面词左边的部分序列,下文部分为位于方面词右边的部分序列;[0023] S1.2:分别对上文部分、方面词部分和下文部分进行分词,得到各部分对应的词元;[0024] S1.3:对各部分对应的词元分别进行词嵌入操作,生成各部分对应的词向量表示。[0025] 进一步的,对抗训练网络中,特征提取器包含依次连接的语义动态加权层、BiLSTM网络和注意力层;特征提取器对输入文字序列及预处理后的词向量表示进行处理的具体过程为:[0026] 步骤1:语义动态加权层解析输入文字序列对应的依存句法树,计算上文部分和下文部分在依存句法树中对应的节点与方面词节点间的语义相对距离:[0027][0028] 其中,SRDi表示第i个节点与方面词节点间的语义相对距离,pa表示依存句法树中方面词节点的中心位置,m表示方面词的序列长度,||表示取绝对值, 表示向下取整;[0029] 步骤2:语义动态加权层根据语义相对距离生成不同的权重来表示上文部分和下文部分中各词对于情感判别的重要程度,第i个节点对应词的权重wi为:[0030][0031] 其中,I表示全为1的向量,维度与第i个节点对应词的词向量维度相同;α为设定的语义相对距离阈值,N表示输入文字序列的序列长度;[0032] 语义动态加权层使用权重wi对上文部分和下文部分的词向量表示进行动态加权;[0033] 步骤3:将动态加权后的上文部分的词向量表示、方面词的词向量表示和动态加权后的下文部分的词向量分别输入BiLSTM网络中,获取上文部分、方面词部分和下文部分的语义相关性特征;[0034] 步骤4:注意力层首先将上文部分、方面词部分和下文部分的语义相关性特征两两组合,得到三个组合,然后对于每个组合执行以下步骤:[0035] 构造当前组合中两者的相关性矩阵M:[0036] M=σ(H1H2T)[0037] 其中,σ表示激活函数,H1和H2分别表示当前组合中的两部分的语义相关性特征,上标T表示转置;[0038] 对M分别按列和行执行softmax操作,得到H2相对于H1中各个词的相关性权重ω1和T TH1相对于H2中各个词的相关性权重ω2,使用ω1和ω2分别对H1H2和H2H1加权,得到H2相对于H1的相关性表示V1和H1相对于H2的相关性表示V2;[0039] 对V1和V2再次执行softmax操作,得到H1和H2对应的注意力权重a1和a2,使用a1和a2分别对H1和H2加权,得到融合注意力的特征;[0040] 将三个组合对应的融合注意力的特征进行拼接,得到输入文字序列对应的特征。[0041] 进一步的,对抗训练网络中,序列标注器为第一分类网络,分类网络由全连接层和softmax函数构成;输入文字序列对应的特征输入至第一分类网络,得到输入文字序列的标注符号;[0042] 输入文字序列对应的特征输入至第一分类网络,得到序列分类概率分布:[0043] yj=softmax(WyXj+by)[0044] 其中,yj表示输入文字序列中第j个词的序列分类概率,Wy和by分别表示第一分类网络中全连接层的权重矩阵和偏置项;softmax表示softmax函数,Xj表示输入文字序列中第j个词对应的特征;[0045] 通过序列分类概率确定输入文字序列中各词对应的标注符号,标注符号将同时指示当前词是否为方面词以及方面词的情感极性。[0046] 进一步的,对抗训练网络中,领域分类器为依次连接的梯度反转层和第二分类网络,输入文字序列对应的特征输入至领域分类器,得到领域类别标签:[0047][0048] 其中,表示当前输入文字序列对应的预测领域类别标签,Wdc和bdc分别表示第二分类网络中全连接层的权重矩阵和偏置项,Rλ表示梯度反转层函数,X表示输入文字序列对应的特征。[0049] 进一步的,S5中,掩码矩阵Mpq为:[0050][0051] 其中,max表示取最大值, 代表教师网络中的序列标注器计算出目标域数据中第p个输入文字序列中的第q个词的序列分类概率分布; 则表示目标域数据中第p个输入文字序列中的第q个词的伪标签;将伪标签集合按照伪标签是否指示为方面词分为两个伪标签子集,αl'表示伪标签子集yl'的置信度阈值,l'=1,2。[0052] 进一步的,S6中,学生网络的序列标注损失函数Llabel、领域分类器的交叉熵损失函数Ldom和基于伪标签修正的一致性损失函数Lmse分别为:[0053][0054][0055][0056] 其中,1≤n≤Ns,Ns为源域数据中输入文字序列数目;1≤p≤Nt,Nt为目标域数据的输入文字序列数目;TWn表示源域数据中第n个输入文字序列的词总数;lnk为源域数据中第n个输入文字序列第k个词对应的标注符号; 为学生网络中的序列标注器计算出源域数据中第n个输入文字序列第k个词的概率分布;1≤l≤Ns+Nt, 表示领域分类器预测的源域数据和目标域数据中第l个输入文字序列的预测领域类别标签,dl表示源域数据和目标域数据中第l个输入文字序列的真实领域类别标签;1≤q≤TWp,TWp表示目标域数据中第p个输入文字序列中的词总数; 表示学生网络中的序列标注器计算出目标域数据中第p个输入文2字序列中的第q个词的概率分布;||||表示求二范数平方。[0057] 进一步的,S7中,三者之和L表示为:[0058] L=Llabel+λdomLdom+λmseLmse[0059] 其中,λdom和λmse是控制Ldom和Lmse相对平衡的超参数。[0060] 进一步的,S8中,利用学生网络参数 的指数移动均值更新教师网络参数[0061][0062] 其中,μ为调整系数。[0063] 本发明的有益效果是:[0064] 本发明所述方法利用领域对抗训练达到了模型跨域学习的目标,采用半监督的学习方式,通过为目标域无标记数据设置伪标签,使得教师网络与学生网络的学习能力趋于一致,从而提高模型对共享特征的提取能力。此外,本发明所述方法利用语义距离动态加权和注意力机制相结合的方式,提高模型对领域特有特征的提取能力,最终使得模型在跨域场景下能达到良好的细粒度情感分类效果。附图说明[0065] 图1为本发明所述方法中对抗训练网络的结构示意图;[0066] 图2为本发明所述方法中特征提取器的结构示意图;[0067] 图3为本发明所述方法中领域分类器的结构示意图。具体实施方式[0068] 下面结合附图和实施例对本发明进行进一步的说明。[0069] 本实施例提供一种基于领域对抗训练的情感分析方法,包括以下步骤:[0070] S1:数据预处理与文本表示[0071] 源域数据和目标域数据分别作为输入文字序列集合,源域数据为带有标注符号的数据,目标域数据不带有标注符号;[0072] 将输入文字序列集合中的每个输入文字序列拆分为上文部分、方面词部分和下文部分,针对每个部分执行分词操作和词嵌入操作,获取词向量表示;[0073] S1的具体过程为:[0074] S1.1:对于每个输入文字序列,根据方面词的位置将输入文字序列拆分为上文部分、方面词部分和下文部分,上文部分为位于方面词左边的部分序列,下文部分为位于方面词右边的部分序列;[0075] S1.2:分别对上文部分、方面词部分和下文部分进行分词,得到各部分对应的词元;[0076] S1.3:对各部分对应的词元分别进行词嵌入操作,生成各部分对应的词向量表示。[0077] S2:构建对抗训练网络[0078] 构建对抗训练网络,其结构示意图如图1所示,对抗训练网络包括教师网络、学生网络和领域分类器;教师网络和学生网络的结构相同,均为依次连接的特征提取器和序列标注器,分别对输入数据进行特征提取和序列标注;领域分类器对输入数据进行领域鉴别;[0079] 对抗训练网络中,特征提取器的结构示意图如图2所示,包含依次连接的语义动态加权层、BiLSTM网络和注意力层;基于语义相对距离对上下文部分进行动态加权,使用BiLSTM网络提取加权后各部分的语义信息,结合注意力机制提取词级别的交互信息;[0080] 特征提取器对输入文字序列及预处理后的词向量表示进行处理的具体过程为:[0081] 步骤1:语义动态加权层解析输入文字序列对应的依存句法树,衡量依存句法树中各个节点之间的语义相关性,计算上文部分和下文部分在依存句法树中对应的节点与方面词节点间的语义相对距离:[0082][0083] 其中,SRDi表示第i个节点与方面词节点间的语义相对距离,pa表示依存句法树中方面词节点的中心位置,m表示方面词的序列长度,||表示取绝对值, 表示向下取整;[0084] 步骤2:为了削弱与情感判别无关的词带来的负面影响,语义动态加权层需要对上文部分和下文部分进行处理,即根据语义相对距离生成不同的权重来表示上文部分和下文部分中各词对于情感判别的重要程度,第i个节点对应词的权重wi为:[0085][0086] 其中,I表示全为1的向量,维度与第i个节点对应词的词向量维度相同;α为设定的语义相对距离阈值,N表示输入文字序列的序列长度;[0087] 语义动态加权层使用权重wi对上文部分和下文部分的词向量表示进行动态加权;[0088] 步骤3:为了同时获取输入文字序列的前向信息和后向信息,融合更丰富的语义特征,将动态加权后的上文部分的词向量表示、方面词的词向量表示和动态加权后的下文部分的词向量分别输入BiLSTM网络中,获取上文部分、方面词部分和下文部分的语义相关性特征;[0089] 步骤4:注意力层首先将上文部分、方面词部分和下文部分的语义相关性特征两两组合,得到三个组合,然后对于每个组合执行以下步骤:[0090] 构造当前组合中两者的相关性矩阵M:[0091] M=σ(H1H2T)[0092] 其中,σ表示激活函数,H1和H2分别表示当前组合中的两部分的语义相关性特征,上标T表示转置;[0093] 对M分别按列和行执行softmax操作,得到H2相对于H1中各个词的相关性权重ω1和T TH1相对于H2中各个词的相关性权重ω2,使用ω1和ω2分别对H1H2和H2H1加权,得到H2相对于H1的相关性表示V1和H1相对于H2的相关性表示V2;[0094] 对V1和V2再次执行softmax操作,得到H1和H2对应的注意力权重a1和a2,使用a1和a2分别对H1和H2加权,得到融合注意力的特征;[0095] 将三个组合对应的融合注意力的特征进行拼接,得到输入文字序列对应的特征。[0096] 对抗训练网络中,序列标注器为第一分类网络,分类网络由全连接层和softmax函数构成;输入文字序列对应的特征输入至第一分类网络,得到输入文字序列的标注符号;[0097] 输入文字序列对应的特征输入至第一分类网络,得到序列分类概率分布:[0098] yj=softmax(WyXj+by)[0099] 其中,yj表示输入文字序列中第j个词的序列分类概率,Wy和by分别表示第一分类网络中全连接层的权重矩阵和偏置项;softmax表示softmax函数,Xj表示输入文字序列中第j个词对应的特征;[0100] 通过序列分类概率确定输入文字序列中各词对应的标注符号,标注符号将同时指示当前词是否为方面词以及方面词的情感极性(若当前词为方面词)。[0101] 对抗训练网络中,领域分类器的结构示意图如图3所示,为依次连接的梯度反转层和第二分类网络,输入文字序列对应的特征输入至领域分类器,对输入文字序列进行领域鉴别;[0102] 输入文字序列对应的特征输入至领域分类器,得到领域类别标签:[0103][0104] 其中,表示当前输入文字序列对应的预测领域类别标签,Wdc和bdc分别表示第二分类网络中全连接层的权重矩阵和偏置项,Rλ表示梯度反转层函数,X表示输入文字序列对应的特征。[0105] S3:设定教师网络的初始参数 和学生网络的初始参数 令当前迭代次数Iter=1,开始迭代;[0106] S4:将源域数据及进行预处理后的词向量表示输入至学生网络的特征提取器,获取源域数据的特征;将源域数据的特征输入至学生网络的序列标注器,获取源域数据中各词对应的标注符号;将源域数据的特征输入至领域分类器,获取源域数据的领域类别标签;[0107] 将目标域数据及进行预处理后的词向量表示输入至学生网络的特征提取器,获取学生网络提取的目标域数据的特征,并输入至学生网络的序列标注器,获取学生网络预测的目标域数据中各词对应的标注符号;将目标域数据的特征输入至领域分类器,获取目标域数据的领域类别标签;[0108] 将目标域数据及进行预处理后的词向量表示输入至教师网络的特征提取器,获取教师网络提取的目标域数据的特征,并输入至教师网络的序列标注器,获取教师网络预测的目标域数据中各词对应的标注符号作为伪标签;[0109] S5:根据教师网络输出的序列分类概率分布与置信度阈值的比较结果设计掩码矩阵Mpq进行过滤:[0110][0111] 其中,max表示取最大值, 代表教师网络中的序列标注器计算出目标域数据中第p个输入文字序列中的第q个词的序列分类概率分布; 则表示目标域数据中第p个输入文字序列中的第q个词的伪标签;将伪标签集合按照伪标签是否指示为方面词分为两个伪标签子集,αl'表示伪标签子集yl'的置信度阈值,l'=1,2。[0112] 为了合理地设置伪标签,避免标注符号分布不均衡导致模型偏向于预测占比大的标注符号,可从解决数据分布不平衡的角度出发,根据教师网络输出的序列分类概率分布对教师网络生成的伪标签集进行子集划分。[0113] S6:在前向传播阶段,计算学生网络的序列标注损失函数Llabel、领域分类器的交叉熵损失函数Ldom和基于伪标签修正的一致性损失函数Lmse:[0114][0115][0116][0117] 其中,1≤n≤Ns,Ns为源域数据中输入文字序列数目;1≤p≤Nt,Nt为目标域数据的输入文字序列数目;TWn表示源域数据中第n个输入文字序列的词总数;lnk为源域数据中第n个输入文字序列第k个词对应的标注符号; 为学生网络中的序列标注器计算出源域数据中第n个输入文字序列第k个词的概率分布;1≤l≤Ns+Nt, 表示领域分类器预测的源域数据和目标域数据中第l个输入文字序列的预测领域类别标签,dl表示源域数据和目标域数据中第l个输入文字序列的真实领域类别标签;1≤q≤TWp,TWp表示目标域数据中第p个输入文字序列中的词总数; 表示学生网络中的序列标注器计算出目标域数据中第p个输入文2字序列中的第q个词的概率分布;||||表示求二范数平方。[0118] S7:在反向传播阶段,通过优化Llabel和Lmse更新学生网络中序列标注器的参数,通过优化Ldom更新领域分类器的参数,通过最小化三者之和L更新学生网络中特征提取器的参数:[0119] L=Llabel+λdomLdom+λmseLmse[0120] 其中,λdom和λmse是控制Ldom和Lmse相对平衡的超参数;[0121] 更新后的学生网络参数 为更新后学生网络中序列标注器的参数与更新后学生网络中特征提取器的参数的组合;[0122] S8:利用学生网络参数 的指数移动均值更新教师网络参数[0123][0124] 其中,μ为调整系数;[0125] S9:判断两次迭代之间的L值的差值是否小于设定精度阈值,若否,令当前迭代次数Iter=Iter+1,返回执行S4,若是,完成训练,记录当前教师网络参数。[0126] S10:利用完成训练的教师网络对目标域数据中的所有输入文字序列进行序列标注。[0127] 表1不同模型在基准数据集上的跨域细粒度情感分析性能(%)[0128][0129] 本实施例中,在被广泛用于评测模型跨域细粒度情感分类效果的包含Restaurant(R)、Laptop(L)、Device(D)和Service(S)四个领域的公开数据集上进行测试,共构建10组迁移对以表示10个迁移任务。训练过程中,本方法所提模型DATM(Domain‑AdversarialTrainingbasedModel)使用Adam算法进行优化,学习率设置为1e‑3。所有权重矩阵和偏置项从均匀分布U(‑0.01,0.01)中随机抽样以初始化。其他参数手动调整以获得最佳性能。本发明所提方法与其他基线方法的对比试验结果如表1所示。最终结果显示,本方法在大多数迁移对上均拥有最优效果,平均微F1分数相较于目前最先进基线方法之一的AD‑SAL取得了0.64%的增益效果,相较于先进基线方法Hier‑Joint和RNSCN取得了11.56%和9.36%的增益效果,超出传统基线方法TCRF约20%。综上所述,本发明方法可在由细粒度情感分析数据集构成的迁移任务中,实现更好的跨域分析效果,并且可以扩展至资源更丰富的粗粒度情感分析任务,具有良好的应用前景。

专利地区:四川

专利申请日期:2022-05-16

专利公开日期:2024-06-18

专利公告号:CN114997175B

电话咨询
读内容
搜本页
回顶部