一种基于眼动注意力驱动的心超图像域适应分割方法

专利名称：一种基于眼动注意力驱动的心超图像域适应分割方法

专利类型：发明专利

专利申请号：CN202410567441.3

专利申请（专利权）人：东南大学
权利人地址：江苏省南京市江宁区东南大学路2号

专利发明（设计）人：葛荣骏,李睿奕,何宇霆,王冲,夏聪,张道强,陈阳,刘澄玉

专利摘要：本发明公开了一种基于眼动注意力驱动的心超图像域适应分割方法，包括步骤：使用眼动仪收集医生在阅读目标域心脏超声图像时的眼动注视位置分布信息，利用源域数据训练初始化教师神经网络模型，获得初步的心脏超声图像分割能力，学生模型以伪标签为优化目标进行训练，眼动注视热力图经过编码器提取高维注意力特征，生成具有眼动注意力的教师模型在心脏超声图像上的通用特征，计算眼动加权损失和通用特征对齐损失之和优化模型。利用了医生诊断时的眼动热力图和领域自适应方法，使其能够在数据集紧缺并不额外消耗时间标注数据集的情况下训练出一个性能良好的心脏超声图像分割神经网络，并可以随着医生诊断过程的进行，持续不断的改善模型性能。

主权利要求：
1.一种基于眼动注意力驱动的心超图像域适应分割方法，其特征在于，所述方法包括以下步骤：
S1：医生阅读心脏超声图像时引入眼动仪搜集眼动注视位置信息，并将其用于领域自适应分割；由眼动轨迹的坐标数据经过高斯模糊以及正则化操作生成眼动注视强度分布矩阵，
S2：利用源域数据集Ds{Xs，Ys}训练初始化教师神经网络模型，获得初步的心脏超声图像分割能力；
S3：利用步骤S2训练的教师模型生成目标域数据集Dt{Xt}的伪标签 学生模型以目标域数据集伪标签 为优化目标进行训练；
S4：将步骤S1收集的眼动注视强度分布矩阵经过编码器提取眼动高维注意力特征fG；利用卷积操作提取眼动权重矩阵中的细节纹理特征，边缘特征，并构建医生的视觉先验知识特征，编码器以低维的眼动注视权重矩阵为输入，输出维度数量为512维的眼动高维注意力特征fG，保证维度数量与教师模型解码器的中间特征fT匹配；
S5：由步骤S4生成的眼动高维注意力特征fG与教师模型解码器的中间特征fT进行交叉注意力融合，生成具有眼动注视注意力的教师模型在心脏超声图像上的通用特征fGA；其中眼动高维注意力特征fG经过PatchEmbedding层处理后被映射为交叉注意力模块中的Q矩阵，教师模型解码器的中间特征fT经过PatchEmbedding层处理后被映射为交叉注意力模块中K矩阵和V矩阵，Q矩阵作为查询信息，用于计算Q与K矩阵中的不同位置数据之间的关联情况，Q与K的关联矩阵与V相乘获得带有医生眼动注视指导的特征，并利用通道拼接操作模拟残差，最后利用PatchUnEmbedding层解码获得通用特征fGA，S6：利用通用特征fGA与学生模型解码器的中间特征fS计算通用特征对齐损失LGAA；
S7：眼动注视权重矩阵在经过归一化后作为权重与学生模型的分割结果 相乘，并与目标域数据集伪标签 计算眼动平衡损失LGB；
S8：将眼动平衡损失LGB和特征对齐损失LGAA以及Dice损失LDICE加权求和计算眼动加权损失，并利用优化器优化模型表现。
2.根据权利要求1所述基于眼动注意力驱动的心超图像域适应分割方法，其特征在于：所述步骤S1中，医生需要在超声诊断使用眼动仪搜集眼动的位置信息，眼动仪以每秒20次的频率搜集医生在电脑屏幕上的注视位置并保存为眼动注视坐标序列，眼动仪采集刷新频率宜保持在每秒10到20次，利用坐标序列生成注视强度分布矩阵，并利用注视强度分布矩阵生成注视强度伪彩图。
3.根据权利要求1所述基于眼动注意力驱动的心超图像域适应分割方法，其特征在于：所述步骤S2中，根据方法的应用场景，源域数据集包含源域数据标签Ys，目标域数据不包含目标域数据标签Yt，其中教师模型采用U‑Net作为基础骨干网络，U‑Net是经典的医学图像分割网络，使用U‑Net能够保证模型在心脏超声图像上有着准确的分割结果，U‑Net包含4个由卷积层构成的下采样模块用于提取特征信息，4个上采样模块利用编码器深层特征生成分割结果。
4.根据权利要求1所述基于眼动注意力驱动的心超图像域适应分割方法，其特征在于：所述步骤S3中，教师模型在源域数据集Ds{XS，Ys}上进行训练后直接在目标域数据集Dt{Xt}上进行测试，并生成目标域数据集伪标签 目标域心脏超声图像数据需经过预处理，使其图像大小与源域数据心脏超声图像大小保持相同，长宽均为224，学生模型以U‑Net作为骨干网络，并使用教师模型在模型参数θ进行初始化，学生模型训练时教师模型的参数保持固定不进行更新。
5.根据权利要求1所述基于眼动注意力驱动的心超图像域适应分割方法，其特征在于：所述步骤S4中，编码器由五个卷积层3个批量正则化层和3个ReLU激活层构成。
6.根据权利要求1所述基于眼动注意力驱动的心超图像域适应分割方法，其特征在于：所述步骤S5中，生成的眼动高维注意力特征fG，与教师模型中间特征fT进行交叉注意力融合，交叉注意力融合过程表达式如下：
其中，d代表特征矩阵的维度，交叉注意力机制优秀的长距离关系的建模能力，保证了眼动注意力信息被优秀的利用，通用特征fGA是在眼动信息指导下的包含了不同心脏超声图像域之间显著的具有共性的特征，通用特征能够帮助模型快速在不同域之间获取到分割目标的特征。
7.根据权利要求1所述基于眼动注意力驱动的心超图像域适应分割方法，其特征在于：所述步骤S6中，融合了眼动注视信息的通用特征fGA与学生模型解码器的中间特征fs做特征对齐损失，其中损失函数为均方损失函数MSE，损失函数表达式如下所示：
8.根据权利要求1所述基于眼动注意力驱动的心超图像域适应分割方法，其特征在于：所述步骤S7中，眼动注视权重矩阵首先要进行归一化，归一化范围为[1，230]，获得归一化后的眼动注视权重矩阵ω，并与学生模型的分割结果 对应位置相乘，获得带眼动注视信息的输出结果，并将加权结果与目标域数据集伪标签 计算交叉熵损失，损失计算表达式如下：
9.根据权利要求1所述基于眼动注意力驱动的心超图像域适应分割方法，其特征在于：所述步骤S8中，利用眼动平衡损失LGB以及特征对齐损失LGAA、Dice损失LDICE以及交叉熵损失LCE加权计算损失，表达式如下所示：Ltotal＝λgaaLGAA+λgbLGB+λdiceLDICE+λceLCE，λgaa，λgb，λdice，λce，分别代表各个损失的权重，分别设置为0.3，1.2，1.0，1.0，Ltotal结合各个不同比例的损失对模型实现多层次的优化效果，并通过通用特征优化和分割区域优化实现不同域的心脏超声图像快速适应。 说明书 : 一种基于眼动注意力驱动的心超图像域适应分割方法技术领域[0001] 本发明属于医学图像处理技术领域，涉及心脏超声图像自适应分割技术，尤其涉及一种基于眼动注意力驱动的心超图像域适应分割方法。背景技术[0002] 心脏疾病是世界范围内的头号致死原因之一。心脏病发作可能会导致心脏骤停，甚至导致突然死亡。心脏超声是诊断各种心脏疾病的重要工具之一。它可以帮助医生检测心脏肌肉的异常情况、心脏瓣膜的功能是否正常、心脏的大小和形状等，从而帮助确定心脏病的类型和严重程度。利用深度学习方法对心脏超声图像进行分割处理，实现准确的辅助诊疗具有很大的临床价值。然而心脏超声图像数据匮乏，标注和模型训练需要消耗大量的时间成本。目前已经公开的心脏超声语义分割数据集仅有3个左右，与其它模态相比，这些数据远远无法满足一个可靠的语义分割神经网络的训练需求，并且模型容易在训练数据上产生过拟合，模型在其它域的数据上出现性能下滑。[0003] 医学影像领域中已经有大量的域适应方法尝试解决不同域数据的性能下滑问题，但都不适合用于心脏超声图像。超声图像包含了大量噪声，由于超声采样设备的不同，不同的采样设置，病人不同的心脏状况，不同域的超声图像中的噪声模式也有很大区别。以往的域适应方法，很难让模型适应不同域之间的复杂的噪声模式。基于域适应方法需要数据标签做支撑。基于对抗训练的域适应方法如CycleGAN、CyCADA，利用对抗训练对源域超声图像进行风格迁移，利用模型在风格迁移后的源域数据上进行监督训练。但是基于对抗训练的域适应方法在心脏超声图像上更容易产生模式崩溃，模型容易在崩溃的源域数据上过拟合。基于自训练的域适应方法没有额外信息的帮助，很难提取到心脏超声图像的通用特征，模型非常容易在教师模型生成的伪标签上过拟合。基于频域交换风格变换的方法如FDA，由于频域与不同域的超声图像分布的噪声模式和图像没有明显的分布关联，仅简单交换频域的高频信息无法做到很好的域适应。[0004] 除了域适应任务带来的困难，分割任务也面临着很大的挑战。心脏超声图像往往受到多种因素的影响，如声束散射、组织不均匀性和机械运动，这些因素会引入噪声和伪影，使图像质量下降，增加了图像分割的难度。除此之外，心脏是一个动态的器官，其形态和位置会随着心脏周期和呼吸等因素而发生变化。这种动态性使得在不同心脏相位下准确地分割心脏结构变得更加困难。在心脏超声图像中，不同心脏结构的大小和形状差异较大，导致类别不平衡问题，即一些结构可能出现频率较低，使得模型难以充分学习和识别这些结构。[0005] 眼动信息的引入能够帮助我们应对心脏超声图像域适应分割的困难。之前的域适应的方法，缺少外源辅助信息的支持。医生在阅读心脏超声时的眼动信息包含了医生诊断时大量隐性的先验知识。结合医生的先验知识帮助模型快速适应目标域的噪声模式，快速获取不同域之间的通用特征，使得模型在不同的超声采样场景下获得更好的分割性能。利用本技术，医生可以在读片的同时采集眼动数据并利用眼动数据实时对模型进行域适应更新，相较于传统技术节省了大量的标注时间成本和训练带来的时间消耗。发明内容[0006] 本发明的目的旨在提供一种基于眼动注意力驱动的心超图像域适应分割方法。目前拥有高质量标注的心超图像数据集数量较少，由于采样设备，采样角度，病人的病情不同，不同域的心超图像之间风格存在巨大的差异，模型需要补充医生眼动知识信息，对模型的域适应过程进行辅助。利用已有标注的源域心超图像数据训练具有基础分割能力的神经网络模型。对于其它未标注的心超图像数据，利用眼动仪搜集医生在其它未标注心超图像的眼动信息，并利用眼动信息以及具有基础分割能力神经网络生成的伪标签的在无人工标注的标签监督的情况下训练神经网络模型。医生的眼动信息包含专业性的先验知识，利用神经网络提取先验知识能够帮助模型快速获取不同域之间的通用特征，同时帮助模型快速定位分割的感兴趣区域。利用眼动信息，模型能够在没有人工标注的标签的情况下快速适应其它领域的数据集，并展现出优秀的分割性能。医生诊断时的眼动信息易于采集，可以实现医生诊断的同时辅助分割模型展现出良好的适应性能。相比于繁琐的人工标注全监督分割模型训练过程，基于眼动注意力驱动的心超图像域适应分割方法，摆脱了训练过程对标签的依赖，大大提升了分割模型的训练效率。[0007] 为了实现上述目的，本发明提供一种基于眼动注意力驱动的心超图像域适应分割方法，包括如下步骤：[0008] S1：医生阅读心脏超声图像时引入眼动仪搜集眼动注视位置信息，并将其用于领域自适应分割；[0009] S2：利用源域数据集 训练初始化教师神经网络模型，获得初步的心脏超声图像分割能力；[0010] S3：利用步骤S2训练的教师模型生成目标域数据集 的伪标签 ，学生模型以目标域数据集伪标签 为优化目标进行训练；[0011] S4：将步骤S1收集的眼动注视强度分布矩阵经过编码器提取眼动高维注意力特征；[0012] S5：由步骤S4生成的眼动高维注意力特征 与教师模型解码器的中间特征 进行交叉注意力融合，生成具有眼动注视注意力的教师模型在心脏超声图像上的通用特征 ；[0013] S6：利用通用特征 与学生模型解码器的中间特征 计算通用特征对齐损失；[0014] S7：眼动注视权重矩阵在经过归一化后作为权重与学生模型的分割结果 相乘，并与目标域数据集伪标签 计算眼动平衡损失 ；[0015] S8：将眼动平衡损失 和特征对齐损失 以及Dice损失 加权求和计算眼动加权损失，并利用优化器优化模型表现。[0016] 进一步地，所述步骤S1中医生在利用心超图像诊断的同时通过眼动仪收集医生眼动信息时，无需额外针对眼动仪的操作进行学习，医生只需要将注意力保持在超声图像上，眼动仪自动负责搜集眼动轨迹。相比于传统的基于医生先验知识互动方式，如鼠标点击、涂鸦等，眼动轨迹更能符合医生的直观判断，眼动信息也具有更高的价值。眼动仪采集刷新频率宜保持在每秒10到20次，速率过低导致注视强度分布矩阵质量较差，速率过高导致局部的注意力分布不平衡。利用坐标序列生成注视强度分布矩阵，并利用注视强度分布矩阵生成注视强度热力图。[0017] 进一步地，所述步骤S2中源域数据集包含源域心超图像的掩码标签，利用全监督的方式训练教师神经网络模型，使得模型拥有初步的分割心超图像的能力，并能够生成质量一般的伪标签。源域数据集尽量使用图像较多的数据集，保证其拥有一定的泛化性能。其中教师模型采用U‑Net作为基础骨干网络。U‑Net是经典的医学图像分割网络，使用U‑Net能够保证模型在心脏超声图像上有着准确的分割结果。U‑Net包含4个由卷积层构成的下采样模块用于提取前景的特征信息，4个上采样模块利用深层前景特征生成分割结果。[0018] 进一步地，所述步骤S3中教师模型在源域数据集 上进行训练后直接在目标域数据集上 进行测试，并生成目标域数据集的伪标签 ，[0019] 利用模型伪标签进行自训练，能够有效避免对抗网络域适应中产生的模式崩溃问题。目标域心脏超声图像数据需经过预处理，使其图像大小与源域数据心脏超声图像大小保持相同，长和宽均为224。学生模型以U‑Net作为骨干网络，并使用教师模型在模型上的参数进行初始化，学生模型训练时教师模型的参数保持固定不进行更新。[0020] 进一步地，所述步骤S4中眼动注视强度分布矩阵，由眼动轨迹的坐标数据经过高斯模糊以及正则化操作生成。高斯模糊操作实现了眼动数据从点坐标到强度图的转变，强度图更符合人类对于不同关注区域的重要程度的认知。用于眼动特征提取的特征编码器由五个卷积层3个批量正则化层和3个ReLU激活层构成。利用卷积操作提取眼动权重矩阵中的细节纹理特征，边缘特征，并构建医生的视觉先验知识特征。眼动特征编码器以低维的眼动注视权重矩阵为输入，输出维度数量为512维的眼动高维注意力特征 ，保证维度数量与教师模型解码器的中间特征 匹配。[0021] 进一步地，所述步骤S5中，生成的眼动高维注意力特征 ，与教师模型解码器的中间特征 进行交叉注意力融合，其中眼动高维注意力特征 经过PatchEmbedding层处理后被映射为交叉注意力模块中的Q矩阵，教师模型解码器的中间特征 经过PatchEmbedding层处理后被映射为交叉注意力模块中K矩阵和V矩阵，Q矩阵作为查询信息，用于计算Q与K矩阵中的不同位置数据之间的关联情况，Q与K的关联矩阵与V相乘获得带有医生眼动注视指导的特征，并利用通道拼接操作模拟残差，最后利用PatchUnEmbedding层解码获得通用特征 ，交叉注意力融合过程表达式如下：[0022] ，[0023] 其中，代表特征矩阵的维度，交叉注意力机制优秀的长距离关系的建模能力，保证了眼动注意力信息被优秀的利用，交叉注意力机制优秀的长距离关系的建模能力，将眼动信息以更大的尺度融合到目标域的数据当中，保证了眼动注意力信息能有效的利用。通用特征 是在眼动信息指导下的包含了不同心脏超声图像域之间显著的具有共性的特征，通用特征能够帮助模型快速在不同域之间获取到分割目标的特征。[0024] 进一步地，所述步骤S6中利用利用通用特征 与学生模型解码器的中间特征计算通用特征对齐损失 。特征对齐损失 ，能够帮助模型在无标签监督的情况下有效的提取不同域之间的通用特征，避免因为噪声模式的不同而使得神经网络模型在源域数据上产生过拟合。融合了眼动注视信息的通用特征 与学生模型解码器的中间特征 计算均方损失(MSE)，损失函数表达式如下所示：[0025] 。[0026] 进一步地，所述步骤S7中，眼动注视权重矩阵首先要进行归一化，归一化范围为，获得归一化后的眼动注视权重矩阵 ，并与学生模型的分割结果 对应位置相乘，获得带眼动注视信息的输出结果，并将加权结果与目标域数据集伪标签 计算交叉熵损失，损失计算表达式如下：[0027] 。[0028] 利用眼动注视信息加权交叉熵损失，帮助模型在没有目标域数据标签监督的情况下在眼动注视区域内获得更多的分割可能性，并应对模型因为前景和背景的像素不平衡而产生的过拟合和陷入局部最优的问题。[0029] 进一步地，所述步骤S8中，利用眼动平衡损失 以及特征对齐损失 、Dice损失 以及交叉熵损失 加权计算损失，表达式如下所示：[0030] ，[0031] ，[0032] ， ， ， ，分别代表各个损失的权重，分别设置为0.3，1.2，1.0，1.0，交叉熵损失 和Dice损失 作为主要的医学分割损失用于提升分割性能，而眼动对齐损失 和眼动平衡损失 。 结合各个不同比例的损失可以对模型实现多层次的优化效果，实现分割结果形态，边缘，细节的提升。并通过通用特征优化和分割区域优化实现不同域的心脏超声图像快速适应。医生在诊断过程中不断获得眼动注意力热图的同时，不断地利用眼动注意力信息对模型进行补充，利用 不断地优化模型性能，实现诊断和模型训练的并行推进，节省了大量的时间成本和人力成本，减轻了医生的负担。[0033] 有益效果：本发明与现有技术相比，具备如下优点：[0034] 本发明利用眼动仪采集医生的眼动信息，充分利用了医生所具备的与疾病诊断相关的先验知识，并将其作为补充信息用于心超图像预适应分割，实现了在无目标域数据标签监督下的神经网络模型分割域适应，无需耗费额外的时间成本和人力成本便可以通过域适应技术提升模型性能；[0035] 本发明提出了基于眼动信息融合的特征对齐结构用于神经网络模型在特征层上的优化。眼动信息通过特殊的编码器进行眼动特征提取，并与教师模型的中间特征利用交叉注意力机制进行融合，提取到了教师模型中的通用视觉特征。利用学生模型的中间特征与通用视觉特征计算损失并优化模型，相比于传统方法，眼动信息融合的特征对齐结构使得模型能够快速学习不同域之间的共通特征，减少了模型的过拟合问题；[0036] 本发明提出了基于眼动区域平衡的损失。利用眼动注视权重矩阵，为模型很难注意到的较难分割的区域赋予权重，模型在较难分割的区域拥有更高的损失。相比于其它的传统的方法，眼动权重矩阵能够鼓励模型探索在伪标签区域外更多的分割可能性，避免模型在伪标签上产生过拟合；[0037] 本发明提出了一种基于眼动注意力驱动的心超图像域适应分割方法，该方法能够边收集医生诊断时的眼动注意力热图来帮助模型更好的域适应，医生在诊断的同时，神经网络模型的性能也在不断地提升，起到了神经网络辅助医生诊断，医生诊断驱动神经网络性能提升的有益循环。附图说明[0038] 图1为本发明提供的基于眼动注意力驱动的心超图像域适应分割方法结构示意图，[0039] 图2本发明提供的一种眼动对齐损失流程结构的拓扑结构示意图，[0040] 图3为本发明提供的眼动平衡损失流程结构的拓扑结构示意图，[0041] 图4为本发明提供的一种基于眼动注意力驱动的心超图像域适应分割方法流程示意图，[0042] 图5为本发明与其它域适应方法的分割测试结果对比图。具体实施方式[0043] 下面结合附图和具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。[0044] 实施例：基于领域自适应的心超图像分割方法具有很高的临床价值。领域自适应能够解决超声图像短缺以及模型在不同域的超声图像间的风格差异适应问题。然而，不同域的超声图像风格差异很大并且噪声模式也存在不同。现存的域适应方法很难适应不同域之间噪声模式的变换。因此，本发明采用基于眼动注意力驱动的心超图像的域适应分割方法，利用眼动注意力信息为域适应的辅助手段提升模型的性能表现。以往的域适应技术很难正确通过中间特征层学习到不同域之间的通用特征，利用交叉注意力模块融合眼动信息能够帮助模型在特征层上更好的学习到不同域数据之间的通用特征。基于自适应的域适应学习框架往往受限于教师模型生成的伪标签性能，将眼动热力图融入损失，帮助模型在眼动区域获得更精准的分割结果。医生诊断时利用神经网络模型提高诊断效率，神经网络利用医生诊断时的眼动注意力信息来提升模型表现，形成了诊断过程的有益循环。基于眼动注意力驱动的心超图像域适应分割框架也能减少分割模型训练对于数据标签的依赖，减少时间成本和人力成本。[0045] 如图4所示，为本发明的流程示意图，基于领域自适应的心超图像分割方法，包括如下步骤：[0046] S1：医生阅读心脏超声图像时引入眼动仪搜集眼动注视位置信息，并将其用于领域自适应分割。[0047] 相比于未经医学训练的普通人，医生在诊断时能够快速地捕捉到更多信息。因此，医生的眼动信息也包含更多与诊断相关的先验知识，可以将先验知识收集用于域适应分割辅助信息。利用眼动仪记录医生进行超声诊断时的眼动坐标，并将其转换为眼动热力图用于后续过程的特征提取。[0048] S2：利用源域数据集 训练初始化教师神经网络模型，获得初步的心脏超声图像分割能力。[0049] 在基于自适应心超图像域适应分割任务的情景下，需要使用源域数据集初始化教师神经网络模型。源域心超数据的规模需要有一定的代表性，并经过医生的高质量标注，能覆盖大部分的分割场景。教师神经网络模型采用U‑Net作为基础骨干网络。U‑Net是经典的医学图像分割网络，使用U‑Net能够保证模型在心脏超声图像上有着准确的分割结果。U‑Net包含4个由卷积层构成的下采样模块用于提取前景特征信息，4个上采样模块利用编码器深层特征生成分割结果。[0050] S3：利用步骤S2训练的教师模型生成目标域数据集 的伪标签 ，学生模型以目标域数据伪标签 为优化目标进行训练；[0051] 目标域数据集是来自其它不同域的心超数据，由于采样设备、采样设置、采样角度以及病人病情等方面的差异而产生的风格差异较为明显的不同域的数据。在基于自适应心超图像域适应分割任务的情景下，目标域数据只包括心超图像，不包括其对应的分割标签。利用源域数据集训练好的教师模型直接在目标数据集上进行推理生成伪标签。学生模型在目标域数据集上训练，并以伪标签作为监督信息进行域适应分割。目标域心脏超声图像数据需经过预处理，使其图像大小与源域数据心脏超声图像大小保持相同。学生模型以U‑Net作为骨干网络，并使用教师模型在模型上的参数 进行初始化，学生模型训练时教师模型的参数保持固定不进行更新。[0052] S4：将步骤S1收集的眼动注视强度分布矩阵经过编码器提取高维注意力特征 ，[0053] 步骤S1中搜集的眼动注意力点坐标序列需要经过转换才能获取到可用于分割的信息。利用高斯模糊将坐标点图转换为热力图体现医生的注意力强度分布。眼动注意力强度分布提示了医生的在诊断时感兴趣的位置信息，可用于帮助模型进行域适应分割。用于特征提取的编码器由五个卷积层3个批量正则化层和3个ReLU激活层构成。利用卷积操作提取眼动权重矩阵中的细节纹理特征，边缘特征，并构建医生的视觉先验知识特征。编码器以低维的眼动注视权重矩阵为输入，输出眼动高维注意力特征 。[0054] S5：由步骤S4生成的眼动高维注意力特征 与教师模型解码器的中间特征 进行交叉注意力融合，生成具有眼动注视注意力的教师模型在心脏超声图像上的通用特征 ；[0055] 不同域的心超数据之间风格存在着较大的差异，但医生仍然能从不同的风格中快速定位并获得需要的诊断信息，显然不同域之间的心超图像数据之间存在着通用的视觉特征和纹理特征。眼动高维注意力特征包含大量的指导信息，用其可以快速的获取到跨域的通用特征。如图2所示，利用交叉注意力机制，将眼动高维注意力特征 和教师模型的中间特征 进行融合，帮助学生模型快速学习到教师模型中鲁棒的通用特征，利用通用特征跨域分割图像。其中眼动注视高维特征 经过PatchEmbedding层处理后被映射为交叉注意力模块中的Q矩阵，教师模型解码器的中间特征 经过PatchEmbedding层处理后被映射为交叉注意力模块中K矩阵和V矩阵。Q矩阵作为查询信息，用于计算Q与K矩阵中的不同位置数据之间的关联情况。Q与K的关联矩阵与V相乘获得带有医生眼动注视指导的特征，并利用通道拼接操作模拟残差，最后利用PatchUnEmbedding层解码获得通用特征 。交叉注意力融合过程表达式如下：[0056] 。[0057] S6：利用通用特征 与学生模型解码器的中间特征 计算通用特征对齐损失；[0058] 需要利用损失函数的监督帮助学生模型的解码器快速获得通用特征。[0059] 融合了眼动注视信息的通用特征 与学生模型解码器的中间特征 做特征对齐损失，其中损失函数为均方损失函数MSE，损失函数表达式如下所示：[0060] 。[0061] S7：眼动注视权重矩阵在经过归一化后作为权重与学生模型的分割结果 相乘，并与目标域数据集伪标签 计算眼动平衡损失 ；[0062] 在自训练的域适应分割的任务背景下，目标域没有标签作为监督信息，模型很容易在伪标签上过拟合。医学图像上前景和背景的像素分布不均匀也容易导致模型容易过于关注背景区域而忽视前景区域的监督。以眼动热力图作为补充信息可以解决上述问题。如图3所示，获得归一化后的眼动注视权重矩阵 ，并与学生模型的心脏超声图像分割预测结果对应位置相乘 ，获得带眼动注视信息的输出结果，并将加权结果与教师模型生成的目标域伪标签 计算交叉熵损失，损失计算表达式如下：[0063] 。[0064] S8：将 和 以及Dice损失加权求和计算眼动加权损失，并利用优化器优化模型表现。[0065] 所述步骤S8中，利用眼动平衡损失 以及特征对齐损失 、Dice损失 以及交叉熵损失 加权计算损失，表达式如下所示：[0066] ，[0067] ，[0068] ， ， ， ，分别代表各个损失的权重，分别设置为0.3，1.2，1.0，1.0， 结合各个不同比例的损失对模型实现多层次的优化效果，并通过通用特征优化和分割区域优化实现不同域的心脏超声图像快速适应。[0069] 为了证明本发明的有效性，本发明还提供了下述实验：[0070] 具体的，本发明选择使用CAMUS数据集作为源域数据，HMC‑QU数据集作为目标域数据。源域数据训练集包含9964张心脏超声图片，目标域数据训练集包含2114张心超图片，测试集包含235张图片。模型使用图1所示的训练框架进行域适应训练，并最终在目标域测试集上评估性能。[0071] 对比实验中，本方法的分割结果与主流的无监督域适应分割模型进行对比。如表1所示，在分割性能评价指标上，本方法相比于其它的域适应方法有着明显的提升。[0072][0073] 表1基于眼动注意力驱动的心超图像域适应分割方法与其他域适应方法在目标域测试数据上的分割对比结果，加粗表示性能最好。[0074] 为了更加直观地展示本方法地有效性，对比试验输出如图5所示，其中第一列代表输入的目标域心超图像，第二列代表未进行域适应的分割结果，第三列代表CycleGAN的分割结果，第四列代表SIFA的分割结果，第五列代表基于VAE的域适应分割结果，第六列代表FDA的分割结果，第七列代表本方法的分割结果，第八列代表对应原始输入图像的真实分割标签。可以看出，本发明提出的域适应方法分割结果从形态上更贴近于真实的分割结果，能够在无目标域的标签情况下更好的分割不同域的心超图像。[0075] 需要说明的是上述实施例，并非用来限定本发明的保护范围，在上述技术方案的基础上所作出的等同变换或替代均落入本发明权利要求所保护的范围。

专利地区：江苏

专利申请日期：2024-05-09

专利公开日期：2024-09-03

专利公告号：CN118154627B