一种基于半监督方法的心脏腔室图像分割方法及装置

专利名称：一种基于半监督方法的心脏腔室图像分割方法及装置

专利类型：发明专利

专利申请号：CN202210462674.8

专利申请（专利权）人：东南大学
权利人地址：江苏省南京市江宁区东南大学路2号

专利发明（设计）人：张从致,封赋,袁小涵,汪鹏

专利摘要：本发明公开了一种基于半监督方法的心脏腔室图像分割方法及装置，包括：构建二维心脏CT图像的训练集；对训练集进行标准化处理；构建神经网络架构，由UNet，TransUnet以及Attention 3D UNet三个分支网络组成；使用两阶段策略来训练UNet，分别是数据扰动策略和神经网络交叉监督策略为无标签的二维心脏CT图像生成伪标签；使用带有标签的二维心脏CT图像以及带有伪标签的二维心脏CT图像作为训练集训练神经网络，得到心脏腔室分割模型；使用心脏腔室分割模型，输出对原始二维CT图像的分割结果。

主权利要求：
1.一种基于半监督方法的心脏腔室图像分割方法，其特征在于，所述方法包括：步骤S1、获取训练样本集，该训练样本集包括多张心脏ct二维图像，部分二维图像上包括对心脏各个部分以及背景的标签；
步骤S2、针对步骤S1获取到的训练样本集，将其中的二维图像进行尺度归一化再进行预处理，得到标准化的训练样本集；
步骤S3、针对第一半监督神经网络架构，以所述标准化的训练样本集中带有标签的图像，以及带有伪标签的图像作为模型的输入，对该第一半监督神经网络架构执行第一阶段的训练，其中，基于图像数据混合扰动策略来生成无标注图像的伪标签，对应于该数据混合扰动策略，所述第一半监督神经网络架构包括采用并行连接的UNet和TransUNet，以所述无标注图像的伪标签，来实现对无标注图像的监督；
步骤S3、基于步骤S3中经过训练的UNet以及Attention3DUnet构建第二半监督神经网络架构，以所述标准化的训练样本集作为输入，且基于神经网络交叉监督策略对该第二半监督神经网络架构进行第二阶段的训练；
步骤S4、步骤S3中得到的UNet作为最终的分割模型，以该分割模型执行分割任务。
2.根据权利要求1所述的一种基于半监督方法的心脏腔室图像分割方法，其特征在于，在所述步骤S1中，获得多个样本，再针对该多个样本，在一个心动周期内的计算机X线断层扫描图像的三维数据进行逐帧切片，获得相应的二维图像，以此作为训练样本集。
3.根据权利要求2所述的一种基于半监督方法的心脏腔室图像分割方法，其特征在于，在所述步骤S1中，针对49份样本，在一个心动周期T的时间段内，连续采集3时相或者10时相的心脏计算机X线断层扫描三维数据，包括心脏从收缩末期到舒张末期的状态；其中，有39份样本是三时相心脏数据，有10份样本是十时相心脏数据，每一个时相中包含800张CT图。
4.根据权利要求1所述的一种基于半监督方法的心脏腔室图像分割方法，其特征在于，所述步骤S2包括：步骤S201、针对步骤S1中训练样本集中所有二维图像，将其尺寸调整至256×256大小，得到尺度大小相同的图像；
步骤S202、通过对完整的数据集进行抽帧操作；
步骤S203、对所有的二维图像进行亮度和对比度的处理，增强心脏腔室中的静脉瓣、细微的轮廓线细节，进而增强心脏各个腔室之间的分割线；
步骤S204、得到心脏腔室的二维标准化CT图像。
5.根据权利要求1所述的一种基于半监督方法的心脏腔室图像分割方法，其特征在于，在所述步骤S3中，采用如下的训练方法：步骤S301、在训练过程中，对2张无标记的图像u1,u2按照一定的权重求和，求和公式如下：M(u1，u2，α)＝αu1+(1‑α)u2(1)
步骤S302、将经过求和之后图片送入UNet和TransUNet中，那么求和之后的图像分别通过神经网络模型的预测，得到：在公式(2)中,y1,y2分别代表神经网络模型f1,f2对图像的预测结果，y表示对2个预测结果求平均，f1和f2分别表示UNet和TransUNet；
步骤S303、再将步骤S301中的2张无标记的图像u1,u2分别送入神经网络模型f1,f2，分别得到2张分割预测图像f1(u1),f2(u2)，再对2张预测图像按照上述相同的权重求和得：M(f1(u1)，f2(u2)，α)＝αf1(u1)+(1‑α)f2(u2)(3)在公式(3)中，α为控制各图像的权重；
步骤S304、使用无标记的图像生成新的求和图像和对应的伪标签，模型接受2个无标记的图像作为输入，并返回求和后的图像和对应的伪标签，伪标签是由神经网络生成的，则一致性正则化约束用公式表示为：在公式(4)中，式子左边表示原始图像分别使用2个不同的神经网络预测得到的结果进行加权和，式子右边表示对原始图像进行加权混合后，再分别使用神经网络进行预测的结果；
步骤S305、按照如下逻辑对神经网络进行监督训练：
在公式(5)中，式子左边表示神经网络模型的预测输出，右边表示监督该神经网络的伪标签。
6.根据权利要求5所述的一种基于半监督方法的心脏腔室图像分割方法，其特征在于，在所述步骤S4中，若采用图像是带有标注的，则使用其真实标注对训练结果进行监督，即：在公式(6)中，p代表了心脏CT图像的真实标注，yi代表了每一个分支对心脏腔室的预测结果；lsup代表了有监督情况下的损失，lce和ldice则分别为交叉熵损失和dice损失，其中，UNet对应的yi为二维切片的预测结果，Attention3DUNet的yi为整个心脏的三维分割结果。
7.根据权利要求6所述的一种基于半监督方法的心脏腔室图像分割方法，其特征在于，在所述步骤S4中，若采用图像是没有标注的，采用无监督的损失，让其中一个分支的预测结果作为一个分支的伪标签，即UNet的预测结果作为伪标签来监督Attention3DUnet，Attention3DUNet的预测结果作为伪标签来监督UNet。
8.根据权利要求7所述的一种基于半监督方法的心脏腔室图像分割方法，其特征在于，针对一个病人同一时相的心脏而言，将Attention3DUNet的预测结果y3D逐层切片为slicemax为一个心脏的最大切片数量；
将 用作对应UNet分割结果 的伪标签；
将UNet的预测结果 逐切片组合为y2D，y2D作为Attention3DUNet的预测结果y3D的伪标签。
9.根据权利要求8所述的一种基于半监督方法的心脏腔室图像分割方法，其特征在于，在所述步骤S4中，无标签心脏CT图像在训练网络时的损失函数，其表达式为：lctl＝ldice(y1，y2)+ldice(y2，y1)(7)在公式(5)中，lctl代表了无监督情况下的损失，ldice代表dice损失；y1,y2分别代表了UNet，Attention3DUNet两个网络对同一个无标签病人心脏的预测结果；
整个网络的损失定义为：
ltotal＝lsup+λlctl(8)
在公式(8)中，λ为衰减系数。
10.一种基于半监督方法的心脏腔室图像分割装置，其特征在于，所述装置包括：训练样本集获取模块，其用于获取训练样本集，该训练样本集包括多张心脏ct二维图像，部分二维图像上包括对心脏各个部分以及背景的标签；
预处理模块，其用于获取到的训练样本集，将其中的二维图像进行尺度归一化再进行预处理，得到标准化的训练样本集；
第一阶段训练模块，其用于针对第一半监督神经网络架构，以所述标准化的训练样本集中带有标签的图像，以及带有伪标签的图像作为模型的输入，对该第一半监督神经网络架构执行第一阶段的训练，其中，基于图像数据混合扰动策略来生成无标注图像的伪标签，对应于该数据混合扰动策略，所述第一半监督神经网络架构包括采用并行连接的UNet和TransUNet，以所述无标注图像的伪标签，来实现对无标注图像的监督；
第二阶段训练模块，其用于将经过训练的UNet以及Attention3DUnet构建第二半监督神经网络架构，以所述标准化的训练样本集作为输入，且基于神经网络交叉监督策略对该第二半监督神经网络架构进行第二阶段的训练；
图像分割模块，其用于将第二阶段训练模块中训练得到的UNet作为最终的分割模型，以该分割模型执行分割任务。 说明书 : 一种基于半监督方法的心脏腔室图像分割方法及装置技术领域[0001] 本发明涉及心脏腔室图像分割技术领域，特别是涉及一种基于半监督方法的心脏腔室图像分割方法及装置。背景技术[0002] 心脏是我们身体中最有活力的器官，它每秒都在运动并且持续为身体提供带有氧气的血液。但CVD(心血管疾病)是目前现代国家中死亡的主导因素，并会对全球生产力产生严重影响。随着科技的发展，一些成像技术(例如：磁共振、CT图像、超声以及PET成像技术)能帮助医生在更高层次上了解心脏生理情况和病理状况。但是，由于医学图像数据量巨大，而且医学图像非常不直观，因此急需一种全自动心脏腔室的二维分割方法，为心脏疾病判断提供一个较好的医学辅助。[0003] 到目前为止，心脏腔室的分割技术已经取得了很多的研究成果。主要包括：1)利用深度学习的方法，用神经网络对心脏的腔室实现分割。其中主要包括了UNet以及UNet的变体，如TransUnet等等。由于心脏的分割能够在深度学习的基础上，融合计算机图形学与计算机视觉的方法进行处理，因此其获得了很大的成功。但是目前尚存在以下问题：1)基于深度学习的方法，要想实现对心脏较好的分割，就需要提取大量心脏特征以实现对心脏分类器的训练，从而导致耗时较长。2)医学图像资源是非常稀少的，而且对医学图像的标注需要专业领域的专家和医生，因此带有标注的医学图像更加珍贵。[0004] 综上所述，现有方法具有缺陷，尚无令人满意的解决方案。发明内容[0005] 有鉴于此，本发明的目的在于提供一种基于半监督方法的心脏腔室图像分割方法及装置，以解决分割模型在训练过程中需要大量带有标注的心脏CT图像的问题。[0006] 为了实现上述目的，本发明采用如下技术方案：[0007] 一种基于半监督方法的心脏腔室图像分割方法，所述方法包括：[0008] 步骤S1、获取训练样本集，该训练样本集包括多张心脏ct二维图像，部分二维图像上包括对心脏各个部分以及背景的标签；[0009] 步骤S2、针对步骤S1获取到的训练样本集，将其中的二维图像进行尺度归一化再进行预处理，得到标准化的训练样本集；[0010] 步骤S3、针对第一半监督神经网络架构，以所述标准化的训练样本集中带有标签的图像，以及带有伪标签的图像作为模型的输入，对该第一半监督神经网络架构执行第一阶段的训练，其中，基于图像数据混合扰动策略来生成无标注图像的伪标签，对应于该数据混合扰动策略，所述第一半监督神经网络架构包括采用并行连接的UNet和TransUNet，以所述无标注图像的伪标签，来实现对无标注图像的监督；[0011] 步骤S3、基于步骤S3中经过训练的UNet以及Attention3DUnet构建第二半监督神经网络架构，以所述标准化的训练样本集作为输入，且基于神经网络交叉监督策略对该第二半监督神经网络架构进行第二阶段的训练；[0012] 步骤S4、步骤S3中得到的UNet作为最终的分割模型，以该分割模型执行分割任务。[0013] 进一步的，在所述步骤S1中，获得多个样本，再针对该多个样本，在一个心动周期内的计算机X线断层扫描图像的三维数据进行逐帧切片，获得相应的二维图像，以此作为训练样本集。[0014] 进一步的，在所述步骤S1中，针对49份样本，在一个心动周期T的时间段内，连续采集3时相或者10时相的心脏计算机X线断层扫描三维数据，包括心脏从收缩末期到舒张末期的状态；其中，有39份样本是三时相心脏数据，有10份样本是十时相心脏数据，每一个时相中包含800张CT图。[0015] 进一步的，所述步骤S2包括：[0016] 步骤S201、针对步骤S1中训练样本集中所有二维图像，将其尺寸调整至256×256大小，得到尺度大小相同的图像；[0017] 步骤S202、通过对完整的数据集进行抽帧操作；[0018] 步骤S203、对所有的二维图像进行亮度和对比度的处理，增强心脏腔室中的静脉瓣、细微的轮廓线细节，进而增强心脏各个腔室之间的分割线；[0019] 步骤S204、得到心脏腔室的二维标准化CT图像。[0020] 进一步的，在所述步骤S3中，采用如下的训练方法：[0021] 步骤S301、在训练过程中，对2张无标记的图像u1,u2按照一定的权重求和，求和公式如下：[0022] M(u1，u2，α)＝αu1+(1‑α)u2(1)[0023] 步骤S302、将经过求和之后图片送入UNet和TransUNet中，那么求和之后的图像分别通过神经网络模型的预测，得到：[0024][0025] 在公式(2)中,y1,y2分别代表神经网络模型f1,f2对图像的预测结果，y表示对2个预测结果求平均，f1和f2分别表示UNet和TransUNet；[0026] 步骤S303、再将步骤S301中的2张无标记的图像u1,u2分别送入神经网络模型f1,f2，分别得到2张分割预测图像f1(u1),f2(u2)，再对2张预测图像按照上述相同的权重求和得：[0027] M(f1(u1)，f2(u2)，α)＝αf1(u1)+(1‑α)f2(u2)(3)[0028] 在公式(3)中，α为控制各图像的权重；[0029] 步骤S304、使用无标记的图像生成新的求和图像和对应的伪标签，模型接受2个无标记的图像作为输入，并返回求和后的图像和对应的伪标签，伪标签是由神经网络生成的，则一致性正则化约束用公式表示为：[0030][0031] 在公式(4)中，式子左边表示原始图像分别使用2个不同的神经网络预测得到的结果进行加权和，式子右边表示对原始图像进行加权混合后，再分别使用神经网络进行预测的结果；[0032] 步骤S305、按照如下逻辑对神经网络进行监督训练：[0033][0034] 在公式(5)中，式子左边表示神经网络模型的预测输出，右边表示监督该神经网络的伪标签。[0035] 进一步的，在所述步骤S4中，若采用图像是带有标注的，则使用其真实标注对训练结果进行监督，即：[0036][0037] 在公式(6)中，p代表了心脏CT图像的真实标注，yi代表了每一个分支对心脏腔室的预测结果；lsup代表了有监督情况下的损失，lce和ldice则分别为交叉熵损失和dice损失，其中，UNet对应的yi为二维切片的预测结果，Attention3DUNet的yi为整个心脏的三维分割结果。[0038] 进一步的，在所述步骤S4中，若采用图像是没有标注的，采用无监督的损失，让其中一个分支的预测结果作为一个分支的伪标签，即UNet的预测结果作为伪标签来监督Attention3DUnet，Attention3DUNet的预测结果作为伪标签来监督UNet。[0039] 进一步的，针对一个病人同一时相的心脏而言，将Attention3DUNet的预测结果y3D逐层切片为 slicemax为一个心脏的最大切片数量；[0040] 将 用作对应UNet分割结果 的伪标签；[0041] 将UNet的预测结果 逐切片组合为y2D，y2D作为Attention3DUNet的预测结果y3D的伪标签。[0042] 进一步的，在所述步骤S4中，无标签心脏CT图像在训练网络时的损失函数，其表达式为：[0043] lctl＝ldice(yl,y2)+ldice(y2,y1)(7)[0044] 在公式(5)中，lctl代表了无监督情况下的损失，ldice代表dice损失；y1,y2分别代表了UNet，Attention3DUNet两个网络对同一个无标签病人心脏的预测结果；[0045] 整个网络的损失定义为：[0046] ltotal＝lsup+λlctl(8)[0047] 在公式(8)中，λ为衰减系数。[0048] 一种基于半监督方法的心脏腔室图像分割装置，所述装置包括：[0049] 训练样本集获取模块，其用于获取训练样本集，该训练样本集包括多张心脏ct二维图像，部分二维图像上包括对心脏各个部分以及背景的标签；[0050] 预处理模块，其用于获取到的训练样本集，将其中的二维图像进行尺度归一化再进行预处理，得到标准化的训练样本集；[0051] 第一阶段训练模块，其用于针对第一半监督神经网络架构，以所述标准化的训练样本集中带有标签的图像，以及带有伪标签的图像作为模型的输入，对该第一半监督神经网络架构执行第一阶段的训练，其中，基于图像数据混合扰动策略来生成无标注图像的伪标签，对应于该数据混合扰动策略，所述第一半监督神经网络架构包括采用并行连接的UNet和TransUNet，以所述无标注图像的伪标签，来实现对无标注图像的监督；[0052] 第二阶段训练模块，其用于将经过训练的UNet以及Attention3DUnet构建第二半监督神经网络架构，以所述标准化的训练样本集作为输入，且基于神经网络交叉监督策略对该第二半监督神经网络架构进行第二阶段的训练；[0053] 图像分割模块，其用于将第二阶段训练模块中训练得到的UNet作为最终的分割模型，以该分割模型执行分割任务。[0054] 本发明的有益效果是：[0055] 本发明能够从少量带有标注的心脏CT图像以及大量未标注的心脏CT图像中完成对心脏各个腔室特征的学习，进而基于半监督方法实现对心脏腔室分割。基于本发明的方法，可以节省大量的人力来对心脏CT数据进行标注和校准。同时，可以在标注资源极为匮乏的条件下，实现对心脏腔室的分割，精准高效。附图说明[0056] 图1为实施例1中提供的一种基于半监督方法的心脏腔室图像分割方法的流程示意图；[0057] 图2为实施例1中提供的基于图像数据混合扰动的模型训练策略示意图；[0058] 图3为实施例1中提供的基于神经网络交叉监督的模型训练策略示意图；[0059] 图4为实施例1中使用的原始的二维心脏CT图像；[0060] 图5为实施例1在图像预处理时，对二维心脏CT图像进行亮度与对比度处理前后的图像；[0061] 图6为使用实施例1方法得到的心脏腔室分割结果；[0062] 图7为对实施例1方法进行性能评估的评价结果。具体实施方式[0063] 为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。[0064] 实施例1[0065] 在具体通过实施例说明本发明之前，还需要说明的是，随着科技的发展，一些成像技术能帮助医生在更高层次上了解心脏生理情况和病理状况。但是，利用各种设备采集到的医学图像数量也快速增长，这些更增加了医生的工作量，所以我们需要使用计算机的分析辅助临床医生客观地解释医疗状况。[0066] 心脏CT图像通常为三维数据，需要逐层进行切片分析，一个心动周期内产生的图像数据量较大，并且每一张图中都存在大量的背景。现有的分割算法在训练过程中面对大量的数据不易收敛，同时，由于心脏CT图像中背景部分占比较高，训练得到的模型权重会更偏向于对背景的识别，使得识别效果并不理想。同理，对于病理的分类所构建的人工智能模型也存在相似的问题。[0067] 参见图1‑图7，本实施例提供一种基于半监督方法的心脏腔室图像分割方法，该方法的流程如图1所示，该方法包括如下的步骤：[0068] 步骤S1、获取医学图像序列，该图像序列包含心脏区域对应的部分；[0069] 具体的说，在本实施例中，该步骤S1具体包括：[0070] 获取该医学图像的训练样本集，该训练样本集包括多个二维图像，该二维图像是对多个样本进行切片得到的，其中，是对该多个样本在一个心动周期内的计算机X线断层扫描图像(CT图像)三维数据进行逐帧切片；[0071] 上述的多个样本，其中的部分样本，包括各二维图像上关于左心室、右心室、左心房、右心房、心肌以及剩余背景的分割标签。[0072] 在本实施例中，上述训练样本集中的数据用于对预设神经网络模型进行训练。其中，包括多个样本的心脏计算机X线断层扫描三维数据，并且每个样本的数据都包括整个心动周期内多次检测得到的多帧。[0073] 更具体的说，在本实施例中，在一个心动周期T的时间段内，连续采集3时相或者10时相的心脏计算机X线断层扫描三维数据，包括心脏从收缩末期到舒张末期的状态。每一帧心脏核磁共振成像三维数据可以沿主轴方向切分为多层二维图像。其中，有39份样本是三时相心脏数据。有10份样本是十时相心脏数据，每一个时相中包含约800张CT图。[0074] 对于样本训练集中的小部分数据，可以由专业医师对各二维图像中的左心室、右心室、左心房、右心房和心肌进行分割，其他部分为剩余背景。每个切片的空间分辨率平均约265个像素。[0075] 对于舒张末期与收缩末期心脏CT图像，其是三维数据，为nrrd格式数据。在Python3.7的环境下导入pynrrd数据包来进行读取，之后再对已读取的格式数据逐帧切片，进而将三维数据转化为二维数据，如图4所示。[0076] 步骤S2、图像预处理，增强图像对比度，将图像尺寸进行归一化；[0077] 具体的说，在本实施例中，在该步骤S2中，对步骤S1中获取到的二维图像进行标准化处理，该标准化处理具体包括：尺度归一化，数据抽帧以及亮度和对比度处理等方式；经过处理后最终得到心脏腔室的二维标准化CT图像。[0078] 更具体的说，在本实施例中，该步骤S2包括：[0079] 步骤S201、针对步骤S1中训练样本集中所有二维图像，将其尺寸调整至256×256大小，得到尺度大小相同的图像；[0080] 步骤S202、由于CT图像本身具有空间连续性很强的特点，相邻二维CT图像的区别变换很小，因此，通过对完整的数据集进行抽帧，可以降低样本数据的数据集规模，避免在进行训练过程中出现的不必要计算，以及过拟合的发生；[0081] 步骤S203、对所有的二维图像进行亮度和对比度的处理，增强心脏腔室中的静脉瓣、细微的轮廓线等细节，进而增强心脏各个腔室之间的分割线，如图5所示。[0082] 步骤S204、得到心脏腔室的二维标准化CT图像，这也是用于心脏分割模型半监督训练的标准数据集。[0083] 步骤S3、使用图像数据混合扰动策略，生成无标记图像的伪标签，预训练心脏腔室分割模型；[0084] 具体的说，在本实施例中，在该步骤S3中执行第一阶段训练，在该第一阶段训练中，其中，在进行训练之前，对部分图像数据通过标签工具加上标签，对另外部分图像数据加上伪标签，具体是通过图像数据混合扰动的方法来生成无标记图像的伪标签；为提高训练速率，本实施例还采用batch的方法将数据输入进神经网络。[0085] 更具体的说，在本实施例中，在该第一阶段训练中，其采用的半监督神经网络架构分别由UNet和TransUnet两个神经网络并行组合而成，如图2所示。[0086] 其中，U‑Net的结构大体分为收缩和扩张路径来组成。[0087] 收缩路径是利用传统卷积神经网络的卷积池化，其中经过一次下采样之后，通道数变为原来的2倍。[0088] 扩张路径由2×2的反卷积组成，反卷积的输出通道为原来通道数的一半，再与原来的特征图(裁剪之后)串联，得到和原来一样多的通道数的特征图。最后，再经过2个尺寸为3×3的卷积和ReLU激活函数的作用，生成语义向量。[0089] 在本实施例中，裁剪特征图是必要的，因为在卷积的过程中会有边界像素的丢失。在最后一层通过卷积核大小为1×1的卷积作用得到想要的目标种类。在UNet中一共有23个卷积层。[0090] TransUnet的网络形式仿照Unet，由编码器和解码器组成U型结构。[0091] 其中编码器部分加入了Transformer模块，最终得到了一个一维向量。解码器部分做了3次上采样，最终将此一维向量恢复成了原来的图像。[0092] 进一步的，编码器和解码器部分还做了三次跳跃连接。编码器部分先是对输入图像做了三层卷积下采样，对CNN得到的特征图进行图像块嵌入，然后将块嵌入后的一维向量输入到12层Transformer结构中。[0093] TransUNet编码器的策略是CNN和Transformer混合构建编码器。Transformer更在注重全局信息，但容易忽略低分辨率下的图像细节，这对于解码器恢复像素尺寸伤害比较大，会导致分割结果很粗糙。而CNN正好可以弥补Transformer的这个缺点。[0094] 更具体的说，在本实施例中，为了实现在小样本标签数据的情况下对神经网络架构的半监督训练，通过使用一种像素级的数据扰动策略来实现一致性正则化，生成无标签图像的伪标签，进而实现对无标记图像的监督，其具体包括：[0095] 步骤S301、在训练过程中，对2张无标记的图像u1,u2按照一定的权重求和，求和公式如下：[0096] M(u1，u2，α)＝αu1+(1‑α)u2[0097] 其中，α为控制各图像的权重，注意总的权重和为1。ui则代表原始心脏CT图像。[0098] 步骤S302、将经过求和之后图片送入上述的2个不同结构的神经网络模型，那么求和之后的图像分别通过神经网络模型的预测，可以得到：[0099] y1＝f1(M(u1，u2，α))[0100] y2＝f2(M(u1，u2，α))[0101] y＝(y1+y2)/2[0102] 在公式中,y1,y2分别代表神经网络模型f1,f2对图像的预测结果，这里[0103] f1和f2分别表示UNet和TransUNet，后者在原有卷积UNet上加入了一个Transformer分支，可以有效利用注意力机制实现对图像信息的提取。y表示对2个预测结果求平均。[0104] 步骤S303、再将步骤S301中的2张无标记的图像u1,u2分别送入神经网络模型f1,f2，可以分别得到2张分割预测图像f1(u1),f2(u2)，再对2张预测图像按照上述相同的权重求和可得：[0105] M(f1(u1)，f2(u2)，α)＝αf1(u1)+(1‑α)f2(u2)其中，α为控制各图像的权重，该权重与上述对原始图像求和使用的权重完全相同，注意总的权重和为1。[0106] 上述推导利用了神经网络分割图像本质上是像素级分类这一事实，进一步，保证求和图像的预测输出和原始图像预测再求和的结果之间保持一致性。[0107] 步骤S304、在数据集中使用无标记的图像生成新的求和图像和对应的伪标签。模型接受2个无标记的图像作为输入，并返回求和后的图像和对应的伪标签，伪标签是由神经网络生成的。因此，一致性正则化约束可以用公式表示为：[0108][0109] 进一步，可以表示为：[0110][0111] 其中式子左边表示原始图像分别使用2个不同的神经网络预测得到的结果进行加权和，式子右边表示对原始图像进行加权混合后，再分别使用神经网络进行预测的结果。其中表示让两种方法的预测结果尽可能的接近，以此来让模型对数据的学习保持一致性。[0112] 步骤S305、按照如下逻辑对神经网络进行监督训练：[0113][0114][0115] 其中式子左边表示神经网络模型的预测输出，右边表示监督该神经网络的伪标签。[0116] 对数据的混合处理有助于神经网络模型学习到更鲁邦的图像特征，提高模型的半监督学习性能。数据的混合扰动在一定程度上使得模型之间进行交叉监督，可以进一步提高模型学习的鲁棒性。[0117] 步骤S4、使用神经网络交叉监督策略，生成无标记图像的伪标签，优化心脏腔室分割模型；[0118] 具体的说，在本实施例中，在该步骤S4中执行第二阶段训练，在第二阶段训练过程中，其采用的半监督神经网络架构分别由UNet，Attention3DUNet两个神经网络并行组合而成，如图3所示。[0119] 其中，该阶段的UNet是步骤S3中训练好的UNet网络。[0120] 第二阶段的神经网络模型包括两个分支网络，其中一个分支为UNet网络，它作为无注意力机制的二维自由分割参考网络。另一个分支为Attention3DUNet网络，该网络在UNet的基础上添加了注意力机制，并且可以接收三维心脏数据，将心脏的空间信息纳入考虑范围。Attention3DUNet可以从稀疏的注释中学习，并提供输入3D图像对应的一个密集的三维分割结果，而且通过很少的数据训练便可以得到优秀的泛化结果。[0121] Attention3DUNet的网络结构与Unet大体相似的。同样分为收缩和扩张路径来组成。其不同之处在于，Attention3DUNet从原本的二维卷积变为了三维卷积，在图像的存储中除了存储通道数、宽度和高度三个信息以外，还存储了图像的厚度信息。除此之外，Attention3DUNet引入了注意力机制。其编码器的策略是CNN和Transformer混合构建编码器。Transformer更在注重全局信息，但容易忽略低分辨率下的图像细节，这对于解码器恢复像素尺寸伤害比较大，会导致分割结果很粗糙。而CNN正好可以弥补Transformer的这个缺点。[0122] 上述神经网络架构的两个分支，在获取输入图像的时候分别可以得到两个输出，这两个输出分别是两个分支对同一个原始心脏CT图像的腔室预测结果。[0123] 更具体的说，在本实施例中，采取如下的训练策略：[0124] 如果原始的心脏CT图像是带有标注的，那么我们使用其真实标注对训练结果进行监督，即：[0125][0126] 其中，p代表了心脏CT图像的真实标注，yi代表了每一个分支对心脏腔室的预测结果。lsup代表了有监督情况下的损失，lce和ldice则分别为交叉熵损失和dice损失。需要说明的是，对于2维的UNet对应的yi为二维切片的预测结果。而Attention3DUNet的yi为整个心脏的三维分割结果。[0127] 进一步的，如果原始的心脏CT图像是没有标注的，那么将采用无监督的损失，让其中一个分支的预测结果作为一个分支的伪标签，即UNet的预测结果作为伪标签来监督Attention3DUNet，Attention3DUNet的预测结果作为伪标签来监督UNet。具体的：[0128] 针对一个病人同一时相的心脏而言，将Attention3DUNet的预测结果y3D逐层切片为 slicemax为一个心脏的最大切片数量。将 用作对应UNet分割结果 的伪标签。同样的，将UNet的预测结果 逐切片组合为y2D，y2D作为Attention3DUNet的预测结果y3D的伪标签。[0129] 最终，在无标签情况下整个网络的损失定义为：[0130] lctl＝ldice(y1，y2)+ldice(y2，y1)[0131] 其中，lctl代表了无监督情况下的损失，ldice代表dice损失。[0132] 从而实现了，无注意力机制的自由分割与带有注意力机制的分割结果互相监督，不同的带有注意力机制的分割结果之间互相监督。[0133] 最终，整个网络的损失定义为：[0134] ltotal＝lsup+λIctl[0135] 其中，λ为衰减系数，随着时间和迭代次数的增加而逐渐降低。[0136] 进一步的，采用迭代误差反馈的方法对参数进行回归，能够根据当前的估计逐步进行调整。[0137] 进一步的，在网络训练中，使用Adam优化器来更新神经网络权重参数，其表达式为：[0138][0139][0140][0141][0142][0143] 其中， 分别表示前一时刻和当前时刻的一阶动量， 表示当前时刻的二阶动量， 表示目标函数关于当前参数的梯度，β1和β2表示全局衰减速率， 和 表示当前时刻的衰减速率， 表示一阶动量的偏差纠正， 表示二阶动量的偏差纠正，η表示学t t+1习率，w，w 分别表示前一时刻和当前时刻的模型参数，ε表示模糊因子。[0144] 步骤S5、应用分割模型，对所述医学图像序列层进行心脏分割[0145] 具体的说，在该步骤S5中，通过利用前几个步骤获得的3个训练完成的神经网络来执行图像分割任务。[0146] 其中，含Attention模块的TransUNet和Attention3DUNet仅仅用于辅助UNet完成图像的半监督分割任务，最终使用UNet来对医学图像序列逐层进行心脏分割，分析分割结果并对UNet模型的性能进行评估。[0147] 具体的，本实施例采用Jaccard系数、Dice重叠系数和Hausdorff距离来评价测试数据的分割效果，它们在医学图像处理的评估上已经得到广泛应用。[0148] Jaccard系数又称为Jaccard相似系数(JaccardSimilarityCoefficient)，用于比较样本集之间的相似性与差异性，Jaccard系数值越大，样本相似度越高。定义如下式：[0149][0150] 其中P和G分别为预测和真实标签轮廓所包围的像素集。[0151] Dice系数基本上衡量了预测的标签与真实值的相似程度，Dice系数取值为0到1之间，越高的Dice系数表示分割的性能越好。定义如下式：[0152][0153] Hausdorff距离是描述两个点集之间距离的一种度量，度量了两个点集间的最大不匹配程度，定义如下式：[0154] H(P，G)＝max(h(P，G)，h(G，P))[0155] 其中h(P,G)和h(G,P)分别称为从P集合到G集合和从G集合到P集合的单向Hausdorff距离。即h(P,G)实际上首先对点集P中的每个点到距离此点最近的G集合中点之间的距离进行排序，然后取该距离中的最大值h(P,G)作为的值，计算公式如下：[0156][0157][0158] 分割效果评价如图7所示，本发明训练得到的UNet模型可获得高精度的分割图像。[0159] 通过上述实施方式，可以依靠小样本的有标签心脏CT图像数据以及大样本的无标签心脏CT图像数据，采用半监督的方式训练得到可以对心脏CT图像实现腔室分割的心脏腔室分割模型。本发明的部分输出图如图6所示。[0160] 实施例2[0161] 本实施例提供一种基于半监督方法的心脏腔室图像分割装置，所述装置包括：[0162] 训练样本集获取模块，其用于获取训练样本集，该训练样本集包括多张心脏ct二维图像，部分二维图像上包括对心脏各个部分以及背景的标签；[0163] 预处理模块，其用于获取到的训练样本集，将其中的二维图像进行尺度归一化再进行预处理，得到标准化的训练样本集；[0164] 第一阶段训练模块，其用于针对第一半监督神经网络架构，以所述标准化的训练样本集中带有标签的图像，以及带有伪标签的图像作为模型的输入，对该第一半监督神经网络架构执行第一阶段的训练，其中，基于图像数据混合扰动策略来生成无标注图像的伪标签，对应于该数据混合扰动策略，所述第一半监督神经网络架构包括采用并行连接的UNet和TransUNet，以所述无标注图像的伪标签，来实现对无标注图像的监督；[0165] 第二阶段训练模块，其用于将经过训练的UNet以及Attention3DUnet构建第二半监督神经网络架构，以所述标准化的训练样本集作为输入，且基于神经网络交叉监督策略对该第二半监督神经网络架构进行第二阶段的训练；[0166] 图像分割模块，其用于将第二阶段训练模块中训练得到的UNet作为最终的分割模型，以该分割模型执行分割任务。[0167] 本发明未详述之处，均为本领域技术人员的公知技术。[0168] 以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

专利地区：江苏

专利申请日期：2022-04-28

专利公开日期：2024-06-18

专利公告号：CN114782384B