一种基于深度学习的肿瘤图像分割方法、系统及设备

专利名称：一种基于深度学习的肿瘤图像分割方法、系统及设备

专利类型：实用新型专利

专利申请号：CN202410292536.9

专利申请（专利权）人：南宁市第一人民医院
权利人地址：广西壮族自治区南宁市青秀区七星路89号

专利发明（设计）人：尹家瑜,沈文翔,刘良森,陆一昕,毛一朴,许梅海,韦洁勤,卢平明,瞧秀逢,黄龙全,郭敏,贺艾,黄彩云

专利摘要：本申请涉及智能医疗领域，具体涉及一种基于深度学习的肿瘤图像分割方法、系统及设备。获取肿瘤图像；将所述肿瘤图像输至三维卷积模块中得到卷积特征；所述卷积特征在通道维度中切分成M组特征，M为大于1的自然数；所述M组特征分别通过不同尺度的神经网络生成多尺度特征；基于所述多尺度特征进行分割得到分割结果。本申请提出的分割方法具有更强的有效信息提取能力，并且能够适应不同尺寸、形态肿瘤，具有很好临床价值。

主权利要求：
1.一种基于深度学习的肿瘤图像分割方法，其特征在于，所述方法包括：
获取肿瘤图像；
将所述肿瘤图像输至三维卷积模块中得到卷积特征；
所述卷积特征在通道维度中切分成M组特征，M为大于1的自然数；
所述M组特征分别通过不同尺度的神经网络生成多尺度特征；
将所述多尺度特征输至注意力模块中提取注意特征，所述注意特征与所述卷积特征通过跳跃连接进行特征拼接得到输出特征，基于所述输出特征进行分割得到分割结果；所述注意力模块由通道注意力模块和空间注意力模块组成；
所述通道注意力模块中m种尺度的输入特征先通过全局平均池化压缩得到m种池化特征，m种池化特征进行特征拼接后通过全连接层生成多尺度融合特征，所述多尺度融合特征再分别与m种池化特征相加生成m种融合注意特征，所述融合注意特征与所述输入特征相乘后输至卷积层得到混合注意特征，所述混合注意特征与所述输入特征拼接后输至卷积层得到混合通道注意特征；
所述空间注意力模块中m种尺度的输入特征先通过三维卷积层得到m种卷积特征，m种卷积特征进行特征拼接后通过三维卷积层生成多尺度融合特征，所述多尺度融合特征再分别与m种卷积特征相加生成m种融合注意特征，所述融合注意特征与所述输入特征相乘后输至卷积层得到混合注意特征，所述混合注意特征与所述输入特征拼接后输至卷积层得到混合空间注意特征；
所述通道注意力模块与所述空间注意力模块并行处理不同尺度的特征得到混合通道注意特征、混合空间注意特征，所述混合通道注意特征与所述混合空间注意特征进行拼接得到注意特征。
2.根据权利要求1所述的基于深度学习的肿瘤图像分割方法，其特征在于，所述不同尺度的神经网络是神经网络通过大小不同的卷积核对卷积特征进行特征提取得到多尺度特征。
3.根据权利要求2所述的基于深度学习的肿瘤图像分割方法，其特征在于，所述神经网络采用下列的一种或几种：卷积神经网络、空洞卷积神经网络、可变形卷积、多尺寸卷积。
4.根据权利要求3所述的基于深度学习的肿瘤图像分割方法，其特征在于，所述空洞卷积采用n种扩张比率进行特征提取得到不同尺度的特征，n为大于1的自然数。
5.根据权利要求1所述的基于深度学习的肿瘤图像分割方法，其特征在于，所述卷积模块由三维卷积层、归一化层、ReLU激活层组成，图像依次经过所述三维卷积层、归一化层、ReLU激活层得到卷积特征。
6.根据权利要求1所述的基于深度学习的肿瘤图像分割方法，其特征在于，所述卷积层的卷积核大小采用下列的一种或几种： 、 。
7.根据权利要求1所述的基于深度学习的肿瘤图像分割方法，其特征在于，所述通道注意力模块/空间注意力模块处理m种尺度的特征得到混合通道注意特征/混合空间注意特征，m为大于1的自然数。
8.根据权利要求1所述的基于深度学习的肿瘤图像分割方法，其特征在于，所述方法还包括数据预处理，所述数据预处理中肿瘤图像统一为相同的层厚，再将图像裁切成固定尺寸的三维分块。
9.根据权利要求8所述的基于深度学习的肿瘤图像分割方法，其特征在于，所述相同的层厚通过三线性插值法进行统一。
10.根据权利要求1所述的基于深度学习的肿瘤图像分割方法，其特征在于，所述卷积特征得到多尺度特征的过程作为特征提取模块，将所述特征提取模块嵌入分割模型中进行分割。
11.根据权利要求10所述的基于深度学习的肿瘤图像分割方法，其特征在于，所述分割模型采用的算法包括下列的一种或几种：U‑Net、U‑Net++、DeepLabv3+、AAU‑Net、VoxSegNet、3DU‑Net、V‑Net、FCN、SegGPT、PSPNet、SegNet、SEEM、3D‑SLIC、3D‑NCuts。
12.根据权利要求10所述的基于深度学习的肿瘤图像分割方法，其特征在于，所述分割模型采用的算法还包括MHAU‑Net，所述MHAU‑Net由编码器、解码器组成，所述编码器包括特征提取模块、下采样模块，一个特征提取模块和一个下采样模块为一组编码块，所述解码器包括上采样模块、特征提取模块、卷积层，一个上采样模块和一个特征提取模块为一组解码块；肿瘤图像通过编码器中一个特征提取模块和N组相连的编码块进行编码得到编码特征，所述编码特征依次经过解码器中的N组解码块和卷积层，得到分割结果，其中，编码器中每一组得到的特征还通过跳跃连接与解码器中对应维度的组进行特征拼接，N为大于1的自然数。
13.根据权利要求12所述的基于深度学习的肿瘤图像分割方法，其特征在于，所述下采样模块采用三维卷积进行下采样；所述上采样模块采用反卷积进行上采样。
14.根据权利要求1所述的基于深度学习的肿瘤图像分割方法，其特征在于，所述分割采用的分割模型训练过程为：获取肿瘤图像数据集及标签；
将所述肿瘤图像数据集及标签输至分割网络中进行训练得到分割模型。
15.根据权利要求14所述的基于深度学习的肿瘤图像分割方法，其特征在于，所述分割模型通过最小化损失函数优化模型，所述损失函数采用交叉熵损失函数和/或Dice损失函数。
16.根据权利要求15所述的基于深度学习的肿瘤图像分割方法，其特征在于，所述交叉熵损失函数表示为：其中， 表示分割样本体素数量，表示标签对应的真实值，表示网络生成的预测值。
17.根据权利要求15所述的基于深度学习的肿瘤图像分割方法，其特征在于，所述Dice损失函数表示为：其中， 表示分割样本体素数量，表示标签对应的真实值，表示网络生成的预测值，为常量。
18.根据权利要求15所述的基于深度学习的肿瘤图像分割方法，其特征在于，所述交叉熵损失函数与所述Dice损失函数的混合损失函数表示为：其中， 表示混合损失函数， 表示交叉熵损失， 表示Dice损失， 和 为交叉熵损失和Dice损失的权重。
19.一种基于深度学习的肿瘤图像分割系统，其特征在于，包括：
获取单元：获取肿瘤图像；
卷积单元：将所述肿瘤图像输至三维卷积模块中得到卷积特征；
切分单元：所述卷积特征在通道维度中切分成M组特征，M为大于1的自然数；
多尺度单元：所述M组特征分别通过不同尺度的神经网络生成多尺度特征；将所述多尺度特征输至注意力模块中提取注意特征，所述注意特征与所述卷积特征通过跳跃连接进行特征拼接得到输出特征；
所述注意力模块由通道注意力模块和空间注意力模块组成；
所述通道注意力模块中m种尺度的输入特征先通过全局平均池化压缩得到m种池化特征，m种池化特征进行特征拼接后通过全连接层生成多尺度融合特征，所述多尺度融合特征再分别与m种池化特征相加生成m种融合注意特征，所述融合注意特征与所述输入特征相乘后输至卷积层得到混合注意特征，所述混合注意特征与所述输入特征拼接后输至卷积层得到混合通道注意特征；
所述空间注意力模块中m种尺度的输入特征先通过三维卷积层得到m种卷积特征，m种卷积特征进行特征拼接后通过三维卷积层生成多尺度融合特征，所述多尺度融合特征再分别与m种卷积特征相加生成m种融合注意特征，所述融合注意特征与所述输入特征相乘后输至卷积层得到混合注意特征，所述混合注意特征与所述输入特征拼接后输至卷积层得到混合空间注意特征；
所述通道注意力模块与所述空间注意力模块并行处理不同尺度的特征得到混合通道注意特征、混合空间注意特征，所述混合通道注意特征与所述混合空间注意特征进行拼接得到注意特征；
分割单元：基于所述输出特征进行分割得到分割结果。
20.一种基于深度学习的肿瘤图像分割设备，其特征在于，包括：
存储器和处理器，所述存储器用于存储程序指令；所述处理器用于调用程序指令，当程序指令被执行时实现权利要求1‑18任意一项所述的基于深度学习的肿瘤图像分割方法。
21.一种计算机可读存储介质，其上有计算机程序，其特征在于，包括：
所述计算机程序被处理器执行时实现权利要求1‑18任意一项所述的基于深度学习的肿瘤图像分割方法。 说明书 : 一种基于深度学习的肿瘤图像分割方法、系统及设备技术领域[0001] 本申请涉及智能医疗领域，具体涉及一种基于深度学习的肿瘤图像分割方法、系统、设备及计算机可读存储介质。背景技术[0002] 癌症是最常见的全球性健康问题之一，且发病年龄呈年轻化趋势，坚持早发现、早诊断、早治疗是降低癌症患者死亡率、提高预后生存率的重要手段。快速发展的医学影像技术为肿瘤的早期检测和诊断提供了有力支撑，并且计算机技术、图像处理和模式识别技术的迅速发展，减轻了临床医生的工作量，计算机辅助诊断(computer‑aideddetection，CAD)系统应运而生，并且在肿瘤早期检测和诊断中起到越来越重要的作用。其中，肿瘤分割是计算机辅助诊断的重要模块，是肿瘤诊断、治疗方案制定和预后预测等工作的重要基础，然而，肿瘤可以出现在任何位置，大小参差不齐、形态复杂多变，肿瘤区域与背景组织的差异较小，且占整幅图像的面积过小，使得肿瘤图像的自动分割成为一个具有挑战性的任务。发明内容[0003] 针对上述问题，本发明提出一种基于深度学习的肿瘤图像分割方法，具体包括：[0004] 获取肿瘤图像；[0005] 将所述肿瘤图像输至三维卷积模块中得到卷积特征；[0006] 所述卷积特征在通道维度中切分成M组特征，M为大于1的自然数；[0007] 所述M组特征分别通过不同尺度的神经网络生成多尺度特征；[0008] 基于所述多尺度特征进行分割得到分割结果。[0009] 进一步，所述不同尺度的神经网络是神经网络通过大小不同的卷积核对卷积特征进行特征提取得到多尺度特征；[0010] 优选地，所述神经网络采用下列的一种或几种：卷积神经网络、空洞卷积神经网络、可变形卷积、多尺寸卷积；[0011] 优选地，所述空洞卷积采用n种扩张比率进行特征提取得到不同尺度的特征，n为大于1的自然数；[0012] 优选地，所述卷积模块由三维卷积层、归一化层、ReLU激活层组成，所述图像依次经过所述三维卷积层、归一化层、ReLU激活层得到卷积特征。[0013] 将所述多尺度特征输至注意力模块中提取注意特征，所述注意特征与所述卷积特征通过跳跃连接进行特征拼接得到输出特征，基于所述输出特征进行分割得到分割结果；[0014] 优选地，所述注意力模块由通道注意力模块或空间注意力模块组成；[0015] 优选地，所述通道注意力模块中m种尺度的输入特征先通过全局平均池化压缩特征得到m种池化特征，m种池化特征进行特征拼接后通过全连接层生成多尺度融合特征，所述多尺度融合特征再分别与m种池化特征相加生成m种融合注意特征，所述融合注意特征与所述输入特征相乘后输至卷积层得到混合注意特征，所述混合注意特征与所述输入特征拼接后输至卷积层得到混合通道注意特征；[0016] 优选地，所述卷积层的卷积核大小采用下列的一种或几种：1×1×1、3×3×3；[0017] 优选地，所述空间注意力模块中m种尺度的输入特征先通过三维卷积层得到m种卷积特征，m种卷积特征进行特征拼接后通过三维卷积层生成多尺度融合特征，所述多尺度融合特征再分别与m种池化特征相加生成m种融合注意特征，所述融合注意特征与所述输入特征相乘后输至卷积层得到混合注意特征，所述混合注意特征与所述输入特征拼接后输至卷积层得到混合空间注意特征；[0018] 优选地，所述通道注意力模块/空间注意力模块处理m种尺度的特征得到混合通道注意特征/混合空间注意特征，m为大于1的自然数。[0019] 进一步，所述注意力模块由通道注意力模块和空间注意力模块组成，所述通道注意力模块与所述空间注意力模块并行处理不同尺度的特征得到混合通道注意特征、混合空间注意特征，所述混合通道注意特征与所述混合空间注意特征进行拼接得到注意特征。[0020] 所述方法还包括数据预处理，所述数据预处理中肿瘤图像统一为相同的层厚，再将图像裁切成固定尺寸的三维分块；[0021] 优选地，所述相同的层厚通过三线性插值法进行统一。[0022] 所述卷积特征得到多尺度特征的过程作为特征提取模块，将所述特征提取模块嵌入分割模型中进行分割；[0023] 优选地，所述分割模型采用的算法包括下列的一种或几种：MHAU‑Net、U‑Net、U‑Net++、DeepLabv3+、AAU‑Net、VoxSegNet、3DU‑Net、V‑Net、FCN、SegGPT、PSPNet、SegNet、SEEM、3D‑SLIC、3D‑NCuts；[0024] 优选地，所述MHAU‑Net由编码器、解码器组成，所述编码器包括特征提取模块、下采样模块，一个特征提取模块和一个下采样模块为一组编码块，所述解码器包括上采样模块、特征提取模块、卷积层，一个上采样模块和一个特征提取模块为一组解码块；肿瘤图像通过编码器中一个特征提取模块和N组相连的编码块进行编码得到编码特征，所述编码特征依次经过解码器中的N组解码块和卷积层，得到分割结果，其中，编码器中每一组得到的特征还通过跳跃连接与解码器中对应维度的组进行特征拼接，N为大于1的自然数；[0025] 优选地，所述下采样模块采用三维卷积进行下采样；所述上采样模块采用反卷积进行上采样。[0026] 所述分割采用的分割模型训练过程为：[0027] 获取肿瘤图像数据集及标签；[0028] 将所述肿瘤图像数据集及标签输至分割网络中进行训练得到分割模型；[0029] 优选地，所述分割模型通过最小化损失函数优化模型，所述损失函数采用交叉熵损失函数和/或Dice损失函数；[0030] 优选地，所述交叉熵损失函数表示为：[0031][0032] 其中，M表示分割样本体素数量，y表示标签对应的真实值，表示网络生成的预测值；[0033] 优选地，所述Dice损失函数表示为：[0034][0035] 其中，M表示分割样本体素数量，y表示标签对应的真实值，表示网络生成的预测值，∈为较小常量；[0036] 优选地，所述交叉熵损失函数与所述Dice损失函数的混合损失函数表示为：[0037] Ltotal＝λ1LCE+λ2LDice[0038] 其中，Ltotal表示混合损失函数，LCE，表示交叉熵损失，LDice表示Dice损失，λ1和λ2为交叉熵损失和Dice损失的权重。[0039] 本发明的目的在于提供一种基于深度学习的肿瘤图像分割系统，包括：[0040] 获取单元：获取肿瘤图像；[0041] 卷积单元：将所述肿瘤图像输至三维卷积模块中得到卷积特征；[0042] 切分单元：所述卷积特征在通道维度中切分成M组特征，M为大于1的自然数；[0043] 多尺度单元：所述M组特征分别通过不同尺度的神经网络生成多尺度特征；[0044] 分割单元：基于所述多尺度特征进行分割得到分割结果。[0045] 本发明的目的在于提供一种基于深度学习的肿瘤图像分割设备，包括：[0046] 存储器和处理器，所述存储器用于存储程序指令；所述处理器用于调用程序指令，当程序指令被执行时实现任意一项上述的基于深度学习的肿瘤图像分割方法。[0047] 本发明的目的在于提供一种计算机可读存储介质，其上有计算机程序，包括：[0048] 所述计算机程序被处理器执行时实现任意一项上述的基于深度学习的肿瘤图像分割方法。[0049] 本发明的优势：[0050] 1.提出了一种多尺度混合注意力模块(Multi‑scaleHybridAttentionBlock，MHAB)，该模块包含四种不同视野的卷积，拥有空间和通道双重注意结构，能适应不同尺寸肿瘤的分割，具有更好的有效信息提取能力。[0051] 2.通道注意力机制主要体现为模块自行对每个通道的特征图分别进行加权，能分析通道特征之间的相互依赖性，从而自适应地调整每个通道特征，具有更强的有效通道特征提取能力。空间注意力机制是通道注意力机制的一种补充，它采用单通道的注意力矩阵聚焦图像的关键区域。[0052] 3.以MHAB为核心构建了一种新的三维网络MHAU‑Net，用于三维肿瘤的自动分割。基于MHAB提取特征的能力提高分割模型的分割性能，有助于精细化肿瘤图像的分割。附图说明[0053] 为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获取其他的附图。[0054] 图1为本发明实施例提供的一种基于深度学习的肿瘤图像分割方法流程示意图；[0055] 图2为本发明实施例提供的一种基于深度学习的肿瘤图像分割系统示意图；[0056] 图3为本发明实施例提供的一种基于深度学习的肿瘤图像分割设备示意图；[0057] 图4为本发明实施例提供的乳腺肿瘤图像标记过程示意图；[0058] 图5为本发明实施例提供的MHAB结构示意图；[0059] 图6为本发明实施例提供的MHAU‑Net结构示意图；[0060] 图7为本发明实施例提供的不同维度的分割效果图；[0061] 图8为本发明实施例提供的不同网络的分割效果图；[0062] 图9为本发明实施例提供的不同形态肿瘤的分割效果图。具体实施方式[0063] 为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。[0064] 在本发明的说明书和权利要求书及上述附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如S101、S102等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。[0065] 图1本发明实施例提供的一种基于深度学习的肿瘤图像分割方法示意图，具体包括：[0066] S101：获取肿瘤图像；[0067] 在一个实施例中，所述肿瘤包括：良性肿瘤、恶性肿瘤。[0068] 良性肿瘤一般指对周围组织没有侵犯、浸润，同时不会发生远处转移，生长速度较缓慢的肿瘤，包括:脂肪瘤、子宫肌瘤、甲状腺腺瘤、部分胸腺瘤、畸胎瘤；恶性肿瘤通常是以细胞分化异常、增殖异常、生长失去控制为特征的一类疾病，可能会形成远处转移，包括：肺癌、胃癌、胰腺癌、肝癌。[0069] 在一个实施例中，乳腺肿瘤的影像包括下列的一种或几种：超声影像、X射线影像、X射线断层影像、核磁共振影像。[0070] 在一个实施例中，所述方法还包括数据预处理，所述数据预处理中肿瘤图像统一为相同的层厚，再将图像裁切成固定尺寸的三维分块；[0071] 优选地，所述相同的层厚通过三线性插值法进行统一。[0072] 在一个具体实施例中，乳腺癌常用的检查方法有超声(Ultrasound，US)、数字化乳腺X线摄影(Digitalmammography，DM)、数字化乳腺X线断层摄影(Digitalbreasttomosynthesis，DBT)，磁共振成像技术(magneticresonanceimaging，MRI)等，其中由于磁共振成像可提供多参数分析，如DCE‑MRI、弥散加权成像(diffusionweightedimaging，DWI)等，广泛应用于乳腺疾病的筛查、诊断、术前预测及预后评估，多项研究表明DCE‑MRI对乳腺良恶性肿瘤鉴别提供了丰富的数据信息，使乳腺癌诊断准确性大幅度提升，同时还减少不必要的良性病变的乳腺活检。[0073] 在一个具体实施例中，本发明将上述提出的MHAU‑Net应用于乳腺肿瘤MRI数据集评估，该数据集由2018年1月～2021年04月广西医科大学附属肿瘤医院经手术病理证实的乳腺癌患者的3DT1WI增强图像构成。排除部分包含明显噪声伪影等干扰信息的低质量图像，保留906例患者的3D图像。所有图像的原始的宽和高皆为512，层数不统一，但906例样本中901例层厚为1.5mm，仅有5例为1mm。综合考虑到尺寸调整时图像有效信息的丢失以及网络对数据尺寸统一性的需求，本发明仅采用三线性插值法将5例1mm的3D图像调整为1.5mm。[0074] 在一个具体实施例中，将所有患者的DCE‑MRI图像以DICOM格式导入ITK‑SNAP3.6.0软件，先由1名具有5年MRI诊断工作经验的放射科诊断医师参考DCE‑MRI图像(肿瘤强化最明显期相，本发明选取增强扫描第2期图像)，以横断位图像为基础，结合冠状位和矢状位对肿瘤区域进行初步手工勾画肿瘤区域，如图4所示(a)；再由具有15年以上MRI诊断工作经验的放射科诊断医师对标记区域进行审核及二次修改，最后融合成3D肿瘤掩膜，如图4所示(b)。[0075] 经过数据采集、预处理和标记，生成样本宽高为512、层厚为1.5mm、3D图像数量为906、2D切片数量为129972的乳腺MRI数据集。我们随机将906例样本按64:16:20的比例划分训练集、验证集和测试集，它们的样本数分别为580、145和181，用于网络的训练、验证和测试。具体来说，训练集用于训练网络，验证集用于选择训练后的最佳模型，测试集用于评测网络的性能。[0076] S102：将所述肿瘤图像输至三维卷积模块中得到卷积特征；[0077] 在一个实施例中，所述卷积模块由三维卷积层、归一化层、ReLU激活层组成，所述图像依次经过所述三维卷积层、归一化层、ReLU激活层得到卷积特征。[0078] 在一个具体实施例中，MHAB是改进算法的核心模块，它的流程和总体结构如图5所示。输入特征 首先会经过一个三维卷积模块，三维卷积模块主要包括三维卷积层、实例归一化层和ReLU激活层，它在处理特征信息的同时调整特征通道数量使其与MHAB输出通道数量保持一致，输出特征[0079] S103：所述卷积特征在通道维度中切分成M组特征，M为大于1的自然数；[0080] 在一个 具体实施 例中，在通道维 度上对F1 进行切 分，生成四组切分特征。[0081] S104：所述M组特征分别通过不同尺度的神经网络生成多尺度特征；[0082] 在一个实施例中，所述不同尺度的神经网络是神经网络通过大小不同的卷积核对卷积特征进行特征提取得到多尺度特征；[0083] 优选地，所述神经网络采用下列的一种或几种：卷积神经网络、空洞卷积神经网络、可变形卷积、多尺寸卷积；[0084] 优选地，所述空洞卷积采用n种扩张比率进行特征提取得到不同尺度的特征，n为大于1的自然数。[0085] 在一个具体实施例中，四组切分特征经过空洞比率分别为1、2、3、4的四组空洞卷积模块，生成四组包含不同尺度信息上下文的特征[0086] 由空洞比率分别为1和2的空洞模块生成的多尺度上下文特征Fd1和Fd2经过混合通道注意力模块处理，生成 过程如下式所示：[0087][0088] Ac＝PFCConcate(A1,A2)[0089][0090][0091] Fci＝P1×1×1Concate(Fai,Fdi)[0092] 其中i∈{1,2}，GAP表示全局平均池化(GlobalAveragePooling)，Concate表示数据拼接， 表示元素相加， 表示元素相乘，P表示权重参数，PFC表示全连接层参数，P3×3×3表示核尺寸为3×3×3的三维卷积模块参数，P1×1×1表示核尺寸为1×1×1的三维卷积模块参数。对于输入的Fdi，混合通道注意力模块首先采用全局平均池化压缩特征，生成向量Ai与另一组向量A2‑i进行拼接，经过全连接层生成多尺度融合向量C/4生成的融合向量Ac与Ai相加，经过Sigmoid层生成混合注意向量αi∈(0,1) ；注意向量αi与输入特征Fdi元素相乘，经过核尺寸为3×3×3的三维卷积模块生成更具倾向性的混合注意特征Fai；最后，混合注意特征Fai与输入特征Fdi拼接，并经过仅融合通道层面信息的核尺寸为1×1×1的三维卷积模块，生成融合混合通道注意信息和上下文信息的输出特征Fci。[0093] 混合空间注意力模块总体流程和结构与混合通道注意力模块类似，过程如下式所示：[0094][0095] Bc＝P3′×3×3Concate(B1,B2)[0096][0097][0098] Fcj＝P1×1×1Concate(Faj,Fdj)[0099] 其中j＝i+2，P′3×3×3表示核尺寸为3×3×3的三维卷积层参数。与混合通道注意力模块相比，混合空间注意力模块采用输出通道数为1的三维卷积层生成 进1×D×H×W而生成空间注意矩阵βi∈(0,1) ，并最终生成融合混合空间注意信息和上下文信息的输出特征Fcj。[0100] 最后，混合通道注意和混合空间注意力模块提取的特征Fc1、Fc2、Fc3和Fc4进行融合生成 F1跨层连接与F2相加，最终生成输出特征 综合而言，MHAB在向网络引入混合通道注意力机制和混合空间注意力机制的同时，也使网络具有更强的多尺度上下文信息提取能力，从而适应不同尺寸、不同形态肿瘤的分割。[0101] S105：基于所述多尺度特征进行分割得到分割结果。[0102] 在一个实施例中，U‑Net是一种U型的编码器‑解码器结构的深度神经网络，编码器负责提取不同层次的特征并通过跳跃连接输入解码器，解码器对输入特征进行多次特征融合和上采样等操作后生成目标的分割掩膜。然而，U‑Net在磁共振图像肿瘤分割上仍然存在着两个不足。一个是对多尺度上下文信息提取不足，难以适应不同尺寸肿瘤的分割以及在与肿瘤周围组织对比方面存在弱势；U‑Net的另一个缺点是特征提取过程缺乏针对性，容易受到肿瘤之外无关信息的干扰。[0103] 在一个实施例中，将所述多尺度特征输至注意力模块中提取注意特征，所述注意特征与所述卷积特征通过跳跃连接进行特征拼接得到输出特征，基于所述输出特征进行分割得到分割结果；[0104] 优选地，所述注意力模块由通道注意力模块或空间注意力模块组成；[0105] 优选地，所述通道注意力模块中m种尺度的输入特征先通过全局平均池化压缩特征得到m种池化特征，m种池化特征进行特征拼接后通过全连接层生成多尺度融合特征，所述多尺度融合特征再分别与m种池化特征相加生成m种融合注意特征，所述融合注意特征与所述输入特征相乘后输至卷积层得到混合注意特征，所述混合注意特征与所述输入特征拼接后输至卷积层得到混合通道注意特征；[0106] 优选地，所述卷积层的卷积核大小采用下列的一种或几种：1×1×1、3×3×3；[0107] 优选地，所述空间注意力模块中m种尺度的输入特征先通过三维卷积层得到m种卷积特征，m种卷积特征进行特征拼接后通过三维卷积层生成多尺度融合特征，所述多尺度融合特征再分别与m种池化特征相加生成m种融合注意特征，所述融合注意特征与所述输入特征相乘后输至卷积层得到混合注意特征，所述混合注意特征与所述输入特征拼接后输至卷积层得到混合空间注意特征；[0108] 优选地，所述通道注意力模块/空间注意力模块处理m种尺度的特征得到混合通道注意特征/混合空间注意特征，m为大于1的自然数。[0109] 在一个实施例中，所述注意力模块由通道注意力模块和空间注意力模块组成，所述通道注意力模块与所述空间注意力模块并行处理不同尺度的特征得到混合通道注意特征、混合空间注意特征，所述混合通道注意特征与所述混合空间注意特征进行拼接得到注意特征。[0110] 在一个实施例中，所述卷积特征得到多尺度特征的过程作为特征提取模块，将所述特征提取模块嵌入分割模型中进行分割；[0111] 优选地，所述分割模型采用的算法包括下列的一种或几种：MHAU‑Net、U‑Net、U‑Net++、DeepLabv3+、AAU‑Net、VoxSegNet、3DU‑Net、V‑Net、FCN、SegGPT、PSPNet、SegNet、SEEM、3D‑SLIC、3D‑NCuts；[0112] 优选地，所述MHAU‑Net由编码器、解码器组成，所述编码器包括特征提取模块、下采样模块，一个特征提取模块和一个下采样模块为一组编码块，所述解码器包括上采样模块、特征提取模块、卷积层，一个上采样模块和一个特征提取模块为一组解码块；肿瘤图像通过编码器中一个特征提取模块和N组相连的编码块进行编码得到编码特征，所述编码特征依次经过解码器中的N组解码块和卷积层，得到分割结果，其中，编码器中每一组得到的特征还通过跳跃连接与解码器中对应维度的组进行特征拼接，N为大于1的自然数；[0113] 优选地，所述下采样模块采用三维卷积进行下采样；所述上采样模块采用反卷积进行上采样。[0114] 在一个实施例中，所述分割采用的分割模型训练过程为：[0115] 获取肿瘤图像数据集及标签；[0116] 将所述肿瘤图像数据集及标签输至分割网络中进行训练得到分割模型；[0117] 优选地，所述分割模型通过最小化损失函数优化模型，所述损失函数采用交叉熵损失函数和/或Dice损失函数；[0118] 优选地，所述交叉熵损失函数表示为：[0119][0120] 其中，M表示分割样本体素数量，y表示标签对应的真实值， 表示网络生成的预测值；[0121] 优选地，所述Dice损失函数表示为：[0122][0123] 其中，M表示分割样本体素数量，y表示标签对应的真实值，表示网络生成的预测值，∈为较小常量；[0124] 优选地，所述交叉熵损失函数与所述Dice损失函数的混合损失函数表示为：[0125] Ltotal＝λ1LCE+λ2LDice[0126] 其中，Ltotal表示混合损失函数，LCE，表示交叉熵损失，LDice表示Dice损失，λ1和λ2为交叉熵损失和Dice损失的权重。[0127] 在一个具体实施例中，本文将多尺度和注意力结构引入U‑Net，设计了一个用于乳腺磁共振图像肿瘤分割的多尺度混合注意U型网络(Multi‑scaleHybridAttentionU‑shapedNetwork，MHAU‑Net)。该网络以3DU‑Net为基础，采用多组不同扩张比率的空洞卷积实现多尺度能力，采用全局池化和单通道卷积等结构构造混合通道和空间注意力结构。与现有的方法不同，MHAU‑Net的混合通道和空间注意力结构分别对两组不同视野的特征进行注意力矩阵生成和融合，并以此强化输入特征。这种结构能提高网络的多尺度复杂信息表达能力，从而更有效地分割各种尺寸、形状的乳腺肿瘤。大量的实验表明，提出的MHAU‑Net在乳腺磁共振图像肿瘤分割上取得了显著的改进。[0128] 在一个具体实施例中，MHAU‑Net是一个基于编码器‑解码器结构的U型网络，它的总体结构和流程，如图6所示。网络采用编码器提取四组不同尺度的特征，并跳跃连接至解码器提供图像的空间细节和上下文信息，从而实现乳腺肿瘤的精确分割。考虑到三维网络对计算机资源消耗量大等特性，图像在输入网络前首先被裁剪成多个固定尺寸的三维分块(patch)。每个分块输入网络后，首先会经过两组MHAB进行第一阶段的特征提取，并经过一组下采样模块进行压缩。下采样模块主要包括一组步长为2的三维卷积，用于将特征的深度、高度、宽度都压缩至原特征的二分之一。经过四个阶段的MHAB和下采样模块，生成四组通道数分别为32、64、128和160的特征。通道数为160的特征经过一组上采样模块后与128的特征拼接，其中上采样模块主要由反卷积实现。接着将拼接特征输入一组MHAB，从而获取融合图像原始细节的特征。经过三次跨越连接特征融合后，融合特征被一组三维卷积映射为通道数为2，且深度、高度、宽度与输入分块相同的矩阵，从而进一步生成输入分块的分割预测结果。最后，对所有三维分块分割预测结果进行拼接，生成乳腺MR图像的完整肿瘤分割结果。[0129] 在一个具体实施例中，为了抑制正负样本失衡对模型训练过程的影响，我们采用结合了交叉熵(CrossEntropy，CE)损失和Dice损失的混合损失，它可以被表示为：[0130][0131][0132] Ltotal＝λ1LCE+λ2LDice[0133] 其中M表示分割样本体素数量，y表示标签对应的真实值， 表示网络生成的预测值，∈为较小常量，用于防止分母为0以及平滑损失，λ1和λ2为交叉熵损失和Dice损失的权重。在负样本占比庞大的乳腺肿瘤分割任务，如果仅采用交叉熵损失进行训练，网络很容易被引导至仅输出0，导致网络失效。相比交叉熵损失，Dice损失具有区域相关性，在正负样本不平衡时也能关注前景区域。与此同时，Dice的正负样本比例不敏感特性也会导致训练过程不稳定，例如对于微小目标肿瘤，即使仅有少量体素预测错误，也会大幅影响损失值。因此，我们采用交叉熵损失和Dice损失的混合损失对网络进行训练，在收敛过程有效性和稳定性之间取得平衡。[0134] 在一个具体实施例中，本发明提出的MHAU‑Net与四种现有二维网络U‑Net、U‑Net++、DeepLabv3+、AAU‑Net和三种三维网络VoxSegNet、3DU‑Net、V‑Net进行对比。其中U‑Net是最为常用的医学图像分割网络，而3DU‑Net也是MHAU‑Net的基础网络。U‑Net++是一种基于U‑Net的密集连接改进网络。DeepLabv3+是常用的具有多尺度信息提取能力的分割模型。AAU‑Net是一种与MHAU‑Net结构相似的二维网络，并且在乳腺超声图像中取得优秀的分割结果。VoxSegNet和V‑Net则是两种在医学领域取得广泛应用的三维分割网络。[0135] 在一个具体实施例中，为了综合评价网络性能，我们同时采用敏感度(sensitivity，SE)、阳性预测值(Positive PredictiveValue，PPV)、交并比(IntersectionoverUnion，IoU)、Dice相似系数(DiceSimilarityCoefficient，DSC)等指标，这些指标可以由以下公式表示：[0136][0137][0138][0139][0140] 其中TP表示预测正确的正样本数量，这里的样本指的是每个体素对应类别，TN表示预测正确的负样本数量，FP表示实际为负样本但被错误地预测错误为正样本的数量，FN表示实际为正样本但被错误地预测错误为负样本的数量。[0141] 在一个具体实施例中，网络训练轮数设置范围为100‑500轮；学习率设置范围为0.01，‑0.00001；优化器采用AdamW；分块切分深度、高度和宽度分别为64、192和192，在训练时，阳性分块和阴性分块的占比都为50％，在测试时，以50％的重叠步长对整图进行切分；数据增强以动态形式进行，增强概率为50％。[0142] 在一个具体实施例中，在三维肿瘤分割领域，分割网络往往可以分为二维网络和三维网络。通过实验验证，如图7所示，a、b、c分别为横断位、矢状位、冠状位标签图像，d、e、f为二维网络分割图像，g、h、i为三维网络分割图像，从图中黄色圆圈区域可以看到，二维网络相比于三维网络更容易将小型无关组织错误地判断为目标肿瘤，生成假阳性分割结果。引起这种现象的一个原因在于二维网络仅能获取单层平面图像的信息，无法获取肿瘤完整的三维信息。而一般而言肿瘤两端在平面的投影面积较小，且往往缺少一些有用的信息，容易和其他组织发生混淆。这种混淆使网络在训练时难以判断部分小型目标是否为肿瘤，导致网络拟合困难，从而进一步导致网络对微小目标误检漏检。相比二维网络，三维网络采用的基于重叠切割的分块在大部分情况下能包含单个肿瘤的完整信息，能极大地抑制由信息缺失导致的微小组织假阳性分割现象，并且在三维层面的分割更为光滑。因此在本发明上，三维网络比二维网络具有优势。[0143] 在一个具体实施例中，为了验证改进网络MHAU‑Net的有效性，本发明对比MHAU‑Net与七种现有网络DeepLabv3+、U‑Net、U‑Net++、AAU‑Net、VoxSegNet、3DU‑Net、V‑Net的分割性能，如表1所示。从表中可以看出，三维网络分割性能总体优于二维网络。MHAU‑Net相比于基础网络3DU‑Net有着明显提升，其中PPV提升6.1％，IoU提升7.5％，DSC提升6.6％。在八种网络相比，MHAU‑Net的SE、IoU和DSC皆为最高，其中SE高于次优结果1.0％，IOU高于次优结果5.0％，DSC高于次优结果4.2％。在PPV指标方面，MHAU‑Net低于U‑Net++，但其他指标明显更高，其中SE相比U‑Net++提升了15.2％。MHAU‑Net具有较低的标准差，除了SE之外皆为最低，表明MHAU‑Net具有更为稳定的分割性能。总体而言，MHAU‑Net具有最优的综合分割性能。[0144] 此外，为了更直观对比八种网络的分割性能，我们对八种网络在两组样本上的分割效果进行可视化，可视化结果如图8所示。对于小型肿瘤样本，由于二维网络无法获取周围帧的三维信息，二维网络的分割效果往往劣于三维网络，其中DeepLabv3+和U‑Net++尤为明显，二维网络中效果最好的U‑Net也劣于所有三维网络。对于大型肿瘤样本，尽管所有网络都能分割出对应阳性区域，但从VoxSegNet和V‑Net左侧的假阳性分割区域也暴露出基于分块方法的三维网络由于缺乏完整二维信息而导致容易误检与目标肿瘤相似组织的问题。同时，可视化结果显示MHAU‑Net在这两组样本中都能取得理想的分割结果，进一步证明本发明改进网络的有效性。[0145] 表1.八种网络分割结果表(均值±标准差)[0146][0147] 在一个具体实施例中，为了更全面地说明改进方法在不同类型肿瘤的分割性能，本发明进一步分析了网络在单发型、多发型、大型、小型、肿块型和非肿块型的表现。本发明首先将测试集的181例样本按肿瘤数量进行划分，得到159例单发肿瘤样本和22例多发肿瘤样本。由于难以对多发肿瘤样本中单个肿瘤进行评分，本发明仅对单肿瘤样本进行小型/大型和肿块/非肿块型划分。根据早期乳腺癌保乳手术专家共识提到肿瘤最大径≤3cm的患者有机会保乳，本发明将159例单发型样本按最大径是否小于3cm划分小型/大型肿瘤，共计88例大型和71例小型样本。159例单发型样本中，有135例能明确是否为肿块型，其中肿块型和非肿块型样本数分别为108和27。[0148] 改进网络MHAU‑Net对不同类型肿瘤分割结果和可视化效果如表2和图9所示，a、f、k分别为小型肿瘤的原始图像、标签图像和模型分割图像，b、g、l对应大型肿瘤，c、h、m对应肿块型肿瘤，d、i、m对应非肿块型肿瘤，e、j、o对应多发肿瘤。从表中可以看到，网络对单发肿瘤的分割性能明显高于多发肿瘤。网络对多发肿瘤的敏感度比单发肿瘤低14.4％，而PPV却只低5.1％，说明网络在多发肿瘤样本分割上的主要问题是容易遗漏肿瘤区域。同时，由图9所示的(j)和(o)，网络在上方肿瘤区域的网络分割结果相比标签图像存在明显缺失，也进一步说明了多发肿瘤中欠分割是影响分割性能的主要原因。[0149] 表2.四种类型肿瘤分割结果表(均值±标准差)[0150][0151] 通过对比小型肿瘤和大型肿瘤分割结果可以看出，网络对大型肿瘤分割效果更好，但区别较小，网络对肿瘤尺寸较不敏感。同时，从小型肿瘤高达95.1％的敏感度可以看出，网络对小型肿瘤漏检情况较少。[0152] 由肿块型和非肿块型肿瘤分割结果可以看出，网络对肿块型肿瘤分割优于非肿块型肿瘤。两个亚组之间的PPV仅相差0.6％，而SE却相差10.1％，表明可能受非肿块型边界不清等特性影响，网络容易遗漏肿瘤的部分边界体素。这一特性从图9所示的(i)和(n)也可以看出，模型分割图像的左右边缘和上缘相对于标签图像存在一些缺损。[0153] 在一个具体实施例中，为了适应乳腺肿瘤大小、形态不一等特点，强化对肿瘤有效信息的提取分析能力，本发明提出了一种新的基于深度学习的三维乳腺肿瘤分割网络，用于自动分割乳腺磁共振图像中的肿瘤。该网络是一种以多尺度混合注意力模块MHAB为核心的U型网络。MHAB采用多组不同空洞比率的三维卷积实现多尺度上下文信息提取，采用由全局池化、全连接层等构成的混合通道注意力模块筛选含有重要信息的通道特征，采用由单通道输出的三维卷积模块等构成的混合空间注意力模块滤除空间中的无关干扰信息。[0154] 本发明还构建了一个包含906例乳腺癌患者磁共振图像的数据集，并采用该数据集对提出的网络和七种现有网络进行训练和测试。结果表明提出的网络具有最佳的分割性能，且在不同类型肿瘤上都具有较好的分割效果。[0155] 图2本发明实施例提供的一种基于深度学习的肿瘤图像分割系统示意图，具体包括：[0156] 获取单元：获取肿瘤图像；[0157] 卷积单元：将所述肿瘤图像输至三维卷积模块中得到卷积特征；[0158] 切分单元：所述卷积特征在通道维度中切分成M组特征，M为大于1的自然数；[0159] 多尺度单元：所述M组特征分别通过不同尺度的神经网络生成多尺度特征；[0160] 分割单元：基于所述多尺度特征进行分割得到分割结果。[0161] 图3本发明实施例提供的一种基于深度学习的肿瘤图像分割设备示意图，具体包括：[0162] 存储器和处理器；所述存储器用于存储程序指令；所述处理器用于调用程序指令，当程序指令被执行任意一项上述的基于深度学习的肿瘤图像分割方法。[0163] 一种计算机可读存储介质，所述计算机可读存储介质存储计算机程序，所述计算机程序被处理器执行时任意一项上述的基于深度学习的肿瘤图像分割方法。[0164] 本验证实施例的验证结果表明，为适应症分配固有权重相对于默认设置来说可以改善本方法的性能。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，ReadOnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、磁盘或光盘等。[0165] 本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的介质存储可以是只读存储器，磁盘或光盘等。[0166] 以上对本发明所提供的一种计算机设备进行了详细介绍，对于本领域的一般技术人员，依据本发明实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

专利地区：广西

专利申请日期：2024-03-14

专利公开日期：2024-11-22

专利公告号：CN117974691B