基于特征蒸馏的多尺度骨肉瘤CT图像病变区域检测方法

专利名称：基于特征蒸馏的多尺度骨肉瘤CT图像病变区域检测方法

专利类型：发明专利

专利申请号：CN202410965009.X

专利申请（专利权）人：华侨大学
权利人地址：福建省泉州市丰泽区城东城华北路269号

专利发明（设计）人：刘卓晟,王福财,郑雯雯,郭毓锋

专利摘要：本发明公开了基于特征蒸馏的多尺度骨肉瘤CT图像病变区域检测方法，涉及医学图像技术领域，包括：获取数据集，构建并训练病变区域检测模型；利用训练好的病变区域检测模型实现多尺度骨肉瘤CT图像病变区域检测；所述病变区域检测模型包括Backbone部分、Neck部分和Head部分；Backbone部分包括特征提取模块、自蒸馏模块和通道相关性关系蒸馏模块，基于输入模型的CT图像输出多个维度的特征信息，基于多个维度的特征信息构建损失函数；Neck部分根据多个维度的特征信息输出多个维度的特征图；Head部分根据多个维度的特征图输出预测图像。本发明结合知识蒸馏和目标检测，提高了CT图像骨肉瘤检测的识别率和准确性。

主权利要求：
1.一种基于特征蒸馏的多尺度骨肉瘤CT图像病变区域检测方法，其特征在于，包括以下步骤：获取骨肉瘤CT图像并进行预处理，获得数据集；
构建基于特征蒸馏的卷积神经网络作为病变区域检测模型；
基于数据集训练病变区域检测模型；
利用训练好的病变区域检测模型实现多尺度骨肉瘤CT图像病变区域检测；
所述病变区域检测模型包括依次连接的Backbone部分、Neck部分和Head部分；
Backbone部分包括特征提取模块、自蒸馏模块和通道相关性关系蒸馏模块，特征提取模块采用若干个由上至下依次布置的交替模块对输入模型的CT图像进行多次特征提取，并输出多个维度的特征信息，自蒸馏模块和通道相关性关系蒸馏模块基于多个维度的特征信息构建损失函数；Neck部分采用相互融合的FPN网络和PANET网络接收多个维度的特征信息，输出多个维度的特征图；Head部分采用CBS结构接收多个维度的特征图，输出基于全局信息的预测图像；
所述特征提取模块包括三个由上至下依次布置的交替模块；上层交替模块包括C3结构、CBS结构和C3结构；中层交替模块包括CBS结构；下层交替模块包括C3结构、CBS结构、C3结构和SPPF结构；
所述自蒸馏模块接收三个交替模块输出的特征信息，构建多分支蒸馏路径，基于各分支的自蒸馏损失构建总自蒸馏损失，具体包括以下步骤：首先，获得上层交替模块中CBS模块的输出 采用1×1自适应卷积调整器对其调整，获得 表示为：
其中， 表示第一卷积调整器， 表示第一卷积参数；
其次，获得上层交替模块中C3模块的输出 采用1×1自适应卷积调整器对其调整，获得 表示为：其中， 表示第二卷积调整器， 表示第二卷积参数；
再次，获得中层交替模块的输出 采用1×1自适应卷积调整器对其调整，获得表示为：
其中， 表示第三卷积调整器， 表示第三卷积参数；
最后，获得下层交替模块的输出Fguide，分别计算Fguide与 之间的L2范数，从而构建总自蒸馏损失Lossself，表示为：
其中，||·||2表示L2范数； 表示各分支的自蒸馏损失。
2.根据权利要求1所述的基于特征蒸馏的多尺度骨肉瘤CT图像病变区域检测方法，其特征在于，所述预处理包括去除骨肉瘤CT图像四周的标注信息并增强图像对比度，增强对比度的计算公式表示为：*
y＝Clog[y+1]；
其中，y为原始图像像素点的值，y*为对应增强处理后的像素值，log表示对数函数，常数C用于使变换后的图像的灰度动态范围符合要求。
3.根据权利要求1所述的基于特征蒸馏的多尺度骨肉瘤CT图像病变区域检测方法，其特征在于，所述通道相关性关系蒸馏模块接收中层交替模块输出的特征信息和下层交替模块输出的特征信息，构建通道相关性损失以引导上层交替模块和中层交替模块在特征层面获得与下层交替模块相近的性能，以及引导中层交替模块从通道相关性层面获得与下层交替模块相近的特征提取能力。
4.根据权利要求3所述的基于特征蒸馏的多尺度骨肉瘤CT图像病变区域检测方法，其特征在于，所述通道相关性关系蒸馏模块构建通道相关性损失的过程包括以下步骤：首先，计算下层交替模块的输出Fguide的通道相关性矩阵 表示为：其中， 表示Fguide图像特征中第m通道的图像特征， 表示Fguide图像特征中第n通道的图像特征；v(·)表示特征映射函数，用以将二维特征向量映射为长度为hw的向量；K(·)表示内积函数，用以度量输入图像通道维度之间的相关性；
其次，计算 的通道相关性矩阵 表示为：
其中， 表示 图像特征中第m通道的图像特征， 表示 图像特征中第n通道的图像特征；
最后，计算 与 之间的L2范数，进而构建通道相关性蒸馏损失LossRelate，表示为：
5.根据权利要求1所述的基于特征蒸馏的多尺度骨肉瘤CT图像病变区域检测方法，其特征在于，所述Neck部分获得多个维度的特征图的过程包括以下步骤：下层交替模块的输出作为FPN网络的输入，该输入依次经过CBS结构和上采样后，与中层交替模块的输出进行匹配和维度拼接，拼接结果再依次通过C3结构和CBS结构后完成特征融合，作为初始融合特征图；
初始融合特征图继续进行上采样后，与上层交替模块的输出进行匹配和维度拼接，拼接结果再通过C3结构完成特征融合，作为第一层维度特征图输入到Head部分；
第一层维度特征图经过CBS结构后，与初始融合特征图进行匹配和维度拼接，拼接结果再通过C3结构完成特征融合，融合结果作为第二层维度特征图输入到Head部分；
第二层维度特征图经过CBS结构后，与下层交替模块的输出经过CBS结构的特征图进行匹配和维度拼接，拼接结果再通过C3结构完成特征融合，融合结果作为第三层维度特征图输入Head部分。
6.根据权利要求1所述的基于特征蒸馏的多尺度骨肉瘤CT图像病变区域检测方法，其特征在于，基于数据集训练病变区域检测模型的过程中，采用的损失函数loss表示为：其中，Lossobj表示置信度损失，Lossrect表示矩形框损失，Lossclc表示分类损失，Lossself表示总自蒸馏损失，LossRelate表示通道相关性蒸馏损失；α、β、λ、η和 分别表示置信度损失权重系数、矩形框损失权重系数、分类损失权重系数、总自蒸馏损失权重系数和通道相关性蒸馏损失权重系数。 说明书 : 基于特征蒸馏的多尺度骨肉瘤CT图像病变区域检测方法技术领域[0001] 本发明涉及医学图像技术领域，尤其涉及基于特征蒸馏的多尺度骨肉瘤CT图像病变区域检测方法。背景技术[0002] 骨肉瘤作为骨结构中常见的原发性恶性肿瘤，在不同年龄段如儿童、青少年及老年人中呈现出较高的发病率，并具有显著的双峰年龄分布特征。对于晚期转移性骨肉瘤患者而言，其平均生存时间往往不超过五年，这更突显了骨肉瘤早期诊断和及时治疗的重要性。在此背景下，CT图像作为一种非侵入性诊断工具，在骨肉瘤的诊断和治疗中扮演了关键角色。基于深度学习的CT图像分析技术通过提供高准确性和高分辨率的图像处理，能够协助医生精准诊断病灶，对提高患者的生存率具有重要贡献。[0003] 近年来，深度学习在骨肉瘤病变区域图像检测方面取得了新突破，然而，当前的CT成像技术仍面临诸多挑战。图像常常受到伪影、斑点噪声和回波扰动等因素影响，这些因素都可能导致图像质量下降、噪声增加和对比度减低，最终降低图像诊断的可用性和准确性。此外，诊断过程中医生的主观性也可能导致误诊或漏诊，这为骨肉瘤的临床诊断带来不准确性，也为技术的改进和优化提出了更高的要求。有公开号为CN117974672A的中国发明公开了一种基于全局信息的乳腺超声肿瘤病变区域检测方法及装置，其中的乳腺超声肿瘤病变区域检测模型采用高秩特征蒸馏模块和通道相关性关系蒸馏模块来增强对乳腺肿瘤病变区域特有的位置信息与图像语义信息的关注（通道间相关性信息），以便高维特征图像和低维特征图像之间进行充分的信息交换，提高检测能力；然而高秩特征蒸馏模块需要较大的计算量，检测效率较低，且在CT图像中，骨肉瘤相比与乳腺肿瘤具有边界不清晰、高密度、结构复杂性、位置和背景复杂性等特点，这导致边界模糊和特征提取困难，直接将该模型应用于骨肉瘤检测时会产生训练效率下降、检测能力降低等问题。发明内容[0004] 本发明的目的在于解决现有技术直接应用于骨肉瘤CT图像检测会导致训练效率下降、检测能力降低等问题。[0005] 本发明解决其技术问题所采用的技术方案是：提供一种基于特征蒸馏的多尺度骨肉瘤CT图像病变区域检测方法，包括以下步骤：[0006] 获取骨肉瘤CT图像并进行预处理，获得数据集；[0007] 构建基于特征蒸馏的卷积神经网络作为病变区域检测模型；[0008] 基于数据集训练病变区域检测模型；[0009] 利用训练好的病变区域检测模型实现多尺度骨肉瘤CT图像病变区域检测；[0010] 所述病变区域检测模型包括依次连接的Backbone部分、Neck部分和Head部分；Backbone部分包括特征提取模块、自蒸馏模块和通道相关性关系蒸馏模块，特征提取模块采用若干个由上至下依次布置的交替模块对输入模型的CT图像进行多次特征提取，并输出多个维度的特征信息，自蒸馏模块和通道相关性关系蒸馏模块基于多个维度的特征信息构建损失函数；Neck部分采用相互融合的FPN网络和PANET网络接收多个维度的特征信息，输出多个维度的特征图；Head部分采用CBS结构接收多个维度的特征图，输出基于全局信息的预测图像。[0011] 优选的，所述预处理包括去除骨肉瘤CT图像四周的标注信息并增强图像对比度，增强对比度的计算公式表示为：[0012] ；[0013] 其中，为原始图像像素点的值， 为对应增强处理后的像素值， 表示对数函数，常数C用于使变换后的图像的灰度动态范围符合要求。[0014] 优选的，所述特征提取模块包括三个由上至下依次布置的交替模块；上层交替模块包括C3结构、CBS结构和C3结构；中层交替模块包括CBS结构；下层交替模块包括C3结构、CBS结构、C3结构和SPPF结构。[0015] 优选的，所述自蒸馏模块接收三个交替模块输出的特征信息，构建多分支蒸馏路径，基于各分支的自蒸馏损失构建总自蒸馏损失。[0016] 优选的，所述自蒸馏模块构建自蒸馏损失的过程包括以下步骤：[0017] 首先，获得上层交替模块中CBS模块的输出 ，采用1×1自适应卷积调整器对其调整，获得 表示为：[0018] ；[0019] 其中， 表示第一卷积调整器， 表示第一卷积参数；[0020] 其次，获得上层交替模块中C3模块的输出 ，采用1×1自适应卷积调整器对其调整，获得 表示为：[0021] ；[0022] 其中， 表示第二卷积调整器， 表示第二卷积参数；[0023] 再次，获得中层交替模块的输出 ，采用1×1自适应卷积调整器对其调整，获得表示为：[0024] ；[0025] 其中， 表示第三卷积调整器， 表示第三卷积参数；[0026] 最后，获得下层交替模块的输出 ，分别计算 与 、 、 之间的范数，从而构建总自蒸馏损失 ，表示为：[0027] ；；[0028] 其中， 表示 范数； 表示各分支的自蒸馏损失。[0029] 优选的，所述通道相关性关系蒸馏模块接收中层交替模块输出的特征信息和下层交替模块输出的特征信息，构建通道相关性损失以引导上层交替模块和中层交替模块在特征层面获得与下层交替模块相近的性能，以及引导中层交替模块从通道相关性层面获得与下层交替模块相近的特征提取能力。[0030] 优选的，所述通道相关性关系蒸馏模块构建通道相关性损失的过程包括以下步骤：[0031] 首先，计算下层交替模块的输出 的通道相关性矩阵 ，表示为：[0032] ；[0033] 其中， 表示 图像特征中第m通道的图像特征， 表示 图像特征中第n通道的图像特征； 表示特征映射函数，用以将二维特征向量映射为长度为hw的向量； 表示内积函数，用以度量输入图像通道维度之间的相关性；[0034] 其次，计算 的通道相关性矩阵 ，表示为：[0035] ；[0036] 其中， 表示 图像特征中第m通道的图像特征， 表示 图像特征中第n通道的图像特征；[0037] 最后，计算 与 之间的L2范数，进而构建通道相关性蒸馏损失 ，表示为：[0038] ；[0039] 其中， 表示低层次特征提取器对输入值 的输出特征， 表示高层次特征提取器对输入值的输出特征。[0040] 优选的，所述Neck部分获得多个维度的特征图的过程包括以下步骤：[0041] 下层交替模块的输出作为FPN网络的输入，该输入依次经过CBS结构和上采样后，与中层交替模块的输出进行匹配和维度拼接，拼接结果再依次通过C3结构和CBS结构后完成特征融合，作为初始融合特征图；[0042] 初始融合特征图继续进行上采样后，与上层交替模块的输出进行匹配和维度拼接，拼接结果再通过C3结构完成特征融合，作为第一层维度特征图输入到Head部分；[0043] 第一层维度特征图经过CBS结构后，与初始融合特征图进行匹配和维度拼接，拼接结果再通过C3结构完成特征融合，融合结果作为第二层维度特征图输入到Head部分；[0044] 第二层维度特征图经过CBS结构后，与下层交替模块的输出经过CBS结构的特征图进行匹配和维度拼接，拼接结果再通过C3结构完成特征融合，融合结果作为第三层维度特征图输入Head部分。[0045] 优选的，基于数据集训练病变区域检测模型的过程中，采用的损失函数 表示为：[0046] ；[0047] 其中， 表示置信度损失， 表示矩形框损失， 表示分类损失，表示总自蒸馏损失， 表示通道相关性蒸馏损失； 、 、 、和 分别表示置信度损失权重系数、矩形框损失权重系数、分类损失权重系数、总自蒸馏损失权重系数和通道相关性蒸馏损失权重系数。[0048] 本发明具有如下有益效果：[0049] （1）本发明的backbone部分采用自蒸馏模块和通道相关性关系蒸馏模块来提升图像特征信息在模型传递间的相关性，增强对骨肉瘤病变区域的关注，通过提升模型在特征提取上的鲁棒性，进而提高骨肉瘤CT图像的检测能力；[0050] （2）本发明在目标检测模型中引入知识蒸馏技术，通过构建多分支自蒸馏损失引导不同模块从特征层面获得与下层交替模块相近的性能，并且通过构建通道相关性蒸馏损失使不同模块获得相近的特征提取能力，进而提升图像特征信息在模型传递间的相关性，降低CT图像质量对模型性能的影响，实现对骨肉瘤CT图像中存在误检漏检问题的优化；[0051] （3）本发明采用的自蒸馏模块在处理骨肉瘤CT图像时具有更好的特征提取自适应性、边界模糊处理能力、背景复杂性处理能力以及训练效率，具体效果体现在提高特征提取准确性、增强边界识别能力、提升复杂背景中的鲁棒性和加快训练速度等方面。[0052] 以下结合附图及实施例对本发明作进一步详细说明，但本发明不局限于实施例。附图说明[0053] 图1为本发明实施例的方法步骤图；[0054] 图2为本发明实施例的病变区域检测模型结构图。具体实施方式[0055] 参见图1所示，为本发明实施例的方法步骤图，包括以下步骤：[0056] S101，获取骨肉瘤CT图像并进行预处理，获得数据集；[0057] S102，构建基于特征蒸馏的卷积神经网络作为病变区域检测模型；[0058] S103，基于数据集训练病变区域检测模型；[0059] S101，利用训练好的病变区域检测模型实现多尺度骨肉瘤CT图像病变区域检测；[0060] 所述病变区域检测模型参见图2所示，包括依次连接的Backbone部分、Neck部分和Head部分；Backbone部分包括特征提取模块、自蒸馏模块和通道相关性关系蒸馏模块，Backbone部分最上面还包括两个CBS模块，主要通过卷积操作提取低层次特征，通过BatchNorm进行正则化处理，加速训练过程，并通过激活函数引入非线性变换，从而增强模型的特征提取能力。特征提取模块采用若干个由上至下依次布置的交替模块对输入模型的CT图像进行多次特征提取，并输出多个维度的特征信息，自蒸馏模块和通道相关性关系蒸馏模块基于多个维度的特征信息构建损失函数；Neck部分采用相互融合的FPN网络和PANET网络接收多个维度的特征信息，输出多个维度的特征图；Head部分采用CBS结构接收多个维度的特征图，输出基于全局信息的预测图像。[0061] 具体的，所述S101中获取的是骨肉瘤CT图像病变区域灰度图像；所述预处理包括去除骨肉瘤CT图像的标注并增强图像对比度，增强对比度的计算公式为 ，其中，为原始图像像素点的值， 为对应增强处理后的像素值， 表示对数函数，常数C用于使变换后的图像的灰度动态范围符合要求。[0062] 具体的，所述特征提取模块包括三个由上至下依次布置的交替模块；上层交替模块包括C3结构、CBS结构、C3结构；中层交替模块包括CBS结构；下层交替模块包括C3结构、CBS结构、C3结构和SPPF结构（快速空间金字塔池化结构）。[0063] 具体的，所述自蒸馏模块接收三个交替模块输出的特征信息，构建多分支蒸馏路径，基于各分支的自蒸馏损失构建总自蒸馏损失。[0064] 具体的，所述自蒸馏模块构建自蒸馏损失的过程包括以下步骤：[0065] S201，获得上层交替模块中CBS模块的输出 ，此时 的尺寸为（80×80×256），采用1×1自适应卷积调整器对其调整，调整后的 尺寸为（20×20×1024），表示为：[0066] ；[0067] 其中， 表示第一卷积调整器， 表示第一卷积参数；[0068] S202，获得上层交替模块中C3模块的输出 ，此时 的尺寸为（80×80×256），采用1×1自适应卷积调整器对其调整，调整后的 尺寸为（20×20×1024），表示为：[0069] ；[0070] 其中， 表示第二卷积调整器， 表示第二卷积参数；[0071] S203，获得中层交替模块的输出 ，此时 的尺寸为（40×40×512），采用1×1自适应卷积调整器对其调整，调整后的 尺寸为（20×20×1024），表示为：[0072] ；[0073] 其中， 表示第三卷积调整器， 表示第三卷积参数；[0074] S204，获得下层交替模块的输出 ，分别计算 与 、 、 之间的范数，从而构建总自蒸馏损失 ，表示为：[0075] ；；[0076] 其中， 表示 范数； 表示各分支的自蒸馏损失。[0077] 具体的，所述通道相关性关系蒸馏模块接收中层交替模块输出的特征信息和下层交替模块输出的特征信息，构建通道相关性损失，以引导上层交替模块和中层交替模块在特征层面获得与下层交替模块相近的性能，以及引导中层交替模块从通道相关性层面获得与下层交替模块相近的特征提取能力。[0078] 具体的，所述通道相关性关系蒸馏模块构建通道相关性损失的过程包括以下步骤：[0079] S301，计算下层交替模块的输出 的通道相关性矩阵 ，表示为：[0080] ；[0081] 其中， 表示 图像特征中第m通道的图像特征， 表示 图像特征中第n通道的图像特征； 表示特征映射函数，用以将二维特征向量映射为长度为hw的向量； 表示内积函数，用以度量输入图像通道维度之间的相关性；[0082] S302，计算 的通道相关性矩阵 ，表示为：[0083] ；[0084] 其中， 表示 图像特征中第m通道的图像特征， 表示 图像特征中第n通道的图像特征；[0085] S303，计算 与 之间的L2范数，进而构建通道相关性蒸馏损失 ，表示为：[0086] ；[0087] 其中， 表示低层次特征提取器对输入值 的输出特征， 表示高层次特征提取器对输入值 的输出特征。[0088] 具体的，所述Neck部分获得多个维度的特征图的过程包括以下步骤：[0089] S401，下层交替模块的输出作为FPN网络的输入，该输入依次经过CBS结构和上采样（Upsample）后，与中层交替模块的输出进行匹配和维度拼接（Contact），拼接结果再依次通过C3结构和CBS结构后完成特征融合，作为初始融合特征图；[0090] S402，初始融合特征图继续进行上采样后，与上层交替模块的输出进行匹配和维度拼接，拼接结果再通过C3结构完成特征融合，作为第一层维度特征图输入到Head部分；[0091] S403，第一层维度特征图经过CBS结构后，与初始融合特征图进行匹配和维度拼接，拼接结果再通过C3结构完成特征融合，融合结果作为第二层维度特征图输入到Head部分；[0092] S404，第二层维度特征图经过CBS结构后，与下层交替模块的输出经过CBS结构的特征图进行匹配和维度拼接，拼接结果再通过C3结构完成特征融合，融合结果作为第三层维度特征图输入Head部分。[0093] 自蒸馏模块和通道相关性关系蒸馏模块共同协助病变区域检测模型构建损失函数，以引导上层和中层的交替模块从特征层面获得与下层交替模块相近的性能，引导中层交替模块从通道相关性层面获得与下层交替模块相近的特征提取能力，进而提升图像特征信息在模型传递间的相关性，使模型更具鲁棒性并降低图像质量对模型性能的影响。[0094] 具体的，所述S103采用的损失函数 表示为：[0095] ；[0096] 其中， 表示置信度损失， 表示矩形框损失， 表示分类损失，表示总自蒸馏损失， 表示通道相关性蒸馏损失； 、 、 、、 分别表示置信度损失权重系数、矩形框损失权重系数、分类损失权重系数、总自蒸馏损失权重系数和通道相关性蒸馏损失权重系数。[0097] 可见，本发明利用知识蒸馏和目标检测的结合，实现对骨肉瘤CT图像中检测效率低、存在误检漏检问题的优化，提高检测的识别率和准确性。[0098] 以上仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

专利地区：福建

专利申请日期：2024-07-18

专利公开日期：2024-11-29

专利公告号：CN118505705B