一种基于钼靶影像的病变区域量化方法发明专利

专利名称：一种基于钼靶影像的病变区域量化方法

专利类型：发明专利

专利申请号：CN202111093243.0

专利申请（专利权）人：仰和华健数字医疗科技(上海)有限公司
权利人地址：上海市浦东新区自由贸易试验区临港新片区环湖西二路888号C楼

专利发明（设计）人：童云飞,张超仁,邓天然

专利摘要：本发明涉及一种基于乳腺钼靶影像的病变区域量化方法，其中，包括：通过efficientdet‑d8网络和YOLOV5网络进行乳腺病变区域检测网络训练，得到检测模型；通过Unet网络结构进行乳腺病变区域分割训练，根据乳腺钼靶影像的尺寸分成两个Unet网络结构训练，病变区域训练得到两个分割模型；得到检测模型和分割模型之后，分别进行验证；将采集的基于乳腺钼靶影像，通过检测模型和分割模型计算出病变区域所在位置，通过分割结果计算病变区域大小和密度分布，通过检测结果得到良恶性置信分数，通过对病变区域的定位和量化，提供诊断帮助信息。本发明可以解决乳腺疾病阅片时候的人为经验不足的问题，帮助医生定位疾病和分析疾病。

主权利要求：
1.一种基于钼靶影像的病变区域量化方法，其特征在于，包括：
通过efficientdet‑d8网络和YOLOV5网络进行乳腺病变区域检测网络训练，得到检测模型；
通过Unet网络结构进行乳腺病变区域分割训练，根据乳腺钼靶影像的尺寸分成两个Unet网络结构训练，病变区域训练得到两个分割模型；
得到检测模型和分割模型之后，分别进行验证；
将采集的基于乳腺钼靶影像，通过检测模型和分割模型计算出病变区域所在位置，通过分割结果计算病变区域大小和密度分布，通过检测结果得到良恶性置信分数，通过对病变区域的定位和量化，提供诊断帮助信息，通过Unet网络结构进行乳腺病变区域分割训练包括：步骤1、从原始乳腺钼靶影像图中抠出带病灶的图像；
步骤2、按照获得图像的高和宽的大小分成两类数据集，尺寸大的图归入训练数据集1和尺寸小的图归入训练数据集2，数据集1的图像缩放为第一尺寸，数据集2中的图像裁剪成方形，然后缩放成第二尺寸，分别进行数据集1以及数据集2的数据增广；
步骤3、将预处理好的数据集1和2分别输入到Unet网络中进行训练，得到数据集1和2分别对应的分割模型。
2.如权利要求1所述的方法，其特征在于，通过efficientdet‑d8网络和YOLOV5网络进行乳腺病变区域检测网络训练，得到检测模型包括：步骤1、准备检测数据，做成检测网络训练需要的数据集；
步骤2、将缩放和切片的图像分别进行数据增广；
步骤3、将增广的数据分别输入到检测网络中进行训练，检测网络包含efficientdet‑d8网络和YOLOV5网络训练，得到检测模型步骤3将增广后的数据分别输入到两个efficientdet‑d8网络和两个YOLOV5网络进行训练，其中YOLOV5的参数为输入图像大小＝1280，训练集中的所有样本训练次数epoch＝
100、一次迭代使用的样本数batchsize＝16、良恶的类别＝1、学习率＝0.0001、子进程数num_workers＝4，得到两个YOLOV5网络模型；
efficientdet‑d8的参数为输入图像大小＝1280、训练集中的所有样本训练次数epoch＝80，一次迭代使用的样本数Batchsize＝8、良恶的类别＝1、学习率＝0.0001、子进程数num_workers＝2，并再得到另外两个efficientdet‑d8网络模型。
3.如权利要求2所述的方法，其特征在于，步骤1具体包括：将乳腺钼靶筛查机器的检测图像进行处理，包括：将高像素的图像切片成1280*1280像素，重叠系数为0.2，和/或使用双线性插值方法将图像缩放到1280*1280像素。
4.如权利要求2所述的方法，其特征在于，数据增广包括：裁剪、旋转、平移、缩放、色彩空间调整、马赛克增广、自对抗训练增广、多图组合、混合增强MixUp、随机遮挡Cutout和图像遮挡至少一种。
5.如权利要求1所述的方法，其特征在于，数据增广包括：裁剪、旋转、平移、缩放、色彩空间调整、马赛克增广、自对抗训练增广、多图组合、混合增强MixUp、随机遮挡Cutout和图像遮挡至少一种。
6.如权利要求1所述的方法，其特征在于，步骤1围绕图像分割的区域，随机扩大1.1‑
1.5倍，然后进行随机方向的平移，并保证病灶区域在图像里面，获得训练用的数据集合；
步骤2中，对数据集合的图像的高和宽两边均大于200像素的图加入数据集1，剩下其他的图像加入数据集2，数据集1中使用双线性插值的方法缩放到256*256，数据集2中的图像裁剪成方形,然后缩放到64*64，分别对数据集1和数据集2进行数据增广；
步骤3、将数据集1和2分别输入到Unet网络中，网络的编码部分使用efficient‑b4，训练集中的所有样本训练次数为epoch＝32、一次迭代使用的样本数batchsize＝16、学习率＝0.0001，两个Unet网络输入的大小分别为256*256和64*64，分别通过训练得到分割模型‑
256和分割模型‑64。
7.如权利要求1‑6任一权利要求所述的方法，其特征在于，得到检测模型和分割模型之后，分别进行验证，其验证流程和检测网络训练以及分割网络训练过程一致。
8.如权利要求1‑6任一权利要求所述的方法，其特征在于，将得到的检测病变区域方框输入到分割模型中进行分割，然后得到准确的病变区域边界，通过分割本量化病变区域的尺寸和形状。 说明书 : 一种基于钼靶影像的病变区域量化方法技术领域[0001] 本发明专利涉及医疗辅助诊断领域，尤其涉及乳腺疾病的病变区量化方法。背景技术[0002] 随着社会经济的发展，人们生活方式已经发生很大改变，性成熟期提前、绝经期延后、不生育、晚生育、不哺乳、焦虑、不良情绪、肥胖、高热量及高脂肪饮食的摄入、不健康的生活方式等生活环境因素，使乳腺疾病发病率逐年增高，其中以乳腺癌最为突出，乳腺癌是女性多发、常见恶性肿瘤疾病之一，对女性身心健康及生活质量造成了严重威胁。乳腺癌在全球癌症发病率中排名第一，死亡率排名第五。近年来中国乳腺癌发病率和死亡率呈上升趋势：2013年与1990年相比，乳腺癌是增长最快的癌症之一，女性发病例数从94777例到260156例，增长了1.74倍，同时随着分级诊疗的建立，乳腺癌的防治在中国已经越来越受到重视。[0003] 乳腺癌是早期筛查效果最好的癌症之一，使用乳腺疾病筛查技术能够有效预防和尽早治疗乳腺疾病。钼靶是国际公认的最重要的乳腺疾病筛查手段，钼靶的原理是X射线照射乳房组织，投射后产生影像结果，X射线在帮助医生发现身体结构异常。然而临床乳腺检查多依靠临床医生经验，如图1所示，是由有经验的影像医生标注的结果，图像中包含多个癌变和钙化的位置，这对于评估乳腺疾病的类型是至关重要的，但是也可以看出图像还是存在漏标的位置，所以自动化的辅助诊断就显得更加重要。自动化的辅助诊断手段作为一种有效的辅助方法，目前已经在许多领域都得到了验证，未来会在很大程度上帮助基层医院建立更好的诊断方法，来弥补基层医生的经验不足的问题。[0004] 医学影像的自动化分析一直都是一个亟需解决的问题，随着机器学习算法的发展，在很多的影像分析中均达到了较高的水准，其中包括脑肿瘤分割、肺结节检测、血管分割和乳腺癌检测等领域。其中深度学习起到了很大的推动作用，深度学习作为一种特征学习和表征的技术，能够准确的学习图像中各种层级的信息，从而准确找出所需要的信息。发明内容[0005] 本发明的目的在于提供一种基于钼靶影像的病变区域量化方法，用于解决现有技术对于医生诊断水平要求较高的问题。[0006] 本发明一种基于钼靶影像的病变区域量化方法，其中，包括：通过efficientdet‑d8网络和YOLOV5网络进行乳腺病变区域检测网络训练，得到检测模型；通过Unet网络结构进行乳腺病变区域分割训练，根据乳腺钼靶影像的尺寸分成两个Unet网络结构训练，病变区域训练得到两个分割模型；得到检测模型和分割模型之后，分别进行验证；将采集的基于乳腺钼靶影像，通过检测模型和分割模型计算出病变区域所在位置，通过分割结果计算病变区域大小和密度分布，通过检测结果得到良恶性置信分数，通过对病变区域的定位和量化，提供诊断帮助信息。[0007] 根据本发明所述的方法的一实施例，其中，通过efficientdet‑d8网络和YOLOV5网络进行乳腺病变区域检测网络训练，得到检测模型包括：步骤1、准备检测数据，做成检测网络训练需要的数据集；步骤2、将缩放和切片的图像分别进行数据增广；步骤3、将增广的数据分别输入到检测网络中进行训练，检测网络包含efficientdet‑d8网络和YOLOV5网络训练，得到检测模型。[0008] 根据本发明所述的方法的一实施例，其中，步骤1具体包括：将乳腺钼靶筛查机器的检测图像进行处理，包括：将高像素的图像切片成1280*1280像素，重叠系数为0.2，和/或使用双线性插值方法将图像缩放到1280*1280像素。[0009] 根据本发明所述的方法的一实施例，其中，数据增广包括：裁剪、旋转、平移、缩放、色彩空间调整、马赛克增广、自对抗训练增广、多图组合、混合增强MixUp、随机遮挡Cutout和图像遮挡至少一种。[0010] 根据本发明所述的方法的一实施例，其中，步骤3将增广后的数据分别输入到两个efficientdet‑d8网络和两个YOLOV5网络进行训练，其中YOLOV5的参数为输入图像大小＝1280，训练集中的所有样本训练次数epoch＝100、一次迭代使用的样本数batchsize＝16、良恶的类别＝1、学习率＝0.0001、子进程数num_workers＝4，得到两个YOLOV5网络模型；efficientdet‑d8的参数为输入图像大小＝1280、训练集中的所有样本训练次数epoch＝80，一次迭代使用的样本数Batchsize＝8、良恶的类别＝1、学习率＝0.0001、子进程数num_workers＝2，并再得到另外两个efficientdet‑d8网络模型。[0011] 根据本发明所述的方法的一实施例，其中，通过Unet网络结构进行乳腺病变区域分割训练包括：步骤1、从原始乳腺钼靶影像图中抠出带病灶的图像；步骤2、按照获得图像的高和宽的大小分成两类数据集，尺寸大的图归入训练数据集1和尺寸小的图归入训练数据集2，数据集1的图像缩放为第一尺寸，数据集2中的图像裁剪成方形，然后缩放成第二尺寸，分别进行数据集1以及数据集2的数据增广；步骤3：将预处理好的数据集1和2分别输入到Unet网络中进行训练，得到数据集1和2分别对应的分割模型。[0012] 根据本发明所述的方法的一实施例，其中，数据增广包括：裁剪、旋转、平移、缩放、色彩空间调整、马赛克增广、自对抗训练增广、多图组合、混合增强MixUp、随机遮挡Cutout和图像遮挡至少一种。[0013] 根据本发明所述的方法的一实施例，其中，步骤1围绕图像分割的区域，随机扩大1.1‑1.5倍，然后进行随机方向的平移，并保证病灶区域在图像里面，获得训练用的数据集合；步骤2中，对数据集合的图像的高和宽两边均大于200像素的图加入数据集1，剩下其他的图像加入数据集2，数据集1中使用双线性插值的方法缩放到256*256，数据集2中的图像裁剪成方形,然后缩放到64*64，分别对数据集1和数据集2进行数据增广；步骤3、将数据集1和2分别输入到Unet网络中，网络的编码部分使用efficient‑b4，训练集中的所有样本训练次数为epoch＝32、一次迭代使用的样本数batchsize＝16、学习率＝0.0001，两个Unet网络输入的大小分别为256*256和64*64，分别通过训练得到分割模型‑256和分割模型‑64。[0014] 根据本发明所述的方法的一实施例，其中，得到检测模型和分割模型之后，分别进行验证，其验证流程和检测网络训练以及分割网络训练过程一致。[0015] 根据本发明所述的方法的一实施例，其中，将得到的检测病变区域方框输入到分割模型中进行分割，然后得到准确的病变区域边界，通过分割本量化病变区域的尺寸和形状。[0016] 本发明可以解决乳腺疾病阅片时候的人为经验不足的问题，帮助医生定位疾病和分析疾病。附图说明[0017] 图1为乳腺疾病及其位置，图中框是病变区域的外轮廓。[0018] 图2为乳腺病变区域量化完整方案。[0019] 图3乳腺病变区域检测网络训练流程[0020] 图4乳腺病变区域分割训练流程图。[0021] 图5乳腺病变区域的检测和集成结构图。具体实施方式[0022] 为使本发明的目的、内容、和优点更加清楚，下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。[0023] 本发明一共分为四个部分：乳腺病变区域检测，检测框WBF(WeightedBoxesFusion，WBF)集成，病变区域分割，病变区域的定位和量化。考虑到乳腺钼靶影像是高像素图像，本发明并没有直接分割图像，而是采用先检测后分割的思路进行，一方面能够减少图像的计算量，一方面能够增加算法的准确性，使得结果更加精确。在乳腺疾病检测网络中，本发明使用的是YOLOV5(Youonlylookonce:Yolo,v5为第五版本)和Efficientdet‑d8(EfficientDet:ScalableandEfficientObjectDetection)网络，同时使用这两种网络的原因如下：1.均能属于能快速并准确检测病灶的网络；2.使用多个网络能够减少漏诊,提高准确率。考虑到图像尺度较大，本发明对图像进行切片和缩放两种处理方法，这样可以有效提升检测效果。[0024] 乳腺病变区域集成部分是用测试时数据增广(TTA)方法得到的预测框进行权重融合(WBF)，TTA方法可以通过数据增广的方法加强病变区域检测效果，WBF可以让不同方法和尺度检测到的候选框进行权重融合，以便得到更好的检测结果。[0025] 乳腺病变区域分割使用的是Unet网络结构,是一种能够结合图像中不同层级信息的编码解码结构。Unet网络中编码结构是EfficientNet，一种新的模型缩放方法，它使用一个简单而高效的复合系数来从网络深度,宽度,图像分辨率三个维度调整网络结构，通过神经结构搜索技术可以获得最优的复合系数，这样的获得的网络结构比传统固定的CNN网络准确率更高。同时考虑到检测框可能是不同的形状,分成两个相同网络结构训练，一种是比较大的病变区域(宽高像素均大于200)训练一个网络，一种是比较小的病变区域训练一个网络，这样可以进一步提高分割的准确率。[0026] 最后病变区域的定位和量化，经过分割之后，就可以计算病变区域的大小和获得清晰的边界形状，然后通过检测框计算病变区域的位置。经过上面的方法，本发明能够准确计算病变区域的大小和位置，并且帮助医生区分病变区域的边界形状，从而达到辅助医生诊断的目的。[0027] 本发明的数据可以是来源DDSM(DigitalDatabaseforDigitalMammographySoftware)数据集，其中包含671个良性病例，679个恶性肿瘤病例，602个正常样本，数据均包含左右乳房组织的MLO位和CC位的影像数据，病变的数据均已完成分割标记。[0028] 如图2所示，为本发明的一具体实施例，数据来源可以是开源的数据集DDSM,已经标注好分割的结果。本发明首先需要通过训练得到检测模型和分割模型，具体流程如下：[0029] 如图3所示，为本发明的乳腺病变区域检测网络训练流程。[0030] 步骤1首先需要准备检测数据，通过最大紧邻框在已经分割好的结果中框出病变区域，然后做成检测网络训练需要的数据集。考虑到目前市面上的乳腺钼靶筛查机器均是高像素和高分辨率的图像，因此为了更好的检测出各种级别的肿瘤和高像素图像难以训练的问题，首先本发明将图像进行两种方式处理：一种是将高像素的图像切片成1280*1280像素，重叠系数为0.2；另一种是使用双线性插值方法将图像缩放到1280*1280像素。[0031] 步骤2然后将缩放和切片的图像分别输入到数据增广中，数据增广是一种在不降低模型速度的情况下有效增加模型鲁棒性的方法，其中本发明使用的数据增广方式有裁剪、旋转、平移、缩放、色彩空间调整、马赛克增广、自对抗训练增广、多图组合、混合增强MixUp、随机遮挡Cutout、图像遮挡。[0032] 步骤3本发明使用YOLOV5和efficientdet‑d8来作为本发明的病变区域检测网络，本发明将增广的数据分别输入到4个检测网络中进行训练，包含两个efficientdet‑d8网络和两个YOLOV5网络训练，其中YOLOV5的参数为输入图像大小＝1280、epoch＝100(训练集中的所有样本训练次数)、Batchsize＝16(一次迭代使用的样本数)、类别＝1(良/恶)、学习率＝0.0001、num_workers＝4(子进程数)；efficientdet‑d8的参数为输入图像大小＝1280、epoch＝80、Batchsize＝8、类别＝1(良/恶)、学习率＝0.0001、num_workers＝2，本发明使用YOLOV5和efficientdet‑d8比单独使用其中一种网络的效果要好，所以采用两种模型。同时为了兼顾小型病灶和大型病灶的问题，本发明使用图像缩放和切片的方式输入到同一种模型中训练出两个不同尺度的模型，以便得到更好的检测效果。训练出四个检测模型为后面测试使用,分别是检测模型1，2，3，4。[0033] 如图4所示，为本发明的乳腺病变区域分割训练部分，[0034] 步骤1：首先从原始图像中抠出带病灶的图，抠图使用方法围绕分割的区域，随机扩大1.1‑1.5倍，然后进行随机方向的平移(保证病灶区域在图像里面)，经过上面的操作可以获得训练数据集。[0035] 步骤2：训练数据集中，由于图像大小不一致，首先进行分类对图像的高和宽两边均大于200像素的图作为数据集1，剩下其他的图像作为数据集2；数据集1中本发明全部使用双线性插值的方法缩放到256*256，数据集2中的图像裁剪成方形,然后缩放到64*64大小，然后分别进行数据增广，增广的方式与乳腺病变区域检测网络的数据增广方式一致。[0036] 步骤3：将预处理好的数据集1和2分别输入到Unet网络中，网络的编码部分使用efficient‑b4，训练参数为epoch＝32、batchsize＝16、学习率＝0.0001，两个网络输入的大小分别为256*256和64*64，分别通过训练得到分割模型‑256和分割模型‑64。[0037] 训练完检测和分割模型之后，需要进行验证，验证流程和测试过程一致，如图2所示，步骤1：首先采集到的钼靶影像切片成1280*1280和缩放成1280*1280，然后使用测试时数据增广(TTA)的方法，其中增广方式包括缩放、色彩空间调整、垂直翻转。之后进行步骤2和步骤3，具体细节如图5所示。[0038] 步骤2：使用训练好四个检测模型分别预测TTA后的结果，在YOLOV5中本发明设计的阈值是0.5，在efficientdet‑d8设计的阈值是0.3，这些数值是经过测试得到的。然后将预测到的候选框都映射到原图上，就会得到一张钼靶图像上有多个乳腺疾病区域预测框。[0039] 步骤3：然后使用预测框权重融合的方法，计算出乳腺病变区域所在的框。乳腺病变区域集成的方法充分利用了不同尺度的特征和不同模型之间的优势，以便达到更好的病变区域检出效果。[0040] 步骤4：得到的病变区域框首先进行区分，如果宽和高均大于200像素，那么缩放成256*256，输入到分割模型‑256分割出结果；如果宽高小于200像素，将图像裁剪成方形，然后缩放成64*64，输入到分割模型‑64分割出结果。[0041] 步骤5：通过分割的结果和检测框所在的位置可以准确计算出病变区域所在位置，通过分割结果计算病变区域大小、密度分布，通过检测结果可以得到良恶性置信分数，通过对病变区域的定位和量化，可以有效帮助医生进行诊断。[0042] 对于本发明一实施例，在训练完模型之后，在实际使用中，首先需要拍摄患者的乳腺钼靶图像，然后将得到的钼靶图像输入到efficientdet‑d8网络和YOLOV5网络进行模型检测，通过检测可以得到病变区域，但是是一个方形的框，无法对其准确量化，因此将得到的检测病变区域方框输入到分割模型中进行分割，然后得到准确的病变区域边界，通过分割本发明就可以量化病变区域的大小，形状等等特性。[0043] 考虑到钼靶图像是分辨率比较高的影像，本发明使用深度学习中检测和分割的技术来定位和量化乳腺疾病。其中图像检测是一种识别图像中感兴趣区位置的一种技术，本发明用来检测病变区域并提取出来；图像分割是一种寻找特定的、具有独特性质的区域并提出感兴趣目标的技术和过程，本发明使用图像分割方法量化病变区域大小，以便帮助影像医生更好的定位和判别乳腺疾病，为进一步治疗乳腺疾病提供更精准的方案。本发明一种基于乳腺钼靶影像的病变区域量化方法，可识别出乳腺钼靶影像中病灶大小和边界，辅助医生进行乳腺病变的量化工作，提高了诊断效率和准确率，平衡我国医疗资源分布不均衡的问题。[0044] 以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

专利地区：上海

专利申请日期：2021-09-17

专利公开日期：2024-06-18

专利公告号：CN113838020B