专利名称:切片组织识别方法、装置,细胞识别模型及组织分割模型
专利类型:实用新型专利
专利申请号:CN202110421879.7
专利申请(专利权)人:广州信瑞医疗技术有限公司
权利人地址:广东省广州市黄埔区科学大道121号208房
专利发明(设计)人:周丕轩,李志宁,郝昀超,张国根
专利摘要:本申请提供一种切片组织识别方法、装置,细胞识别模型及组织分割模型。该方法包括:获取待识别切片图像;将待识别切片图像输入至细胞识别模型中,获取识别出的细胞类型以及识别出的细胞的位置信息;将待识别切片图像输入至组织分割模型中,生成第一图像;其中,第一图像中包括识别出的组织区域;将识别出的细胞类型以及识别出的细胞的位置信息与第一图像进行合并,生成第二图像;其中,第二图像中包括识别出的组织区域以及识别出的组织区域内部的细胞类型;根据第二图像中所识别出的组织区域内部的细胞类型,将第二图像中所识别出的组织区域进行分类。通过上述方式,降低病理医生的工作量,提高切片组织的识别效率以及识别的准确度。
主权利要求:
1.一种切片组织识别方法,其特征在于,包括:
获取待识别切片图像;
将所述待识别切片图像输入至细胞识别模型中,获取识别出的细胞类型以及识别出的细胞的位置信息;
将所述待识别切片图像输入至组织分割模型中,生成第一图像;其中,所述第一图像中包括识别出的组织区域;
将所述识别出的细胞类型以及所述识别出的细胞的位置信息与所述第一图像进行合并,生成第二图像;其中,所述第二图像中包括所述识别出的组织区域以及所述识别出的组织区域内部的细胞类型;
根据所述第二图像中所识别出的组织区域内部的细胞类型,将所述第二图像中所识别出的组织区域进行分类;
其中,所述细胞识别模型,包括:图像特征提取层、感兴趣区域识别层、分类器以及回归层;
所述图像特征提取层用于接收输入的待识别切片图像,并利用内部的卷积层提取所述待识别切片图像中的特征信息;
所述感兴趣区域识别层与所述图像特征提取层连接;所述感兴趣区域识别层用于根据所述待识别切片图像中的特征信息,识别出感兴趣区域;
所述分类器与所述感兴趣区域识别层连接,所述分类器用于对所述感兴趣区域进行分类;
所述回归层与所述感兴趣区域识别层连接,所述回归层用于对所述感兴趣区域进行框选,并对框选区域进行修正;其中,所述框选区域包含识别的细胞。
2.根据权利要求1所述的方法,其特征在于,通过如下步骤得到所述细胞识别模型,该步骤包括:获取第一训练样本数据;其中,所述第一训练样本数据包括多张样本切片图像以及每张样本切片图像对应的标注数据,所述标注数据包括细胞类型以及细胞的位置信息;
基于所述第一训练样本数据将初始模型训练至收敛,得到所述细胞识别模型。
3.根据权利要求1所述的方法,其特征在于,通过如下步骤得到所述组织分割模型,该步骤包括:获取第二训练样本数据;其中,所述第二训练样本数据包括多张样本切片图像以及每张样本切片图像对应的标注数据,所述标注数据包括划分好的组织区域;
基于所述第二训练样本数据将初始模型训练至收敛,得到所述组织分割模型。
4.根据权利要求1所述的方法,其特征在于,所述获取待识别切片图像包括:获取第一组织切片图像;
将所述第一组织切片图像分割为多个预设尺寸的所述待识别切片图像;
相应的,在得到每个所述待识别切片图像对应的第二图像的分类结果后,所述方法还包括:将每个所述待识别切片图像对应的包含分类结果的第二图像进行拼接,形成第二组织切片图像,其中,所述第二组织切片图像与所述第一组织切片图像中的组织区域和细胞位置一致。
5.根据权利要求1所述的方法,其特征在于,所述根据所述第二图像中所识别出的组织区域内部的细胞类型,将所述第二图像中所识别出的组织区域进行分类,包括:根据所述第二图像中所识别出的组织区域内部的细胞类型,将所述第二图像重新进行像素填充;
其中,不同细胞类型对应的组织区域所填充的像素值不同,同一细胞类型对应的组织区域填充的像素值相同。
6.根据权利要求5所述的方法,其特征在于,在所述根据所述第二图像中所识别出的组织区域内部的细胞类型,将所述第二图像重新进行像素填充之后,所述方法还包括:确定出所述第二图像中包含病变细胞类型的组织区域;
计算所述病变细胞类型的组织区域和识别出的全部组织区域的比值。
7.根据权利要求1所述的方法,其特征在于,所述组织分割模型包括:编码器、语义分割层以及解码器;
所述编码器用于对接收输入的待识别切片图像,并提取所述待识别切片图像的图像特征;
所述语义分割层与所述编码器连接,所述语义分割层用于标注所述待识别切片图像每个像素所属的对象类别;其中,所述对象类别包括组织区域类别和背景类别;
所述解码器与所述语义分割层连接,所述解码器用于根据所述待识别切片图像的图像特征以及所述待识别切片图像每个像素所属的对象类别,输出组织区域分割后的图像。
8.一种切片组织识别装置,其特征在于,包括:
获取模块,用于获取待识别切片图像;
细胞识别模块,用于将所述待识别切片图像输入至细胞识别模型中,获取识别出的细胞类型以及识别出的细胞的位置信息;
组织分割模块,用于将所述待识别切片图像输入至组织分割模型中,生成第一图像;其中,所述第一图像中包括识别出的组织区域;
图像融合模块,用于将所述识别出的细胞类型与所述识别出的细胞的位置信息与所述第一图像进行合并,生成第二图像;其中,所述第二图像中包括所述识别出的组织区域以及所述识别出的组织区域内部的细胞类型;
分类模块,用于根据所述第二图像中所识别出的组织区域内部的细胞类型,将所述第二图像中所识别出的组织区域进行分类;
其中,所述细胞识别模型,包括:图像特征提取层、感兴趣区域识别层、分类器以及回归层;
所述图像特征提取层用于接收输入的待识别切片图像,并利用内部的卷积层提取所述待识别切片图像中的特征信息;
所述感兴趣区域识别层与所述图像特征提取层连接;所述感兴趣区域识别层用于根据所述待识别切片图像中的特征信息,识别出感兴趣区域;
所述分类器与所述感兴趣区域识别层连接,所述分类器用于对所述感兴趣区域进行分类;
所述回归层与所述感兴趣区域识别层连接,所述回归层用于对所述感兴趣区域进行框选,并对框选区域进行修正;其中,所述框选区域包含识别的细胞。
9.一种电子设备,其特征在于,包括:处理器和存储器,所述处理器和所述存储器连接;
所述存储器用于存储程序;
所述处理器用于运行存储在所述存储器中的程序,执行如权利要求1‑6中任一项所述的方法。 说明书 : 切片组织识别方法、装置,细胞识别模型及组织分割模型技术领域[0001] 本申请涉及图像处理技术领域,具体而言,涉及一种切片组织识别方法、装置,细胞识别模型及组织分割模型。背景技术[0002] 病理切片是指取一定大小的病变组织,用病理组织学方法制成的薄片。制作时,通常将病变组织包埋在石蜡块里,用切片机切成薄片,再进行染色,用显微镜做进一步检查。医生需要借助高倍显微镜查阅图像,检查标本的组织或细胞的病理改变情况,探究病变发生的原因、发病机理和病发过程,最后做出病理诊断。组织病理和细胞病理不同,组织病理在诊断病变类型时,往往要看一种细胞或多类细胞在不同组织区域的分布、数量及细胞特征。[0003] 以慢性萎缩性胃炎为例,据慢性胃炎的病理诊断标准和新悉尼系统的直观模拟评分法,慢性胃炎下的五种组织学变化——Hp(幽门螺旋杆菌)、活动性、炎性反应、萎缩性和肠上皮化生。其中,肠上皮化生是指胃粘模出现了肠腺上皮。化生的肠腺上皮从一般组织病理学观察与小肠上皮的形态及功能非常相似,但也有一部分肠上皮化生则很像大肠上皮。肠化的上皮包括吸收细胞、杯状细胞及潘氏细胞等。医学上,判断腺体是否出现肠化,需要检测腺体中是否出现杯状细胞及潘氏细胞。因此,对细胞的检测以及对腺体的识别是诊断肠上皮化生这一组织学类型的诊断依据。[0004] 医生对患者做病理筛查的时候,通常情况下需要进行病理切片的检查,将观测到的组织与组织中的细胞之间进行相互印证,并通过经验判断,才能确切地对患者的症状做出诊断,该方式严重增加了病理医生的工作量,且该方式效率太低。发明内容[0005] 本申请实施例的目的在于提供一种切片组织识别方法、装置,细胞识别模型及组织分割模型,以降低病理医生的工作量,提高切片组织的识别效率。[0006] 本发明是这样实现的:[0007] 第一方面,本申请实施例提供一种切片组织识别方法,包括:获取待识别切片图像;将所述待识别切片图像输入至细胞识别模型中,获取识别出的细胞类型以及识别出的细胞的位置信息;将所述待识别切片图像输入至组织分割模型中,生成第一图像;其中,所述第一图像中包括识别出的组织区域;将所述识别出的细胞类型以及所述识别出的细胞的位置信息与所述第一图像进行合并,生成第二图像;其中,所述第二图像中包括所述识别出的组织区域以及所述识别出的组织区域内部的细胞类型;根据所述第二图像中所识别出的组织区域内部的细胞类型,将所述第二图像中所识别出的组织区域进行分类。[0008] 在本申请实施例中,预先构建好用于识别细胞类型和细胞的位置信息的细胞识别模型以及用于识别出组织区域的组织分割模型,当获取待识别切片图像之后,将该图像分别输入至训练好的两个模型中,得到该图像中识别出的细胞类型、识别出的细胞的位置信息以及识别出的组织区域,最后将三种数据合并即可得到识别出组织区域以及识别出组织区域内部的细胞类型的第二图像,最后再根据细胞类型对组织区域进行分类,即可完成对切片组织的识别。通过上述方式,降低病理医生的工作量,提高切片组织的识别效率以及识别的准确度。[0009] 结合上述第一方面提供的技术方案,在一些可能的实现方式中,通过如下步骤得到所述细胞识别模型,该步骤包括:获取第一训练样本数据;其中,所述第一训练样本数据包括多张样本切片图像以及每张样本切片图像对应的标注数据,所述标注数据包括细胞类型以及细胞的位置信息;基于所述第一训练样本数据将初始模型训练至收敛,得到所述细胞识别模型。[0010] 在本申请实施例中,在获取到多张样本切片图像后,需要对每张样本切片图像进行标注,标注出每张样本切片图像中的细胞类型以及细胞的位置信息,然后将多张样本切片图像以及各自对应的标注数据作为样本数据对初始模型进行训练。通过上述方式能够得到具有高识别能力的细胞识别模型,且训练完成的细胞识别模型也可以单独的应用于细胞识别的场景中。[0011] 结合上述第一方面提供的技术方案,在一些可能的实现方式中,通过如下步骤得到所述组织分割模型,该步骤包括:获取第二训练样本数据;其中,所述第二训练样本数据包括多张样本切片图像以及每张样本切片图像对应的标注数据,所述标注数据包括划分好的组织区域;基于所述第二训练样本数据将初始模型训练至收敛,得到所述组织分割模型。[0012] 在本申请实施例中,在获取到多张样本切片图像后,需要对每张样本切片图像进行标注,标注出每张样本切片图像中的组织区域,然后将多张样本切片图像以及各自对应的标注数据作为样本数据对初始模型进行训练。通过上述方式能够得到具有高识别能力的组织分割模型,且训练完成的组织分割模型也可以单独的应用于组织分割的场景中。[0013] 结合上述第一方面提供的技术方案,在一些可能的实现方式中,所述获取待识别切片图像包括:获取第一组织切片图像;将所述第一组织切片图像分割为多个预设尺寸的所述待识别切片图像;相应的,在得到每个所述待识别切片图像对应的第二图像的分类结果后,所述方法还包括:将每个所述待识别切片图像对应的包含分类结果的第二图像进行拼接,形成第二组织切片图像,其中,所述第二组织切片图像与所述第一组织切片图像中的组织区域和细胞位置一致。[0014] 由于组织切片图像通常像素尺寸都很大,因此,于本申请实施例中,将高像素的组织切片图像划分为小像素尺寸的待识别切片图像,然后分别对各个小像素尺寸的待识别切片图像进行切片组织识别,最后再将识别后的图像进行拼接。通过将高像素的组织切片图像划分为小像素尺寸的待识别切片图像,便于后续模型的有效识别以及提高模型识别的效率,且通过将识别后的图像进行拼接,便于保持高像素的组织切片图像的完整性。[0015] 结合上述第一方面提供的技术方案,在一些可能的实现方式中,所述根据所述第二图像中所识别出的组织区域内部的细胞类型,将所述第二图像中所识别出的组织区域进行分类,包括:根据所述第二图像中所识别出的组织区域内部的细胞类型,将所述第二图像重新进行像素填充;其中,不同细胞类型对应的组织区域所填充的像素值不同,同一细胞类型对应的组织区域填充的像素值相同。[0016] 在本申请实施例中,通过不同的像素值实现分类,也即,不同细胞类型对应的组织区域所填充的像素值不同,同一细胞类型对应的组织区域填充的像素值相同。通过上述方式,以便于医生直观的看到切片组织的识别结果。[0017] 结合上述第一方面提供的技术方案,在一些可能的实现方式中,在所述根据所述第二图像中所识别出的组织区域内部的细胞类型,将所述第二图像重新进行像素填充之后,所述方法还包括:确定出所述第二图像中包含病变细胞类型的组织区域;计算所述病变细胞类型的组织区域和识别出的全部组织区域的比值。[0018] 在本申请实施例中,在对第二图像中所识别出的组织区域内部的细胞类型进行像素填充后,还会确定出第二图像中包含病变细胞类型的组织区域;然后计算病变细胞类型的组织区域和识别出的全部组织区域的比值,该比值可以用来确定病变等级。通过上述方式,进一步的降低病理医生的工作量,辅助医生对切片组织的判断。[0019] 第二方面,本申请实施例提供一种细胞识别模型,包括:图像特征提取层、感兴趣区域识别层、分类器以及回归层;所述图像特征提取层用于接收输入的待识别切片图像,并利用内部的卷积层提取所述待识别切片图像中的特征信息;所述感兴趣区域识别层与所述图像特征提取层连接;所述感兴趣区域识别层用于根据所述待识别切片图像中的特征信息,识别出感兴趣区域;所述分类器与所述感兴趣区域识别层连接,所述分类器用于对所述感兴趣区域进行分类;所述回归层与所述感兴趣区域识别层连接,所述回归层用于对所述感兴趣区域进行框选,并对框选区域进行修正;其中,所述框选区域包含识别的细胞。[0020] 第三方面,本申请实施例提供一种组织分割模型,包括:编码器、语义分割层以及解码器;所述编码器用于对接收输入的待识别切片图像,并提取所述待识别切片图像的图像特征;所述语义分割层与所述编码器连接,所述语义分割层用于标注所述待识别切片图像每个像素所属的对象类别;其中,所述对象类别包括组织区域类别和背景类别;所述解码器与所述语义分割层连接,所述解码器用于根据所述待识别切片图像的图像特征以及所述待识别切片图像每个像素所属的对象类别,输出组织区域分割后的图像。[0021] 第四方面,本申请实施例提供一种切片组织识别装置,包括:获取模块,用于获取待识别切片图像;细胞识别模块,用于将所述待识别切片图像输入至细胞识别模型中,获取识别出的细胞类型以及识别出的细胞的位置信息;组织分割模块,用于将所述待识别切片图像输入至组织分割模型中,生成第一图像;其中,所述第一图像中包括识别出的组织区域;图像融合模块,用于将所述识别出的细胞类型与所述识别出的细胞的位置信息与所述第一图像进行合并,生成第二图像;其中,所述第二图像中包括所述识别出的组织区域以及所述识别出的组织区域内部的细胞类型;分类模块,用于根据所述第二图像中所识别出的组织区域内部的细胞类型,将所述第二图像中所识别出的组织区域进行分类。[0022] 第五方面,本申请实施例提供一种电子设备,包括:处理器和存储器,所述处理器和所述存储器连接;所述存储器用于存储程序;所述处理器用于调用存储在所述存储器中的程序,执行如上述第一方面实施例和/或结合上述第一方面实施例的一些可能的实现方式提供的方法。[0023] 第六方面,本申请实施例提供一种存储介质,其上存储有计算机程序,所述计算机程序在被处理器运行时执行如上述第一方面实施例和/或结合上述第一方面实施例的一些可能的实现方式提供的方法。附图说明[0024] 为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。[0025] 图1为本申请实施例提供的一种电子设备的结构示意图。[0026] 图2为本申请实施例提供的一种切片组织识别方法的步骤流程图。[0027] 图3为本申请实施例提供的一种细胞识别模型的结构框图。[0028] 图4为本申请实施例提供的一种组织分割模型的结构框图。[0029] 图5为本申请实施例提供的一种切片组织识别的效果图。[0030] 图6为本申请实施例提供的一种切片组织识别系统的结构框图。[0031] 图7为本申请实施例提供的一种切片组织识别装置的模块框图。[0032] 图标:100‑电子设备;110‑处理器;120‑存储器;200‑细胞识别模型;201‑图像特征提取层;202‑感兴趣区域识别层;203‑分类器;204‑回归层;300‑组织分割模型;301‑编码器;302‑语义分割层;303‑解码器;400‑切片组织识别系统;401‑切片组织图像库;402‑数据输入模块;403‑数据预处理模块;404‑标注模块;405‑细胞识别模型训练模块;406‑组织分割模型训练模块;407‑细胞识别模型应用模块;408‑组织分割模型应用模块;409‑图像处理模块;500‑切片组织识别装置;501‑获取模块;502‑细胞识别模块;503‑组织分割模块;504‑图像融合模块;505‑分类模块。具体实施方式[0033] 下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行描述。[0034] 鉴于医生对患者做病理筛查的时候,通常情况下需要进行病理切片的检查,将观测到的组织与组织中的细胞之间进行相互印证,并通过经验判断,才能确切的对患者的症状做出诊断,该方式严重增加了病理医生的工作量,且该方式效率太低,本申请发明人经过研究探索,提出以下实施例以解决上述问题。[0035] 请参阅图1,本申请实施例提供的一种应用切片组织识别方法及装置的电子设备100的示意性结构框图。本申请实施例中,电子设备100可以是,但不限于个人计算机(PersonalComputer,PC)、智能手机、平板电脑、个人数字助理(PersonalDigitalAssistant,PDA)、移动上网设备(MobileInternetDevice,MID)等。在结构上,电子设备100可以包括处理器110和存储器120。[0036] 处理器110与存储器120直接或间接地电性连接,以实现数据的传输或交互,例如,这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。切片组织识别装置包括至少一个可以软件或固件(Firmware)的形式存储在存储器120中或固化在电子设备100的操作系统(OperatingSystem,OS)中的软件模块。处理器110用于执行存储器120中存储的可执行模块,例如,切片组织识别装置所包括的软件功能模块及计算机程序等,以实现切片组织识别方法。处理器110可以在接收到执行指令后,执行计算机程序。[0037] 其中,处理器110可以是一种集成电路芯片,具有信号处理能力。处理器110也可以是通用处理器,例如,可以是中央处理器(CentralProcessingUnit,CPU)、数字信号处理器(DigitalSignalProcessor,DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit,ASIC)、分立门或晶体管逻辑器件、分立硬件组件,可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。此外,通用处理器可以是微处理器或者任何常规处理器等。[0038] 存储器120可以是,但不限于,随机存取存储器(RandomAccessMemory,RAM)、只读存储器(ReadOnlyMemory,ROM)、可编程只读存储器(ProgrammableRead‑OnlyMemory,PROM)、可擦可编程序只读存储器(ErasableProgrammableRead‑OnlyMemory,EPROM),以及电可擦编程只读存储器(ElectricErasableProgrammableRead‑OnlyMemory,EEPROM)。存储器120用于存储程序,处理器110在接收到执行指令后,执行该程序。[0039] 需要说明的是,图1所示的结构仅为示意,本申请实施例提供的电子设备100还可以具有比图1更少或更多的组件,或是具有与图1所示不同的配置。此外,图1所示的各组件可以通过软件、硬件或其组合实现。[0040] 请参阅图2,图2为本申请实施例提供的切片组织识别方法的步骤流程图,该方法应用于图1所示的电子设备100。需要说明的是,本申请实施例提供的切片组织识别方法不以图2及以下所示的顺序为限制,该方法包括:步骤S101‑步骤S105。[0041] 步骤S101:获取待识别切片图像。[0042] 首先,获取一张待识别切片图像。图像格式为常规的医学影像格式。单张图片中包含有单个病理组织的一个切面。[0043] 步骤S102:将待识别切片图像输入至细胞识别模型中,获取识别出的细胞类型以及识别出的细胞的位置信息。[0044] 步骤S103:将待识别切片图像输入至组织分割模型中,生成第一图像;其中,第一图像中包括识别出的组织区域。[0045] 步骤S104:将识别出的细胞类型以及识别出的细胞的位置信息与第一图像进行合并,生成第二图像;其中,第二图像中包括识别出的组织区域以及识别出的组织区域内部的细胞类型。[0046] 该步骤中,合并可以理解根据识别出的细胞的位置信息,将对应的细胞类型添加至第一图像中,进而使得通过合并所形成的第二图像中,既包含识别出的组织区域,又包含组织区域内部的细胞类型。需要说明的是,由于两个模型均是基于待识别切片图像进行识别,因此,细胞识别模型输出的细胞的位置信息与组织分割模型输出的第一图像上的细胞的位置信息是相同的。[0047] 步骤S105:根据第二图像中所识别出的组织区域内部的细胞类型,将第二图像中所识别出的组织区域进行分类。[0048] 最后,根据所识别出的组织区域内部的细胞类型,即可将组织区域进行分类。分类后即可确定出正常的组织以及异常的组织。[0049] 综上,在本申请实施例中,预先构建好用于识别细胞类型和细胞的位置信息的细胞识别模型以及用于识别出组织区域的组织分割模型,当获取待识别切片图像之后,将该图像分别输入至训练好的两个模型中,得到该图像中识别出的细胞类型、识别出的细胞的位置信息以及识别出的组织区域,最后将三种数据合并即可得到识别出组织区域以及识别出组织区域内部的细胞类型的第二图像,最后再根据细胞类型对组织区域进行分类,即可完成对切片组织的识别。通过上述方式,降低病理医生的工作量,提高切片组织的识别效率以及识别的准确度。[0050] 为了便于理解上述方案,首先对本申请实施例所涉及的两种模型进行说明。[0051] 其中,通过如下步骤得到细胞识别模型,该步骤包括:获取第一训练样本数据;其中,第一训练样本数据包括多张样本切片图像以及每张样本切片图像对应的标注数据,标注数据包括细胞类型以及细胞的位置信息;基于第一训练样本数据将初始模型训练至收敛,得到细胞识别模型。[0052] 当获取到多张样本切片图像后,需要将多张样本切片图像交由有经验的医生或经培训过的专业人员进行标注。标注时,可以通过标注工具在样本切片图像上进行勾画。具体的,可采用框定或画轮廓等方式,获取细胞在样本切片图像中的位置信息,同时标记细胞的种类。[0053] 在本申请实施例中,细胞识别模型为一个集成的神经网络数学模型。请参阅图3,图3示出了训练完成的细胞识别模型200。细胞识别模型200的结构包括:图像特征提取层201、感兴趣区域识别层202、分类器203以及回归层204。[0054] 图像特征提取层201主要用于接收输入的待识别切片图像,并对输入的待识别切片图像进行处理,具体为利用内部的卷积层提取待识别切片图像中的特征信息。在训练过程中,内部的卷积层抽取图像中的信息,计算权重、偏移值。模型通过卷积层的运算以及卷积计算,规定相关的模型参数,比如规定相关的模型参数后,图像特征提取层201可以提取图像中的特定颜色或形状,在训练过程中可通过误差逆向传播的方法修正模型的参数。[0055] 感兴趣区域识别层202与图像特征提取层201连接;感兴趣区域识别层202用于根据待识别切片图像中的特征信息,识别出感兴趣区域。需要说明的是,感兴趣区域为可能包含目标的图像区域。其中,目标即为细胞。[0056] 分类器203与感兴趣区域识别层202连接,分类器203可用于对感兴趣区域进行分类,也即,将识别为包含细胞的区域及细胞的种类进行区分。[0057] 回归层204与感兴趣区域识别层202连接,回归层204用于对感兴趣区域进行框选,并对框选区域进行修正;其中,框选区域包含识别的细胞。具体的,回归层204主要用于回归到细胞本身,对每一个感兴趣区域中的目标进行框选,并对框选区域的大小和位置进行修正,从而得到准确的细胞的位置信息。[0058] 最后,通过分类器203和回归层204即可输出识别出的细胞类型以及识别出的细胞的位置信息。[0059] 其中,通过如下步骤得到组织分割模型,该步骤包括:获取第二训练样本数据;其中,第二训练样本数据包括多张样本切片图像以及每张样本切片图像对应的标注数据,标注数据包括划分好的组织区域;基于第二训练样本数据将初始模型训练至收敛,得到组织分割模型。[0060] 当获取到多张样本切片图像后,需要将多张样本切片图像交由有经验的医生或经培训过的专业人员进行标注。标注时,可以通过标注工具在样本切片图像上进行勾画。具体的,标注时需要勾画出组织的轮廓,轮廓内为组织区域,并将其重新赋值,而在轮廓外的区域视为背景图,从而得到单通道的图像。[0061] 在本申请实施例中,组织分割模型为一个集成的神经网络数学模型。请参阅图4,图4示出了训练完成的组织分割模型300。组织分割模型300的结构包括:编码器301、语义分割层302以及解码器303。三者都含有同类型的结构,如:卷积层、激活函数(ActivateFunction)、池化层(PoolingLayer)等。[0062] 术语“卷积层”是指用卷积的方法对图像进行特征提取的结构,由若干卷积单元组成,每个卷积单元通过卷积操作,移动操作,遍历图像,获得图像信息。在一个实例中,设置卷积层的输入通道数为3,输出为64,卷积核大小为7,步长为2,填充像素为3,当输入的是512像素大小的样本切片图像时,输出就变成了256像素大小的本切片图像,做到特征提取的效果。[0063] 术语“激活函数”是指在神经网络上运行的函数,它能够把输入映射到输出端,实现非线性操作。于本申请实施例中,激活函数方面,选择“Relu”或“Leaky”函数,且分别使用“SGD”和“Adam”等优化方法进行优化。[0064] 术语“池化层”,也称取样层,是指对输入的特征图进行压缩,常用的池化方式有最大池化和均值池化。[0065] 编码器301是按照卷积层、激活函数、池化层的方式组成的卷积神经网络(ConvolutionNeuralNetworks,CNN)。编码器301用于对接收输入的待识别切片图像,并提取待识别切片图像的图像特征。[0066] 语义分割层302与编码器301连接,语义分割层302用于标注待识别切片图像每个像素所属的对象类别;其中,对象类别包括组织区域类别和背景类别。语义分割层302同样是由卷积神经网络组成,不同点在于,于本申请实施例中,语义分割层302中的卷积层,应用了膨胀卷积(DilatedConvolution)也称空洞卷积。[0067] 解码器303与语义分割层302连接,解码器303用于根据待识别切片图像的图像特征以及待识别切片图像每个像素所属的对象类别,输出组织区域分割后的图像。[0068] 于本申请实施例中,解码器303由卷积神经网络经过上采样操作,将输入的所识别到的图像特征及对象类别,还原到全分辨率的掩膜图。其中,卷积层不再对图像进行特征抽取,而是逐步减少特征层数,直到特征层数减少到分类的类别,输出的通道数为组织类型种类。在一个实例中,只需要划分一个组织,因此输出的通道数为1,在这个通道数下的图层,所有的像素点的值为0或1,1则代表着模型判定此个像素点为组织区域,而0则判定为背景。[0069] 通过上述步骤,即可完成对两个模型的训练,进而得到训练完成的细胞识别模型以及训练完成的组织分割模型,下面结合具体的示例对上述切片组织识别方法的具体步骤进行说明。[0070] 在一实施例中,步骤S101中获取到的待识别切片图像可以是已经预处理后的图像。预处理的方式可以是对图像进行脱敏处理,以去除待识别切片图像上患者的个人信息,而仅保留图像信息。上述的预处理方式还可以包括对图像进行缩放、剪裁、图像归一化、均衡化等。比如缩放的方式可以采用双线插值法等。本申请对于上述预处理的方式不作限定。[0071] 在一实施例中,步骤S101中获取待识别切片图像具体包括:获取第一组织切片图像;将第一组织切片图像分割为多个预设尺寸的待识别切片图像。[0072] 由于组织切片图像通常像素尺寸都很大,因此,于本申请实施例中,将高像素的组织切片图像划分为小像素尺寸的待识别切片图像,然后将每个小像素尺寸的待识别切片图像进行个后续的组织识别。通过将高像素的组织切片图像划分为小像素尺寸的待识别切片图像,便于后续模型的有效识别以及提高模型识别的效率,且通过将识别后的图像进行拼接,便于保持高像素的组织切片图像的完整性。[0073] 在本申请实施中,分割过程采用滑窗检测的方式进行分割,示例性的,第一组织切片图像的图像尺寸为2048*2048,则采用滑窗检测的方法可以将其分割成16张512*512大小的组织切片图像。512*512即为上述的预设尺寸。[0074] 在其他实施例中,预设尺寸还可以是其他的数值,分割时也可以是随机的对第一组织切片图像进行分割,本申请均不作限定。[0075] 当得到每个待识别切片图像对应的第二图像的分类结果后,该方法还包括:将每个待识别切片图像对应的包含分类结果的第二图像进行拼接,形成第二组织切片图像。[0076] 需要说明的是,拼接后的第二组织切片图像与第一组织切片图像中的组织区域和细胞位置一致。拼接后以便于医生直观的看到切片组织的识别结果。[0077] 在一实施例中,步骤S105根据第二图像中所识别出的组织区域内部的细胞类型,将第二图像中所识别出的组织区域进行分类,具体包括:根据第二图像中所识别出的组织区域内部的细胞类型,将第二图像重新进行像素填充。[0078] 需要说明的是,填充时,不同细胞类型对应的组织区域所填充的像素值不同,同一细胞类型对应的组织区域填充的像素值相同。示例性的,识别出的组织区域为腺体组织,识别出的细胞类型包括正常细胞和潘氏细胞,此时,可以将包含正常细胞的腺体组织的像素值设定为1;将包含潘氏细胞的腺体组织的像素值设定为2,而背景区域的像素值设定为0。若是识别出的细胞类型还包括杯状细胞,还可将包含杯状细胞的腺体组织的像素值设定为3。对此,本申请不作限定。具体的效果图可以参考图5,图5中,背景区域填充的像素值为0(纯黑),其余区域的组织根据包含的不同的细胞类型,填充为不同的像素值。显示,通过该方式,可以使得医生直观的看到切片组织的识别结果。[0079] 可选地,在根据第二图像中所识别出的组织区域内部的细胞类型,将第二图像重新进行像素填充之后,该方法还包括:确定出第二图像中包含病变细胞类型的组织区域;计算病变细胞类型的组织区域和识别出的全部组织区域的比值。[0080] 需要说明的是,计算出的比值可以用来确定病变等级。[0081] 作为一种实施方式,可以是基于病变细胞类型的组织区域的数量和识别出的全部组织区域的数量的比值,来确定出病变等级。[0082] 作为又一种实施方式,可以是基于病变细胞类型的组织区域的面积和识别出的全部组织区域的面积的比值,来确定出病变等级。[0083] 以肠上皮化生病变等级评判标准进行说明,肠上皮化生病变等级包括无、轻度、中度和重度四个等级。其中,等级无定义为包含肠上皮化生病变细胞类型的组织区域和识别出的全部组织区域的数量或面积的比值为0,轻度定义为包含肠上皮化生病变细胞类型的组织区域和识别出的全部组织区域的数量或面积的比值为三分之一以下;中度定义为包含肠上皮化生病变细胞类型的组织区域和识别出的全部组织区域的数量或面积的比值为三分之一至三分之二;重度定义为包含肠上皮化生病变细胞类型的组织区域和识别出的全部组织区域的数量或面积的比值为三分之二以上。因此,根据基于病变细胞类型的组织区域和识别出的全部组织区域的比值、以及肠上皮化生病变等级评判标准即可确定出对应的病变等级。通过该方式,进一步的降低病理医生的工作量,辅助医生对切片组织的判断。[0084] 在其他实施例中,上述的分类过程还可以是根据第二图像中所识别出的组织区域内部的细胞类型,将第二图像的各区域通过文字进行标注。具体的,还可以是基于第二图像中所识别出的组织区域内部的细胞类型,将组织区域进行划分,形成第三图像,然后结合数量统计知识,得到对应的标识;其中,该标识则表征待识别切片图像的病理类别。[0085] 在其他实施例中,上述的细胞识别模型以及组织分割模型可以单独应用。[0086] 比如,本申请实施例还提供一种细胞识别方法,该方法包括:获取待识别切片图像;将待识别切片图像输入至细胞识别模型中,获取识别出的细胞类型以及识别出的细胞的位置信息。[0087] 又比如,本申请实施例还提供一种组织分割方法,该方法包括:获取待识别切片图像;将待识别切片图像输入至组织分割模型中,生成第一图像;其中,第一图像中包括识别出的组织区域。[0088] 此外,在上述对细胞识别模型进行训练时,模型输出的可以是一张完成的图像,图像中包含识别出的细胞类型以及识别出的细胞的位置信息。相应的,在将识别出的细胞类型以及识别出的细胞的位置信息与第一图像进行合并时,是将两个模型输出的图像进行融合。对此,本申请不作限定。[0089] 上述的切片组织识别方法可以用于具体的病理中,比如上述方法可以用于识别胃炎病理中的肠上皮化生。当然,该系统还可以应用于肝癌、乳腺癌、前列腺癌,舌癌,子宫内膜癌等的组织识别,本申请不作限定。[0090] 请参阅图6,基于同一发明构思,本申请实施例还提供一种切片组织识别系统400。该系统包括:切片组织图像库401、数据输入模块402、数据预处理模块403、标注模块404、细胞识别模型训练模块405、组织分割模型训练模块406、细胞识别模型应用模块407、组织分割模型应用模块408、图像处理模块409。[0091] 其中,切片组织图像库401主要用于收集并存储切片图像,所述切片图像是由医生从患者体内切取、钳取或穿刺等取出病变组织,进行病理学检查,经过扫描仪扫描形成的图像。其存储设备,有硬盘、U盘或光盘等,其传输方式为有线传输或无线传输。[0092] 数据输入模块402用于从切片组织图像库401获取切片图像。切片图像格式为常规的高清晰度、高像素的医学影像格式,单张切片图像中含有单个病理组织的一个切面。在切片图像输入之前,可以对图像进行脱敏处理,去除患者个人信息,仅保留图像信息。[0093] 数据预处理模块403用于将切片图像进行预处理,以改变切片图像的数据量。比如归一化处理、图像增强处理,图像缩放处理。[0094] 标注模块404用于多切片图像进行标注,标注应用于细胞检测的数据时,可采用框定或画轮廓等方式,获取细胞在样本切片图像中的位置信息,同时标记细胞的种类。而标注时,可以通过标注工具在样本切片图像上进行勾画。标注应用于细胞检测的数据时需要勾画出组织的轮廓,轮廓内为组织区域,并将其重新赋值,而在轮廓外的区域视为背景图,从而得到单通道的图像。[0095] 细胞识别模型训练模块405用于将多张切片图像以及每张样本切片图像对应的标注数据作为训练样本数据进行训练。并将训练过程中传递效果最好的模型作为细胞识别模型应用模块407中的模型。[0096] 组织分割模型训练模块406用于将多张切片图像以及每张样本切片图像对应的标注数据作为训练样本数据进行训练。并将训练过程中传递效果最好的模型作为组织分割模型应用模块408中的模型。[0097] 上述的传递效果最好的模型可以理解为鲁棒性最好,泛化能力最强的模型作为系统应用侧的模型。[0098] 细胞识别模型应用模块407用于接收待识别切片图像,输出识别出的细胞类型以及识别出的细胞的位置信息。[0099] 组织分割模型应用模块408用于接收待识别切片图像,输出第一图像;其中,所述第一图像中包括识别出的组织区域。[0100] 图像处理模块409用于将识别出的细胞类型以及识别出的细胞的位置信息与所述第一图像进行合并,生成第二图像;其中,第二图像中包括识别出的组织区域以及识别出的组织区域内部的细胞类型;根据第二图像中所识别出的组织区域内部的细胞类型,将第二图像中所识别出的组织区域进行分类。[0101] 上述的切片组织识别系统400可以用于具体的病理中,比如上述系统可以用于识别胃炎的肠上皮化生。当然,该系统还可以应用于肝癌、乳腺癌、前列腺癌,舌癌,子宫内膜癌等的组织识别,本申请不作限定。[0102] 请参阅图7,基于同一发明构思,本申请实施例还提供一种切片组织识别装置500,该装置包括:获取模块501、细胞识别模块502、组织分割模块503、图像融合模块504以及分类模块505。[0103] 获取模块501,用于获取待识别切片图像。[0104] 细胞识别模块502,用于将所述待识别切片图像输入至细胞识别模型中,获取识别出的细胞类型以及识别出的细胞的位置信息。[0105] 组织分割模块503,用于将所述待识别切片图像输入至组织分割模型中,生成第一图像;其中,所述第一图像中包括识别出的组织区域。[0106] 图像融合模块504,用于将所述识别出的细胞类型与所述识别出的细胞的位置信息与所述第一图像进行合并,生成第二图像;其中,所述第二图像中包括所述识别出的组织区域以及所述识别出的组织区域内部的细胞类型。[0107] 分类模块505,用于根据所述第二图像中所识别出的组织区域内部的细胞类型,将所述第二图像中所识别出的组织区域进行分类。[0108] 可选地,切片组织识别装置500还包括第一训练模块。第一训练模块用于获取第一训练样本数据;其中,所述第一训练样本数据包括多张样本切片图像以及每张样本切片图像对应的标注数据,所述标注数据包括细胞类型以及细胞的位置信息;基于所述第一训练样本数据将初始模型训练至收敛,得到所述细胞识别模型。[0109] 可选地,切片组织识别装置500还包括第二训练模块。第二训练模块用于获取第二训练样本数据;其中,所述第二训练样本数据包括多张样本切片图像以及每张样本切片图像对应的标注数据,所述标注数据包括划分好的组织区域;基于所述第二训练样本数据将初始模型训练至收敛,得到所述组织分割模型。[0110] 可选地,获取模块501具体用于获取第一组织切片图像;将所述第一组织切片图像分割为多个预设尺寸的所述待识别切片图像。相应的,切片组织识别装置500还包括拼接模块;拼接模块用于在得到每个所述待识别切片图像对应的第二图像的分类结果后,将每个所述待识别切片图像对应的包含分类结果的第二图像进行拼接,形成第二组织切片图像,其中,所述第二组织切片图像与所述第一组织切片图像中的组织区域和细胞位置一致。[0111] 可选地,分类模块505具体用于根据所述第二图像中所识别出的组织区域内部的细胞类型,将所述第二图像重新进行像素填充;其中,不同细胞类型对应的组织区域所填充的像素值不同,同一细胞类型对应的组织区域填充的像素值相同。[0112] 可选地,切片组织识别装置500还包括计算模块,计算模块用于在所述根据所述第二图像中所识别出的组织区域内部的细胞类型,将所述第二图像重新进行像素填充之后,确定出所述第二图像中包含病变细胞类型的组织区域;计算所述病变细胞类型的组织区域和识别出的全部组织区域的比值。[0113] 需要说明的是,由于所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。[0114] 基于同一发明构思,本申请实施例还提供一种计算机可读存储介质,其上存储有计算机程序,计算机程序在被运行时执行上述实施例中提供的方法。[0115] 该存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘SolidStateDisk(SSD))等。[0116] 在本申请所提供的实施例中,应该理解到,所揭露装置、方法和系统,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。[0117] 另外,作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。[0118] 再者,在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。[0119] 在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。[0120] 以上所述仅为本申请的实施例而已,并不用于限制本申请的保护范围,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
专利地区:广东
专利申请日期:2021-04-19
专利公开日期:2024-07-26
专利公告号:CN113066080B