用于分割图像的方法和装置实用新型专利

专利名称：用于分割图像的方法和装置

专利类型：实用新型专利

专利申请号：CN202011239974.7

专利申请（专利权）人：北京沃东天骏信息技术有限公司,北京京东世纪贸易有限公司,杨欣
权利人地址：北京市大兴区经济技术开发区科创十一街18号院2号楼4层A402室

专利发明（设计）人：梅涛,杨欣,刘金根,周伯文

专利摘要：本申请公开了用于分割图像的方法和装置，涉及人工智能、数据处理技术领域。该方法包括：获取初始图像，并根据预设条件获取初始图像中的子图像；基于初始图像，确定第一粒度特征图像；基于子图像，确定第二粒度特征图像；根据第一粒度特征图像以及第二粒度特征图像，确定跨粒度特征图像；根据跨粒度特征图像，确定子图像中的目标元素。采用本方法可以提高图像分割的准确性。

主权利要求：
1.一种用于分割图像的方法，包括：
获取初始图像，并根据预设条件获取所述初始图像中的子图像；
基于所述初始图像，确定第一粒度特征图像；
基于所述子图像，确定第二粒度特征图像；
根据所述第一粒度特征图像以及所述第二粒度特征图像，确定跨粒度特征图像，包括：对所述第一粒度特征图像进行下采样操作，获得所述第一粒度特征图像的下采样图像；对所述第二粒度特征图像进行下采样操作，获得所述第二粒度特征图像的下采样图像；将所述第一粒度特征图像的下采样图像与所述第二粒度特征图像的乘积，与所述第二粒度特征图像的下采样图像与所述第一粒度特征图像的乘积之和，确定为所述跨粒度特征图像；
根据所述跨粒度特征图像和所述第二粒度特征图像，确定所述子图像中的目标元素。
2.根据权利要求1所述的方法，其中，所述基于所述初始图像，确定第一粒度特征图像，包括：利用第一卷积神经网络，提取所述初始图像的特征图像，将所述初始图像的特征图像确定为所述第一粒度特征图像；以及所述基于所述子图像，确定第二粒度特征图像，包括：利用第二卷积神经网络，提取所述子图像的特征图像，将所述子图像的特征图像确定为所述第二粒度特征图像。
3.根据权利要求2所述的方法，其中，所述第一卷积神经网络包括目标卷积神经网络中的第一子网，所述第二卷积神经网络包括所述目标卷积神经网络中的第二子网；
所述根据所述第一粒度特征图像以及所述第二粒度特征图像，确定跨粒度特征图像，包括：根据所述第一子网的目标层级输出的第一粒度特征图像以及所述第二子网的所述目标层级输出的第二粒度特征图像，确定所述目标层级的跨粒度特征图像。
4.根据权利要求1所述的方法，其中，根据所述第一粒度特征图像以及所述第二粒度特征图像，确定跨粒度特征图像，包括：在所述第一粒度特征图像中，确定与所述第二粒度特征图像的特征对齐的对齐特征；
确定所述对齐特征在所述第一粒度特征图像中的对齐区域；
根据所述对齐区域的图像以及所述第二粒度特征图像，确定所述跨粒度特征图像。
5.根据权利要求1所述的方法，其中，所述方法包括多个特征提取层，所述根据所述跨粒度特征图像和所述第二粒度特征图像，确定所述子图像中的目标元素，包括：根据基于浅层特征提取层确定的跨粒度特征图像，以及基于深层特征提取层确定的第二粒度特征图像，确定所述子图像中的目标元素。
6.根据权利要求1所述的方法，其中，所述方法还包括：融合所述第一粒度特征图像以及所述第二粒度特征图像，生成分割后的图像。
7.一种用于分割图像的装置，包括：
获取单元，被配置为获取初始图像，并根据预设条件获取所述初始图像中的子图像；
第一确定单元，被配置为基于所述初始图像，确定第一粒度特征图像；
第二确定单元，被配置为基于所述子图像，确定第二粒度特征图像；
第三确定单元，被配置为根据所述第一粒度特征图像以及所述第二粒度特征图像，确定跨粒度特征图像，包括：对所述第一粒度特征图像进行下采样操作，获得所述第一粒度特征图像的下采样图像；对所述第二粒度特征图像进行下采样操作，获得所述第二粒度特征图像的下采样图像；将所述第一粒度特征图像的下采样图像与所述第二粒度特征图像的乘积，与所述第二粒度特征图像的下采样图像与所述第一粒度特征图像的乘积之和，确定为所述跨粒度特征图像；
目标元素确定单元，被配置为根据所述跨粒度特征图像和所述第二粒度特征图像，确定所述子图像中的目标元素。
8.根据权利要求7所述的装置，其中，所述第一确定单元，包括：第一卷积模块，被配置为利用第一卷积神经网络，提取所述初始图像的特征图像，将所述初始图像的特征图像确定为所述第一粒度特征图像；以及所述第二确定单元，包括：
第二卷积模块，被配置为利用第二卷积神经网络，提取所述子图像的特征图像，将所述子图像的特征图像确定为所述第二粒度特征图像。
9.根据权利要求8所述的装置，其中，所述第一卷积神经网络包括目标卷积神经网络中的第一子网，所述第二卷积神经网络包括所述目标卷积神经网络中的第二子网；
所述第三确定单元，包括：
同级特征融合模块，被配置为根据所述第一子网输出的目标层级的第一粒度特征图像以及所述第二子网输出的所述目标层级的第二粒度特征图像，确定所述目标层级的跨粒度特征图像。
10.根据权利要求7所述的装置，其中，所述第三确定单元，包括：特征对齐模块，被配置为在所述第一粒度特征图像中，确定与所述第二粒度特征图像的特征对齐的对齐特征；
区域对齐模块，被配置为确定所述对齐特征在所述第一粒度特征图像中的对齐区域；
确定模块，被配置为根据所述对齐区域的图像以及所述第二粒度特征图像，确定所述跨粒度特征图像。
11.根据权利要求7所述的装置，其中，所述装置包括多个特征提取层，所述目标元素确定单元，包括：目标元素确定模块，被配置为根据基于浅层特征提取层确定的跨粒度特征图像，以及基于深层特征提取层确定的第二粒度特征图像，确定所述子图像中的目标元素。
12.根据权利要求7所述的装置，其中，所述装置还包括：融合模块，被配置为融合所述第一粒度特征图像以及所述第二粒度特征图像，生成分割后的图像。
13.根据权利要求7‑12之一所述的装置，其中，所述初始图像包括医学影像，所述目标元素确定单元，包括：生物组织成像模块，被配置为根据所述跨粒度特征图像，确定并呈现所述子图像中的目标生物组织对象。
14.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1‑6中任一项所述的方法。
15.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行权利要求1‑6中任一项所述的方法。 说明书 : 用于分割图像的方法和装置技术领域[0001] 本公开涉及计算机技术领域，具体涉及人工智能、图像处理技术领域，尤其涉及用于分割图像的方法和装置。背景技术[0002] 图像是一种重要的信息载体，对图像进行从粗粒度到细粒度的分割可以获取到更精准的图像信息。目前，对图像进行从粗粒度到细粒度的分割的方法是分别对图像进行粗粒度的分割、以及细粒度的分割。[0003] 然而，对图像分别进行粗粒度分割以及细粒度分割，存在分割结果不准确的问题。发明内容[0004] 本公开提供了一种用于分割图像的方法、装置、电子设备以及计算机可读存储介质。[0005] 根据本公开的第一方面，提供了一种用于分割图像的方法，该方法包括：获取初始图像，并根据预设条件获取初始图像中的子图像；基于初始图像，确定第一粒度特征图像；基于子图像，确定第二粒度特征图像；根据第一粒度特征图像以及第二粒度特征图像，确定跨粒度特征图像；根据跨粒度特征图像，确定子图像中的目标元素。[0006] 在一些实施例中，基于初始图像，确定第一粒度特征图像，包括：利用第一卷积神经网络，提取初始图像的特征图像，将初始图像的特征图像确定为第一粒度特征图像；以及基于子图像，确定第二粒度特征图像，包括：利用第二卷积神经网络，提取子图像的特征图像，将子图像的特征图像确定为第二粒度特征图像。[0007] 在一些实施例中，第一卷积神经网络包括目标卷积神经网络中的第一子网，第二卷积神经网络包括目标卷积神经网络中的第二子网；根据第一粒度特征图像以及第二粒度特征图像，确定跨粒度特征图像，包括：根据第一子网的目标层级输出的第一粒度特征图像以及第二子网的目标层级输出的第二粒度特征图像，确定目标层级的跨粒度特征图像。[0008] 在一些实施例中，根据第一粒度特征图像以及第二粒度特征图像，确定跨粒度特征图像，包括：对第一粒度特征图像进行下采样操作，获得第一粒度特征图像的下采样图像；对第二粒度特征图像进行下采样操作，获得第二粒度特征图像的下采样图像；将第一粒度特征图像的下采样图像与第二粒度特征图像的乘积，与第二粒度特征图像的下采样图像与第一粒度特征图像的乘积之和，确定为跨粒度特征图像。[0009] 在一些实施例中，根据第一粒度特征图像以及第二粒度特征图像，确定跨粒度特征图像，包括：在第一粒度特征图像中，确定与第二粒度特征图像的特征对齐的对齐特征；确定对齐特征在第一粒度特征图像中的对齐区域；根据对齐区域的图像以及第二粒度特征图像，确定跨粒度特征图像。[0010] 在一些实施例中，方法包括多个特征提取层，根据跨粒度特征图像，确定子图像中的目标元素，包括：根据基于浅层特征提取层确定的跨粒度特征图像，以及基于深层特征提取层确定的第二粒度特征图像，确定子图像中的目标元素。[0011] 在一些实施例中，用于分割图像的方法还包括：融合第一粒度特征图像以及第二粒度特征图像，生成分割后的图像。[0012] 根据本公开的第二方面，提供了一种用于分割图像的装置，该装置包括：获取单元，被配置为获取初始图像，并根据预设条件获取初始图像中的子图像；第一确定单元，被配置为基于初始图像，确定第一粒度特征图像；第二确定单元，被配置为基于子图像，确定第二粒度特征图像；第三确定单元，被配置为根据第一粒度特征图像以及第二粒度特征图像，确定跨粒度特征图像；目标元素确定单元，被配置为根据跨粒度特征图像，确定子图像中的目标元素。[0013] 在一些实施例中，第一确定单元，包括：第一卷积模块，被配置为利用第一卷积神经网络，提取初始图像的特征图像，将初始图像的特征图像确定为第一粒度特征图像；以及第二确定单元，包括：第二卷积模块，被配置为利用第二卷积神经网络，提取子图像的特征图像，将子图像的特征图像确定为第二粒度特征图像。[0014] 在一些实施例中，第一卷积神经网络包括目标卷积神经网络中的第一子网，第二卷积神经网络包括目标卷积神经网络中的第二子网；第三确定单元，包括：同级特征融合模块，被配置为根据第一子网输出的目标层级的第一粒度特征图像以及第二子网输出的目标层级的第二粒度特征图像，确定目标层级的跨粒度特征图像。[0015] 在一些实施例中，第三确定单元，包括：第一下采样模块，被配置为对第一粒度特征图像进行下采样操作，获得第一粒度特征图像的下采样图像；第二下采样模块，被配置为对第二粒度特征图像进行下采样操作，获得第二粒度特征图像的下采样图像；特征融合模块，被配置为将第一粒度特征图像的下采样图像与第二粒度特征图像的乘积，与第二粒度特征图像的下采样图像与第一粒度特征图像的乘积之和，确定为跨粒度特征图像。[0016] 在一些实施例中，第三确定单元，包括：特征对齐模块，被配置为在第一粒度特征图像中，确定与第二粒度特征图像的特征对齐的对齐特征；区域对齐模块，被配置为确定对齐特征在第一粒度特征图像中的对齐区域；确定模块，被配置为根据对齐区域的图像以及第二粒度特征图像，确定跨粒度特征图像。[0017] 在一些实施例中，装置包括多个特征提取层，目标元素确定单元，包括：目标元素确定模块，被配置为根据基于浅层特征提取层确定的跨粒度特征图像，以及基于深层特征提取层确定的第二粒度特征图像，确定子图像中的目标元素。[0018] 在一些实施例中，用于分割图像的装置还包括：融合模块，被配置为融合第一粒度特征图像以及第二粒度特征图像，生成分割后的图像。[0019] 在一些实施例中，初始图像包括医学影像，目标元素确定单元，包括：生物组织成像模块，被配置为根据跨粒度特征图像，确定并呈现子图像中的目标生物组织对象。[0020] 根据本公开的第三方面，本公开的实施例提供了一种电子设备，包括：一个或多个处理器：存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如第一方面提供的用于分割图像的方法。[0021] 根据本公开的第四方面，本公开的实施例提供了一种计算机可读存储介质，其上存储有计算机程序，其中，程序被处理器执行时实现第一方面提供的用于分割图像的方法。[0022] 本公开提供的用于分割图像的方法、装置，获取初始图像，并根据预设条件获取初始图像中的子图像，之后基于初始图像，确定第一粒度特征图像，基于子图像，确定第二粒度特征图像，并根据第一粒度特征图像以及第二粒度特征图像，确定跨粒度特征图像，根据跨粒度特征图像，确定子图像中的目标元素，可以提高确定图像中目标元素的准确性。[0023] 根据本申请的技术解决了对图像分别进行粗粒度分割以及细粒度分割，存在的分割结果不准确的问题。[0024] 应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。附图说明[0025] 附图用于更好地理解本方案，不构成对本申请的限定。其中：[0026] 图1是本申请的实施例可以应用于其中的示例性系统架构图；[0027] 图2是根据本申请的用于分割图像的方法的一个实施例的流程图；[0028] 图3是根据本申请的用于分割图像的方法的另一个实施例的流程示意图；[0029] 图4是根据本申请的用于分割图像的装置的一个实施例的结构示意图；[0030] 图5是用来实现本申请实施例的用于分割图像的方法的电子设备的框图。具体实施方式[0031] 以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。[0032] 图1示出了可以应用本申请的用于分割图像的方法或用于分割图像的装置的实施例的示例性系统架构100。[0033] 如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。[0034] 用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种获取图像的客户端应用，例如拍照类应用、视频类应用，成像类应用等。[0035] 终端设备101、102、103可以是具有显示屏并且支持接收推送服务的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(MovingPictureExpertsGroupAudioLayerIII，动态影像专家压缩标准音频层面3)、MP4(MovingPictureExpertsGroupAudioLayerIV，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机、成像设备等等。[0036] 终端设备101、102、103可以是硬件，也可以是软件。当终端设备101、102、103为硬件时，可以是各种电子设备，当终端设备101、102、103为软件时，可以安装在上述电子设备中。其可以实现成多个软件或软件模块(例如用来提供分布式服务的多个软件模块)，也可以实现成单个软件或软件模块。在此不做具体限定。[0037] 服务器105可以从终端设备101、102、103获取原始图像，并根据预设条件获取原始图像中的子图像，然后基于卷积神经网络中的第一子网对原始图像进行特征提取，获得第一粒度特征图像，基于该卷积神经网络中的第二子网对基于原始图像获得的子图像进行特征提取，获得第二粒度特征图像，之后根据第一粒度特征图像以及第二粒度特征图像确定跨粒度特征图像，并基于该跨粒度特征图像，利用该卷积神经网络确定子图像中的目标元素，并将目标元素发送至终端设备101、102、103使其呈现/加强显示目标元素。[0038] 需要说明的是，本公开的实施例所提供用于分割图像的方法一般由服务器105执行，相应地，用于分割图像的装置一般设置于服务器105中。[0039] 应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。[0040] 继续参考图2，示出了根据本公开的用于分割图像的方法的一个实施例的流程200。用于分割图像的方法，包括以下步骤：[0041] 步骤201，获取初始图像，并根据预设条件获取初始图像中的子图像。[0042] 在本实施例中，用于分割图像的方法的执行主体(例如图1所示的服务器)可以通过有线或者无线的方式获取初始图像，并根据预设条件获取初始图像中的子图像，通常情况下，子图像为包含初始图像中部分图像元素的图像。子图像也可以包含初始图像中的全部图像元素。[0043] 在本实施例中，预设条件可以是获取预设区域的子图像，例如，以初始图像的中心点位置或者左上角顶点位置为基准，获取边长为1厘米矩形框内的图像作为初始图像的子图像；预设条件可以是获取包含预设形状的元素的子图像，例如，预设形状为圆形，则获取初始图像中类似圆形的图像元素的区域的图像作为初始图像的子图像，预设形状也可以是根据用户输入的词汇确定的该词汇所指示的实体的形状；预设条件还可以是利用图像预识别系统对初始图像进行识别的识别结果，例如，利用预先训练好的可以识别指定对象的图像识别模型识别出指定对象在初始图像中的区域，截取该区域的图像作为初始图像的子图像。[0044] 步骤202，基于初始图像，确定第一粒度特征图像。[0045] 在本实施例中，可以基于初始图像，利用图像特征提取方法(例如，图像纹理提取方法、图像灰度特征提取方法、神经网络等方法)，提取出初始图像的特征图像，并将初始图像的特征图像确定为第一粒度特征图像。[0046] 步骤203，基于子图像，确定第二粒度特征图像。[0047] 在本实施例中，可以基于自初始图像截取的子图像，利用图像特征提取方法(例如，图像纹理提取方法、图像灰度特征提取方法、神经网络等方法)，提取出子图像的特征图像，并将子图像的特征图像确定为第二粒度特征图像。[0048] 步骤204，根据第一粒度特征图像以及第二粒度特征图像，确定跨粒度特征图像。[0049] 在本实施例中，可以根据第一粒度特征图像以及第二粒度特征图像这两个粒度的特征图像，确定融合了两个粒度的特征图像的特征的跨粒度特征图像。例如，可以将第一粒度特征图像以及第二粒度特征图像转化为像素值矩阵，将第一粒度特征图像的像素值矩阵与第二粒度特征图像的像素值矩阵进行如矩阵加法、矩阵乘法等矩阵运算，将对两个矩阵进行运算得到的结果矩阵转化为特征图像，该特征图像即为跨粒度特征图像。[0050] 步骤205，根据跨粒度特征图像，确定子图像中的目标元素。[0051] 在本实施例中，可以根据跨粒度特征图像确定出与根据预设条件获取初始图像中的子图像对应的目标元素。例如，若根据预设条件获取初始图像中的子图像为：获取包含圆形的元素的子图像，则根据基于该子图像生成的跨粒度特征图像所确定的子图像中的目标元素为类似圆形的图形。又如，若根据预设条件获取初始图像中的子图像为：利用预先训练好的可以识别指定对象的图像识别模型识别出指定对象在初始图像中的区域，截取该区域的图像作为初始图像的子图像，则根据基于该子图像生成的跨粒度特征图像所确定的子图像中的目标元素为该指定对象的图形。[0052] 本实施例提供的用于分割图像的方法，获取初始图像，并根据预设条件获取初始图像中的子图像，之后基于初始图像，确定第一粒度特征图像，基于子图像，确定第二粒度特征图像，并根据第一粒度特征图像以及第二粒度特征图像，确定跨粒度特征图像，根据跨粒度特征图像，确定子图像中的目标元素，可以提高分割/确定图像中目标元素的准确性。[0053] 可选地，根据第一粒度特征图像以及第二粒度特征图像，确定跨粒度特征图像，包括：对第一粒度特征图像进行下采样操作，获得第一粒度特征图像的下采样图像；对第二粒度特征图像进行下采样操作，获得第二粒度特征图像的下采样图像；将第一粒度特征图像的下采样图像与第二粒度特征图像的乘积，与第二粒度特征图像的下采样图像与第一粒度特征图像的乘积之和，确定为跨粒度特征图像。[0054] 在本实施例中，可以首先对第一粒度特征图像以及第二粒度特征图像执行一次或者多次下采样操作，然后将对第一粒度特征图像执行下采样操作获得的结果与第二粒度特征图像相乘并获得第一乘积，将对第二粒度特征图像执行下采样操作获得的结果与第一粒度特征图像相乘并获得第二乘积，将第一乘积与第二乘积的和确定为跨粒度特征图像。可以理解，本实施例中对特征图像的相乘或者相加等操作指的是对组成特征图像的像素值矩阵之间的相乘或相加等运算。[0055] 本实施例在确定跨粒度特征图像时，同时参考了第一粒度特征图像贡献的图像特征以及第二粒度特征图像贡献的图像特征，使确定的跨粒度特征图像融合了两个粒度维度的图像特征，可以提高确定跨粒度特征图像的准确性。[0056] 可选地，根据第一粒度特征图像以及第二粒度特征图像，确定跨粒度特征图像，包括：在第一粒度特征图像中，确定与第二粒度特征图像的特征对齐的对齐特征；确定对齐特征在第一粒度特征图像中的对齐区域；根据对齐区域的图像以及第二粒度特征图像，确定跨粒度特征图像。[0057] 在本实施例中，在根据第一粒度特征图像以及第二粒度特征图像，确定跨粒度特征图像之前，可以对第一粒度特征图像执行将其与第二粒度特征图像进行对齐的操作。具体地，可以基于图像识别方法或者像素值矩阵遍历对比等特征识别的方法，在第一粒度特征图像中确定出包含第二粒度特征图像的特征的对齐特征，并确定该对齐特征在其所属的第一粒度特征图像的区域，将第一粒度特征图像中该区域的图像确定为第一粒度特征图像中的与第二粒度特征图像对齐的特征图像。对第一粒度特征图像执行对齐操作后，根据该第一粒度特征图像中的与第二粒度特征图像对齐的特征图像、以及第二粒度特征图像确定跨粒度特征图像。本实施例中，根据与第二粒度特征图像对齐后的第一粒度特征图像、以及第二粒度特征图像确定跨粒度特征图像，可以避免引入第一粒度特征图像中无关特征的干扰，减少引入误差，提高确定跨粒度特征图像的准确性。[0058] 可选地，用于分割图像的方法包括多个特征提取层，根据跨粒度特征图像，确定子图像中的目标元素，包括：根据基于浅层特征提取层确定的跨粒度特征图像，以及基于深层特征提取层确定的第二粒度特征图像，确定子图像中的目标元素。[0059] 在本实施例中，可以对初始图像和/或子图像进行多次特征提取以确定多层级的第一粒度特征图像和/或第二粒度特征图像，例如，根据第一特征提取层提取初始图像的特征，并获得基于第一特征提取层确定的第一粒度特征图像，根据第二特征提取层提取基于第一特征提取层确定的第一粒度特征图像的特征，并获得基于第二特征提取层确定的第一粒度特征图像等。可以理解，第一特征提取层相对于第二特征提取层为浅层特征提取层，第二特征提取层相对于第一特征提取层为深层特征提取层，浅层特征提取层相对于深层特征提取层包含更丰富/更细节的图像特征。[0060] 在本实施例中，用于提取多个第一粒度特征图像的多层特征提取网络与用于提取多个第二粒度特征图像的多层特征提取网络可以具有相同的特征提取层数/层级，可以根据由用于提取第一粒度特征图像的浅层特征提取层确定的第一粒度特征图像、与由用于提取第二粒度特征图像的同一层级浅层特征提取层确定的第二粒度特征图像所确定的跨粒度特征图像，以及由用于提取第二粒度特征图像的深层特征提取层确定的第二粒度特征图像，确定子图像中的目标元素。[0061] 本实施例中，基于浅层特征提取网络提取出的图像特征以及深层特征提取网络提取出的图像特征，确定目标元素，可以在特征提取层加深的同时保留图像的在浅层特征提取层具有的细节特征，可以提高确定目标元素的准确性。[0062] 进一步参考图3，示出了根据本公开的用于分割图像的方法的另一个实施例的流程300。用于分割图像的方法，包括以下步骤：[0063] 步骤301，获取初始图像，并根据预设条件获取初始图像中的子图像。[0064] 本实施例中对步骤301的描述与步骤201的描述一致，此处不再赘述。[0065] 步骤302，利用第一卷积神经网络，提取初始图像的特征图像，将初始图像的特征图像确定为第一粒度特征图像。[0066] 在本实施例中，可以利用第一卷积神经网络提取初始图像的特征图像，并将提取出的特征图像确定为第一粒度特征图像。[0067] 步骤303，利用第二卷积神经网络，提取子图像的特征图像，将子图像的特征图像确定为第二粒度特征图像。[0068] 在本实施例中，可以利用第二卷积神经网络提取子图像的特征图像，并将提取出的特征图像确定为第二粒度特征图像。需要说明的是，第一卷积神经网络与第二卷积神经网络可以是同一卷积神经网络中的两个子网络，也可以是两个不同的卷积神经网络。[0069] 步骤304，根据第一粒度特征图像以及第二粒度特征图像，确定跨粒度特征图像。[0070] 在本实施例中，可以根据第一粒度特征图像以及第二粒度特征图像，利用卷积神经网络确定跨粒度特征图像，并且在卷积神经网络中可以引入注意力模型，使卷积神经网络在根据第一粒度特征图像以及第二粒度特征图像生成跨粒度特征图像的过程中增加对某一个粒度的特征图像的参考权重，或者增加对某一预设特征的参考权重等。[0071] 步骤305，根据跨粒度特征图像，确定子图像中的目标元素。[0072] 在本实施例中，可以根据跨粒度特征图像，利用卷积神经网络确定出子图像中的目标元素。另外，可以引入反馈机制，将确定出的子图像中的目标元素反馈至用于确定第一粒度特征图像的第一卷积神经网络，使第一卷积神经网络学习分割误差，以进行网络优化。[0073] 本实施例提供的用于分割图像的方法，利用卷积神经网络对初始图像以及由初始图像截取的子图像进行处理以获得分割后的图像，可以使用于确定第一粒度特征图像的卷积神经网络感知分割误差，为用于确定第二粒度特征图像的卷积神经网络生成更有利于分割的区域的特征图像，以及可以使用于确定第二粒度特征图像的卷积神经网络从用于确定第一粒度特征图像的卷积神经网络提取的特征图像中学习目标元素的上下文特征/环境特征，可以提高图像分割的准确性。[0074] 可选地，第一卷积神经网络包括目标卷积神经网络中的第一子网，第二卷积神经网络包括目标卷积神经网络中的第二子网；根据第一粒度特征图像以及第二粒度特征图像，确定跨粒度特征图像，包括：根据第一子网的目标层级输出的第一粒度特征图像以及第二子网的目标层级输出的第二粒度特征图像，确定目标层级的跨粒度特征图像。[0075] 在本实施例中，第一卷积神经网络可以是用于分割图像的卷积神经网络中的第一子网，第二卷积神经网络可以是该用于分割图像的卷积神经网络中的第二子网，第一子网以及第二子网中可以包含多个卷积层/特征提取层，可以根据第一子网中的目标层级的卷积层输出的第一粒度特征图像以及第二子网中的同级卷积层输出的第二粒度特征图像确定卷积神经网络中该目标层级的跨粒度特征图像。需要说明的是，目标卷积神经网络可以是任意用于分割图像的卷积神经网络，目标层级可以是目标卷积神经网络中的任意层级。本实施例采用神经网络中的多个特征提取层对初始图像以及子图像进行特征提取，可以提高图像分割的准确性。[0076] 在上述结合图2和图3描述的实施例的一些可选的实现方式中，用于分割图像的方法还包括：融合第一粒度特征图像以及第二粒度特征图像，生成分割后的图像。[0077] 在本实施例中，可以根据第一粒度特征图像并利用卷积神经网络生成第一粒度图像，以及根据第二粒度特征图像并利用卷积神经网络生成第二粒度图像，之后，可以利用特征融合或者特征叠加等图像融合方法融合第一粒度图像以及第二粒度图像以生成分割后的图像，其中，第一粒度图像用于提供目标元素的环境元素/上下文元素/背景元素，第二粒度图像用于提供符合分割图像的目标/预期的目标元素。本实施例根据第一粒度图像以及第二粒度图像生成分割后的图像可以使分割后的图像突出显示目标元素的同时保留目标元素的背景元素。[0078] 在一些应用场景中，可以首先获取初始图像，并根据预设条件获取初始图像中的子图像。[0079] 然后，将初始图像输入卷积神经网络的第一子网，利用卷积神经网络的第一子网中的编码器提取初始图像的第一粒度特征图像，以及将子图像输入卷积神经网络的第二子网，利用卷积神经网络的第二子网中的编码器提取子图像的第二粒度特征图像；利用卷积神经网络中第一子网与第二子网之间的通信子网，将第一粒度特征图像经过卷积层的下采样处理后与第二粒度特征图像相乘，以及将第二粒度特征图像经过卷积层的下采样处理后与第一粒度特征图像相乘，并且对上述两次乘积结果求和，以获得跨粒度特征图像。[0080] 具体地，第一子网中可以包括一个或多个编码器，每个编码器可以由多个卷积层以及池化层组成，例如，第一子网中可以包括一个编码器，该编码器可以由三个连续的下采样模块组成，每个下采样模块可以由两个卷积层以及一个池化层(最大池化层、或平均池化层等)组成。第二子网中可以包括一个或多个编码器，每个编码器可以由多个卷积层以及池化层组成，[0081] 例如，第二子网中可以包括一个编码器，该编码器由三个连续的下采样模块组成，每个下采样模块可以由两个卷积层以及一个池化层(最大池化层、或平均池化层等)组成。当第一子网以及第二子网的编码器包括多个下采样模块时，可以利用第一子网中的第一个下采样模块提取的初始图像的第一粒度特征图像；利用第二子网中的第一个下采样模块(第二子网中的与第一子网中第一个下采样模块的同级下采样模块)提取子图像中的第二粒度特征图像；并利用通信子网，基于第一子网与第二子网中同级下采样模块输出的第一粒度特征图像与第二粒度特征图像生成第一级跨粒度特征图像。将第一级跨粒度特征图像作为第二子网中第二个下采样模块(第一个下采样模块的下一级下采样模块)的输入图像；或者，可以利用第一子网中第一个下采样模块中的两个卷积层提取的初始图像的第一粒度特征图像，与第二子网中第一个下采样模块中的两个卷积层提取的子图像的第二粒度特征图像生成跨粒度特征图像，并将该跨粒度特征图像作为第二子网中的第一个下采样模块的池化层的输入。本示例中，可以基于残差网络结构，将第一级跨粒度特征图像作为第二子网的深层网络结构中解码器的输入图像。[0082] 之后，利用卷积神经网络的第一子网中的解码器，根据第一粒度特征图像生成第一粒度图像，以及利用该卷积神经网络的第二子网中的解码器，根据第二粒度特征图像生成第二粒度图像。[0083] 具体地，第一子网中可以包括一个或多个解码器，每个解码器可以由多个反卷积层以及卷积层构成的多个上采样模块组成，例如，第一子网中可以包括一个解码器，该解码器由三个连续的上采样模块组成，每个上采样模块可以由一个反卷积层以及两个卷积层组成。当第一子网以及第二子网的解码器包括多个上采样模块时，第一子网的深层上采样模块在基于下采样模块提取的特征图像生成第一粒度图像时，可以将浅层下采样模块提取的特征图像作为参考，以及第二子网的深层上采样模块在基于下采样模块提取的特征图像生成第二粒度图像时，可以将浅层级神经网络生成的跨粒度特征图像作为参考，以避免由于神经网络的网络深度的增加带来的梯度消失问题。[0084] 最后，可以根据第一子网生成的第一粒度图像以及第二子网生成的第二粒度图像生成最终的分割后的图像。由于第一子网与第二子网之间存在跨粒度的信息通信机制，可以促进第一子网与第二子网同时进化。[0085] 进一步参考图4，作为对上述各图所示方法的实现，本公开提供了一种用于分割图像的装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。[0086] 如图4所示，本实施例的用于分割图像的装置400包括：获取单元401、第一确定单元402、第二确定单元403、第三确定单元404、目标元素确定单元405。其中，获取单元401，被配置为获取初始图像，并根据预设条件获取初始图像中的子图像；第一确定单元402，被配置为基于初始图像，确定第一粒度特征图像；第二确定单元403，被配置为基于子图像，确定第二粒度特征图像；第三确定单元404，被配置为根据第一粒度特征图像以及第二粒度特征图像，确定跨粒度特征图像；目标元素确定单元405，被配置为根据跨粒度特征图像，确定子图像中的目标元素。[0087] 在一些实施例中，第一确定单元，包括：第一卷积模块，被配置为利用第一卷积神经网络，提取初始图像的特征图像，将初始图像的特征图像确定为第一粒度特征图像；以及第二确定单元，包括：第二卷积模块，被配置为利用第二卷积神经网络，提取子图像的特征图像，将子图像的特征图像确定为第二粒度特征图像。[0088] 在一些实施例中，第一卷积神经网络包括目标卷积神经网络中的第一子网，第二卷积神经网络包括目标卷积神经网络中的第二子网；第三确定单元，包括：同级特征融合模块，被配置为根据第一子网输出的目标层级的第一粒度特征图像以及第二子网输出的目标层级的第二粒度特征图像，确定目标层级的跨粒度特征图像。[0089] 在一些实施例中，第三确定单元，包括：第一下采样模块，被配置为对第一粒度特征图像进行下采样操作，获得第一粒度特征图像的下采样图像；第二下采样模块，被配置为对第二粒度特征图像进行下采样操作，获得第二粒度特征图像的下采样图像；特征融合模块，被配置为将第一粒度特征图像的下采样图像与第二粒度特征图像的乘积，与第二粒度特征图像的下采样图像与第一粒度特征图像的乘积之和，确定为跨粒度特征图像。[0090] 在一些实施例中，第三确定单元，包括：特征对齐模块，被配置为在第一粒度特征图像中，确定与第二粒度特征图像的特征对齐的对齐特征；区域对齐模块，被配置为确定对齐特征在第一粒度特征图像中的对齐区域；确定模块，被配置为根据对齐区域的图像以及第二粒度特征图像，确定跨粒度特征图像。[0091] 在一些实施例中，装置包括多个特征提取层，目标元素确定单元，包括：目标元素确定模块，被配置为根据基于浅层特征提取层确定的跨粒度特征图像，以及基于深层特征提取层确定的第二粒度特征图像，确定子图像中的目标元素。[0092] 在一些实施例中，用于分割图像的装置还包括：融合模块，被配置为融合第一粒度特征图像以及第二粒度特征图像，生成分割后的图像。[0093] 在一些实施例中，初始图像包括医学影像，目标元素确定单元，包括：生物组织成像模块，被配置为根据跨粒度特征图像，确定并呈现子图像中的目标生物组织对象。[0094] 在本实施例中，初始图像可以是如医学超声波影像或CT影像(ComputedTomography，电子计算机断层扫描)等医学影像，用于分割图像的装置可以是用于分割医学影像中如胰腺、肝脏等目标生物组织的医疗设备，目标元素确定单元还包括生物组织成像模块，该模块被配置为根据跨粒度特征图像，确定目标生物组织对象，并将目标生物组织对象呈现/加强显示在生物组织成像模块中。[0095] 上述装置400中的各单元与参考图2描述的方法中的步骤相对应。由此上文针对用于分割图像的方法描述的操作、特征及所能达到的技术效果同样适用于装置400及其中包含的单元，在此不再赘述。[0096] 根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。[0097] 如图5所示，是根据本申请实施例的用于分割图像的方法的电子设备500的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。[0098] 如图5所示，该电子设备包括：一个或多个处理器501、存储器502，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图5中以一个处理器501为例。[0099] 存储器502即为本申请所提供的非瞬时计算机可读存储介质。其中，该存储器存储有可由至少一个处理器执行的指令，以使该至少一个处理器执行本申请所提供的用于分割图像的方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的用于分割图像的方法。[0100] 存储器502作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的用于分割图像的方法对应的程序指令/模块(例如，附图4所示的获取单元401、第一确定单元402、第二确定单元403、第三确定单元404、目标元素确定单元405)。处理器501通过运行存储在存储器502中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的用于分割图像的方法。[0101] 存储器502可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据用于分割图像的电子设备的使用所创建的数据等。此外，存储器502可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器502可选包括相对于处理器501远程设置的存储器，这些远程存储器可以通过网络连接至用于分割图像的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。[0102] 用于分割图像的方法的电子设备还可以包括：输入装置503、输出装置504以及总线505。处理器501、存储器502、输入装置503和输出装置504可以通过总线505或者其他方式连接，图5中以通过总线505连接为例。[0103] 输入装置503可接收输入的数字或字符信息，以及产生与用于分割图像的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置504可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。[0104] 此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。[0105] 这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。[0106] 为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。[0107] 可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。[0108] 计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端‑服务器关系的计算机程序来产生客户端和服务器的关系。[0109] 应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。[0110] 上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

专利地区：北京

专利申请日期：2020-11-09

专利公开日期：2024-06-18

专利公告号：CN113763310B