基于双解码器与局部特征增强网络的血管旁异常分割方法

专利名称：基于双解码器与局部特征增强网络的血管旁异常分割方法

专利类型：发明专利

专利申请号：CN202410588025.1

专利申请（专利权）人：苏州大学
权利人地址：江苏省苏州市吴江区久泳西路1号

专利发明（设计）人：朱伟芳,范译,樊莹,陈新建,彭涛

专利摘要：本发明涉及图像处理技术领域，尤其涉及基于双解码器与局部特征增强网络的血管旁异常分割方法，包括特征编码模块、局部特征增强模块和双解码器结构；利用特征编码模块提取输入视网膜光学相干断层扫描图像的深层语义特征；利用局部特征增强模块将深层语义特征分成多个patch块，计算每个patch块的像素表示和交互注意力表示，生成局部特征增强的深层语义特征；利用双解码器结构将局部特征增强的深层语义特征在边缘分割解码器支路提取边缘特征，上采样得到血管旁异常边缘分割预测图像，在主分割解码器支路中将边缘特征与局部特征增强的深层语义特征融合上采样，得到血管旁异常分割预测图像；利用联合分割损失函数在训练过程中优化分割网络。

主权利要求：
1.基于双解码器与局部特征增强网络的血管旁异常分割方法，其特征在于：包括，将待检测视网膜光学相干断层扫描OCT图像输入预先训练好的双解码器与局部特征增强网络中；
利用特征编码模块对待检测OCT图像进行特征提取，得到深层语义特征；
利用局部特征增强LFE模块将深层语义特征分成多个patch块，分别计算patch块的像素表示和交互注意力表示，合并生成局部特征增强的深层语义特征；
利用双解码器结构将局部特征增强的深层语义特征在边缘分割解码器支路提取边缘特征，并逐层上采样得到血管旁异常目标边缘分割预测图像，在主分割解码器支路中将边缘特征与局部特征增强的深层语义特征进行融合上采样，得到血管旁异常目标分割预测图像；
在双解码器与局部特征增强网络的训练过程中，利用联合分割损失函数在网络训练过程中优化分割网络，加快网络收敛速度；
所述双解码器结构包括主分割解码器支路和边缘分割解码器支路的输入均来自编码器特征经过局部特征增强LFE模块的深层语义特征，其中，边缘分割解码器的输入特征先进行边缘特征提取操作得到Fedge,i，i＝1,2,3,4，边缘特征提取操作表示为经编码器和局部特征增强LFE模块得到的深层语义特征为fi∈{f1,f2,f3,f4}，fi减去对fi进行平均池化的结果avg(fi)，得到输入的边缘特征：其中， 表示1×1卷积，avg为平均池化操作，Fedge,i表示从不同分辨率分支提取到的边缘特征；
在主分割解码器的特征融合中，引入像素级加法与乘法，将边缘特征Fedge,i，经层级上采样获得的边缘分割解码器层级特征Flayer2,m，m＝1,2,3与深层语义特征fm，m＝1,2,3融合，得到融合特征Ffuse,m，m＝1,2,3，公式表示为：其中，表示像素级乘法，表示像素级加法；
所有的解码器模块采用转置卷积代替原始HRNet中的双线性插值进行上采样，对于输入到层级的不同分辨率的特征x1与x2，层级的具体操作表示为：Flayerl,m＝conv(conv(cat(conT(x1),x2)))l＝1,2；m＝1,2,3
其中，conT(·)表示转置卷积，cat(·)表示拼接操作，conv(·)表示3×3卷积层，l＝1和l＝2分别表示主分割解码器支路和边缘分割解码器支路。
2.如权利要求1所述的基于双解码器与局部特征增强网络的血管旁异常分割方法，其特征在于：所述特征编码模块采用了基于ImageNet预训练的HRNet作为骨干网络，去除stem层中的第二个卷积层，HRNet从一个高分辨率特征开始，将低分辨率特征与高分辨率特征进行融合，特征编码模块由4个阶段组成，第n个阶段包含对于n个不同分辨率的n个卷积流n＝
1,2,3,4，通过在并行卷积流之间多次交换信息来实现不同分辨率的特征融合。
3.如权利要求2所述的基于双解码器与局部特征增强网络的血管旁异常分割方法，其
3×H×W
特征在于：所述特征编码模块由4个阶段组成包括，阶段1为输入视网膜OCT图像F∈R ，其中R表示实数域，H和W分别表示视网膜OCT图像的高度和宽度，经过一个卷积层，将输入特征的分辨率下采样至原来的1/2，得到特征 C为特征F1的预设通道数，取值为
64；卷积层包含一个卷积核大小为3×3、步长为2的卷积，批量归一化BN和激活函数ReLU，将下采样后的特征F1作为阶段1的输入，经过一个堆叠层得到阶段1的输出特征C0为特征F2的预设通道数，取值为256；堆叠层包含4个级联的、具有残差结构的Bottleneck，每个Bottleneck中包含三个卷积以及激活函数ReLU，以调整通道数量；
在阶段2中，将阶段1的输出特征 通过一个卷积核大小为3×3、步长为1的卷积层，得到特征 将特征 通过一个卷积核大小为3×3、步长为2的卷积层，得到分辨率下采样至原始1/4特征 C1和C2分别为F3和F4的预设通道数，取值分别为18和36，将特征 和 分别通过4个级联的、具有残差结构的BasicBlock，每个BasicBlock包含两个卷积核大小为3×3的卷积以及激活函数ReLU，对多尺度特征进行融合，每个尺度分支上的输出都是由所有分支上的输出融合得到：对于下采样至1/2的分支，将特征 经过BasicBlock再上采样2倍的输出与特征 经过BasicBlock的输出相加，得到了分辨率下采样至1/2的分支在阶段2的输出特征 下采样至1/4的分支，将特征 经过BasicBlock的输出与特征 经过BasicBlock再下采样至1/2的输出相加，得到分支在阶段2的输出特征
在阶段3和阶段4中，将阶段2的分支输出特征 经卷积层得到分辨率下采样至1/8的特征 与 作为阶段3的输入，经过
级联 的Ba si cB lo ck以 及 多尺度 特征 融合 ，得 到阶段 3的 输出将阶段3的分支输出特征 再
经过卷积层得到分辨率下采样至1/16的特征 与
作为阶段4的输入，经过级联的BasicBlock以及多尺度特征融合，得到特征 编码模块的最终 输出特征 为
和
4.如权利要求3所述的基于双解码器与局部特征增强网络的血管旁异常分割方法，其特征在于：所述局部特征增强LFE模块包括在特征编码器的末端，每一条分支都设计、嵌入了局部特征增强LFE模块，局部特征增强LFE模块将深层语义特征分成大小相同的k×k个patch块，对每个patch块分别进行像素表示和交互注意力表示，再合并成最终的增强特征；
c×h×w
所述像素表示包括，对于给定的特征X∈R ，其中，c、h和w分别表示特征X的通道数、高度和宽度，经过一个3×3卷积、归一化、ReLU激活操作后得到像素特征 其c×h×w
中，c0为X0的预设通道数，取值为512，将特征X∈R 与像素特征 分别重塑c×hw c×hw
成二维X'∈R 、 X'∈R 中每一列表示每个像素点位置上所有通道的值，c×hw
中每一行表示每个像素点位置上所有通道的值，将特征X'∈R 的每行乘以像素特征 的每列，得到像素表示 表示为：
其中，reshape表示将特征图重塑成二维。
5.如权利要求4所述的基于双解码器与局部特征增强网络的血管旁异常分割方法，其特征在于：所述交互注意力表示通过计算像素特征 与像素表示之间的相似矩阵，根据相似矩阵对像素表示进行加权求和，得到最终的交互注意力表示，像素特征 经3×3卷积、归一化、ReLU激活操作后，再将重塑成大小为hw×c1的二维特征 对像素表示 进行3×3卷积、归一化、ReLU激活和重塑操作后得大小为c1×c的二维特征 对Xpixl经3×3卷积、归一化、ReLU激活操作后得到大小为c×c1的特征 按照如下计算过程对二维特征计算得到注意力表示
其中，c1为Xatt的预设通道数，取值为256；softmax(·)是一种常用的分类函数，T表示对Xk的矩阵转置运算；
经卷积操作后与像素特征 拼接，经卷积和随机失活
dropout操作后，得到交互注意力表示 交互注意力表示 经1c×h×w
×1卷积后得到最终的增强patch块Xpcr∈R ，将增强后的patch块合并成原特征大小，得到经局部特征增强的深层语义特征。
6.如权利要求5所述的基于双解码器与局部特征增强网络的血管旁异常分割方法，其特征在于：所述损失函数表示为在网络训练过程中，对于主分割解码器分支，采用交叉熵损失LCE和Dice损失LDice进行监督，对于边缘分割解码器分支，采用边界损失LBoundary进行监督，网络整体的联合分割损失表示为：Lseg＝LDice+LCE+αLBoundary
其中，α表示边界损失LBoundary与Dice损失LDice、交叉熵损失LCE的权衡系数，取值为0.5；
交叉熵损失LCE表示为：
其中，N表示特征图的像素总数，i表示第i个像素，i＝1,2,3,…,N，K表示分割目标的类别数，yi,k表示第i个像素在第k个类别处的标签，k＝1,2,……,K，通常每个像素只有属于K中的一个类别，pi,k∈[0,1]表示模型对像素i属于类别k的预测概率，采用softmax函数对网络最后的输出进行处理，使所有类别的预测概率和为1。
7.如权利要求6所述的基于双解码器与局部特征增强网络的血管旁异常分割方法，其特征在于：所述Dice损失LDice分别计算每个类别目标和金标准的重合度，求类别平均，计算方法表示为：其中，ε为一个平滑因子，防止分子或分母为零，取值为1e‑6；
对于边界损失LBoundary，需要提取病灶的边界，对分割金标准ygt和网络预测结果ypd分别采用逐像素的最大池化操作提取病灶边界，得到金标准的边界 和网络预测结果的边界分别表示为：其中，pool(·,·)表示对预测和金标准进行大小为θ0的滑动窗口的最大池化操作，θ0取值为3；
为了计算像素到边界的欧式距离，对金标准和网络预测结果的边界分别进行逐像素的最大池化操作，将两者的边界进行扩展，分别表示为：其中，θ为不大于金标准相邻段之间的最小距离， 表示金标准边界扩展后的结果，表示网络预测边界扩展后的结果；
然后分别计算准确率与召回率，公式表示为：
c
其中，sum表示逐像素求和；P表示网络预测边界上预测正确的像素数占所有预测边界c像素数的比例，即准确率；R 表示为网络预测边界预测正确的像素数占金标准边界像素数的比例，即召回率；
采用公式构造边界损失函数LBoundary：
c c
其中， 表示准确率与召回率的调和平均，P表示准确率，R表示召回率。
8.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。 说明书 : 基于双解码器与局部特征增强网络的血管旁异常分割方法技术领域[0001] 本发明涉及图像处理技术领域，尤其涉及基于双解码器与局部特征增强网络的血管旁异常分割方法。背景技术[0002] 图像分割是把图像分解成若干具有相同或相似性质的子区域，是图像语义理解的重要组成部分。传统的图像分割算法包括基于阈值的分割方法，基于区域的分割方法如种子区域生长法、分水岭法等，基于图论的分割方法如GraphCut、GrabCut和RandomWalk等，基于小波分析和小波变换的图像分割算法等。随着深度学习技术的兴起和卷积神经网络的成功应用，图像分割领域迎来了革命性变革。2014年提出的全卷积网络（FullyConvolutionalNetworks,FCN）是首个端对端的针对像素级预测的全卷积网络，自从该网络提出后，就成为语义分割的基本框架，后续算法基本都是在该网络框架中改进而来。2015年，最具有代表性的算法之一UNet问世，被广泛应用于医学图像分割、自然图像分割等任务中，它的特点是使用了编码器和解码器结构，利用了跳跃连接将编码器的某些层于解码器中对应的层连接起来。高分辨网络HRNet通过并行连接从高分辨率到低分辨率的卷积来保持高分辨率表示，在人体姿态估计、语义分割和目标检测等广泛应用中取得了优势，表明HRNet是解决计算机视觉问题的强大支柱。[0003] 医学图像分割通过对不同的医学影像进行图像分割，如在结肠镜图像中分割结肠息肉、在视网膜光学相干断层扫描（OpticalCoherenceTomography,OCT）图像中分割视网膜劈裂、在CT图像中分割脏器等，可以辅助医生进行疾病诊断，甚至定位到病灶并给出诊断结果，是医学图像分析的一个重要步骤。但是，医学图像普遍存在对比度低、背景噪声大等特点，且病变的种类多、数量不均衡，医学图像分割仍然存在很大的挑战性。[0004] 全卷积神经网络FCN采用端对端的像素级预测，成为语义分割的基本框架。UNet使用编码器‑解码器结构和跳跃连接，被广泛应用于医学图像分割。HRNet通过并行连接从高分辨率到低分辨率的卷积来保持高分辨率表示，在多个领域中取得了优势。U‑HRNet去除了HRNet最后两个阶段的高分辨率分支，在语义表示最强的特征图之后添加了更多的阶段，放松了HRNet中的约束，从而使得网络在低分辨率阶段分配了更多的计算资源，大大改善了整体语义表示。AGPCNet提出了上下文金字塔模块，将多尺度的注意力引导上下文特征与原始特征映射融合在一起，在小目标分割领域取得了良好的成绩。非局部（Non‑local）注意力机制可以实现像素位置之间的长距离依赖性，获得全局感受野。DNANet采用了密集嵌套交互模块，形成密集嵌套的结构以获得高层次的信息以及更大的感受野；wNet增加了一个扩展路径，通过双监督实现更精确的分割性能。[0005] 在医学图像分割任务中，深层语义信息的保留与应用对于以UNet为代表的编码器‑解码器结构的网络来说至关重要。虽然UNet及基于其改进的分割网络在许多医学图像分割人中获得了良好的分割效果，但是对于多类小目标的联合分割任务，其仍存在以下不足：[0006] （1）单一的编码器‑解码器结构难以有效分割形态特征复杂且边界模糊的小目标。比如，在高度近视视网膜OCT图像中，血管旁异常中的血管旁囊腔为形态多变、边界模糊的小目标，且与部分面积较小的血管旁内层劈裂的病理特征相似性大，给卷积神经网络的学习增加了干扰，导致对它们联合分割的难度较大。针对小目标分割方面的改进工作主要有：注意力机制和辅助监督。DNANet提出了密集嵌套交互模块，将多个U型网络堆叠在一起，形成密集嵌套的结构，在编码器和解码器子网络之间的路径上加了多个节点，节点彼此紧密相连，形成一个嵌套状的网络；同时，该网络提出了通道注意力机制和空间注意力机制相结合的即插即用通道与空间注意力模块(ChannelandSpatialAttentionModule,CSAM)。但是，堆叠的网络结构计算成本极高，且较深的网络容易使得小目标信息的丢失，CSAM模块对所有像素一视同仁，对于多类联合分割任务不具备鲁棒性。wNet增加了一个扩展路径，通过双监督实现更加精确的分割性能，扩展路径的分割过程可视为粗分割，将粗分割结果再送到原分割路径进一步细化。但是，这种方法仅是添加了一路分支，两个分支在结构上并没有很大差异，对多类联合分割任务不具有适用性。[0007] （2）浅层语义特征中背景复杂、噪声较多，简单地将深层语义特征与浅层语义特征融合，无法充分运用深层语义特征的语义信息。U‑HRNet为网络的低分辨率阶段分配了更多计算资源，可以改善整体语义表示，但是没有抑制低层级特征图中无关噪声的影响，因此无法直接有效应用于小目标分割任务。发明内容[0008] 鉴于上述现有技术中存在的问题，提出了本发明。[0009] 因此，本发明提供了基于双解码器与局部特征增强网络的血管旁异常分割方法，目的在于克服现有高分辨率网络存在的深层语义信息易丢失问题，同时增强卷积神经网络对目标边界信息的关注，首次设计了双解码器网络结构和局部特征增强（LocalFeatureEnhancement,LFE）模块，并将其应用于高分辨率网络，旨在实现一种适用于医学图像小目标分割的深度卷积神经网络，本发明所设计的网络为双解码结构与局部特征增强网络2（Dual‑DecodersandLocalFeatureEnhancementNetwork,DLFENet）。[0010] 本发明提出的双解码结构通过提取边界特征引入边界信息，引导网络更加关注微小病灶的边界，在边界分割解码器支路的信息引导下，主分割解码器支路不断完善边界细节、优化性能。局部特征增强LFE模块通过把深层特征分成相同大小的patch块，将网络的感受野限制在一个局部范围内；并计算每个patch块的像素表示和交互注意力表示，增强像素之间的依赖关系，显著增强目标信息，从而排除patch块内部结构噪声、背景噪声对目标的影响。[0011] 为解决上述技术问题，本发明提供如下技术方案，基于双解码器与局部特征增强网络的血管旁异常分割方法，包括：将待检测视网膜光学相干断层扫描OCT图像输入预先训练好的双解码器和局部特征增强网络中；利用特征编码模块对待检测OCT图像进行特征提取，得到深层语义特征；利用局部特征增强LFE模块将深层语义特征分成多个patch块，分别计算patch块的像素表示和交互注意力表示，合并生成局部特征增强的深层语义特征；利用双解码器结构将局部特征增强的深层语义特征在边缘分割解码器支路提取边缘特征，并逐层上采样得到血管旁异常目标边缘分割预测图像，在主分割解码器支路中将边缘特征与局部特征增强的深层语义特征进行融合上采样，得到血管旁异常目标分割预测图像。[0012] 作为本发明所述的基于双解码器与局部特征增强网络的血管旁异常分割方法的一种优选方案，其中：所述特征编码模块采用了基于ImageNet预训练的HRNet作为骨干网络，去除stem层中的第二个卷积层，HRNet从一个高分辨率特征开始，将低分辨率特征与高分辨率特征进行融合，特征编码模块由4个阶段组成，第n个阶段包含对于n个不同分辨率的n个卷积流n=1,2,3,4，通过在并行卷积流之间多次交换信息来实现不同分辨率的特征融合。[0013] 作为本发明所述的基于双解码器与局部特征增强网络的血管旁异常分割方法的一种优选方案，其中：所述特征编码模块由4个阶段组成包括，阶段1为输入图像，其中，H和W分别表示视网膜OCT图像的高度和宽度，经过一个卷积层，将输入特征的分辨率下采样至原来的1/2，得到特征 ， 为 的预设通道数，取值为64；卷积层包含一个卷积核大小为3×3、步长为2的卷积，批量归一化BN和激活函数ReLU，将下采样后的特征 作为阶段1的输入，经过一个堆叠层得到阶段1的输出特征， 为 的预设通道数，取值为256；堆叠层包含4个级联的、具有残差结构的Bottleneck，每个Bottleneck中包含三个卷积以及激活函数ReLU，以调整通道数量；[0014] 在阶段2中，将阶段1的输出特征 通过一个卷积核大小为3×3、步长为1的卷积层，得到特征 ，将 通过一个卷积核大小为3×3、步长为2的卷积层，得到分辨率下采样至原始1/4特征 ， 和 分别为 和的预设通道数，取值分别为18和36，将特征 和 分别通过4个级联的、具有残差结构的BasicBlock，每个BasicBlock包含两个卷积核大小为3×3的卷积以及激活函数ReLU，对多尺度特征进行融合，每个尺度分支上的输出都是由所有分支上的输出融合得到：对于下采样至1/2的分支，将特征 经过BasicBlock再上采样2倍的输出与特征 经过BasicBlock的输出相加，得到了下采样至1/2的分支在阶段2的输出特征 ；下采样至1/4的分支，将特征 经过BasicBlock的输出与特征 经过BasicBlock再下采样至1/2的输出相加，得到下采样至1/4的分支在阶段2的输出特征 ；[0015] 在阶段3和阶段4中，将阶段2的分支输出特征 经卷积层得到分辨率下采样至1/8的特征 与 、 作为阶段3的输入，经过级联的BasicBlock以及多尺度特征融合，得到阶段3的输出 、、 ，将阶段3的分支输出特征 再经过卷积层得到分辨率下采样至1/16的特征 与 、、 ，作为阶段4的输入，经过级联的BasicBlock以及多尺度特征融合，得到特征编码模块的最终输出特征为 、 、 和。[0016] 作为本发明所述的基于双解码器与局部特征增强网络的血管旁异常分割方法的一种优选方案，其中：所述局部特征增强LFE模块包括，在特征编码器的末端，每一条分支都设计、嵌入了局部特征增强LFE模块，局部特征增强LFE模块将深层语义特征分成大小相同的k×k个patch块，对每个patch块分别进行像素表示和交互注意力表示，再合并成最终的增强特征；[0017] 所述像素表示包括，对于给定的特征 ，其中，c、h和w分别表示特征的通道数、高度和宽度，经过一个3×3卷积、归一化、ReLU激活操作后得到像素特征，其中， 为 的预设通道数，取值为512，将特征 与像素特征 分别重塑成二维 、 ，中每一列表示每个像素点位置上所有通道的值， 中每一行表示每个像素点位置上所有通道的值，将特征 的每行乘以像素特征 的每列，得到像素表示 ，表示为：[0018] ；[0019] 其中， 表示将特征图重塑成二维。[0020] 作为本发明所述的基于双解码器与局部特征增强网络的血管旁异常分割方法的一种优选方案，其中：所述交互注意力表示，通过计算像素特征 与像素表示之间的相似矩阵，根据相似矩阵对像素表示进行加权求和，得到最终的交互注意力表示，像素特征 经3×3卷积、归一化、ReLU激活操作后，再将重塑成大小为 的二维特征 ；对像素表示 进行3×3卷积、归一化、ReLU激活以及重塑操作后得大小为 的二维特征 ，对 经3×3卷积、归一化、ReLU激活操作后得到大小为 的特征 ，按照如下计算过程对二维特征计算得到注意力表示 ：[0021] ；[0022] 其中， 为 的预设通道数，取值为256； 是一种常用的分类函数，T表示对 的矩阵转置运算；[0023] 经卷积操作后与像素特征 拼接，经卷积和随机失活dropout操作后，得到交互注意力表示 ，交互注意力表示经1×1卷积后得到最终的增强patch块 ，将增强后的patch块合并成原特征大小，得到经局部特征增强的深层语义特征。[0024] 作为本发明所述的基于双解码器与局部特征增强网络的血管旁异常分割方法的一种优选方案，其中：所述双解码器结构包括，主分割解码器支路和边缘分割解码器支路的输入均来自于编码器特征经过局部特征增强LFE模块的深层语义特征，其中，边缘分割解码器的输入特征先进行边缘特征提取操作得到 ， ，边缘特征提取操作表示为，设经编码器和局部特征增强LFE模块得到的深层语义特征为 ， 减去对 进行平均池化的结果 ，得到输入的边缘特征 ：[0025] ；[0026] 其中， 表示1×1卷积， 为平均池化操作， 表示从不同分辨率分支提取到的边缘特征;[0027] 在主分割解码器的特征融合中，引入像素级加法与乘法，将边缘特征 ，，经层级上采样获得的边缘分割解码器层级特征 ， 与深层语义特征 ， 融合，得到融合特征 ， ，公式表示为：[0028] ；[0029] 其中， 表示像素级乘法， 表示像素级加法；[0030] 所有的解码器模块采用转置卷积代替原始HRNet中的双线性插值进行上采样，对于输入到层级的不同分辨率的特征 与 ，层级的具体操作表示为：[0031] ；[0032] 其中， 表示转置卷积， 表示拼接操作， 表示3×3卷积层， 和 分别表示主分割解码器支路和边缘分割解码器支路。[0033] 作为本发明所述的基于双解码器与局部特征增强网络的血管旁异常分割方法的一种优选方案，其中：所述双解码器结构包括，主分割解码器支路和边缘分割解码器支路的输入均来自于编码器特征经过局部特征增强LFE模块的深层语义特征，其中，边缘分割解码器的输入特征先进行边缘特征提取操作得到 ， ，边缘特征提取操作表示为，设经编码器和局部特征增强LFE模块得到的深层语义特征为 ， 减去对 进行平均池化的结果 ，得到输入的边缘特征 ：[0034] ；[0035] 其中， 表示1×1卷积， 为平均池化操作， 表示从不同分辨率分支提取到的边缘特征;[0036] 在主分割解码器的特征融合中，引入像素级加法与乘法，将边缘特征 ，，经层级上采样获得的边缘分割解码器层级特征 ， 与深层语义特征 ， 融合，得到融合特征 ， ，公式表示为：[0037] ；[0038] 其中， 表示像素级乘法， 表示像素级加法；[0039] 所有的解码器模块采用转置卷积代替原始HRNet中的双线性插值进行上采样，对于输入到层级的不同分辨率的特征 与 ，层级的具体操作表示为：[0040] ；[0041] 其中， 表示转置卷积， 表示拼接操作， 表示3×3卷积层， 和 分别表示主分割解码器支路和边缘分割解码器支路。[0042] 作为本发明所述的基于双解码器与局部特征增强网络的血管旁异常分割方法的一种优选方案，其中：所述Dice损失函数 分别计算每个类别目标和金标准的重合度，求类别平均，计算方法表示为：[0043] ；[0044] 其中， 为一个平滑因子，防止分子或分母为零，取值为1e‑6；[0045] 对于边界损失 ，需要提取病灶的边界，对分割金标准 和网络预测结果 分别采用逐像素的最大池化操作提取病灶边界，得到金标准的边界 和网络预测结果的边界 ，分别表示为：[0046] ；[0047] 其中， 表示对预测和金标准进行大小为 的滑动窗口的最大池化操作， 取值为3；[0048] 为了计算像素到边界的欧式距离，对金标准和网络预测结果的边界分别进行逐像素的最大池化操作，将两者的边界进行扩展，分别表示为：[0049] ；[0050] 其中， 为不大于金标准相邻段之间的最小距离， 表示金标准边界扩展后的结果， 表示网络预测边界扩展后的结果；[0051] 然后分别计算准确率与召回率，公式表示为：[0052] ；[0053] 其中， 表示逐像素求和； 表示网络预测边界上预测正确的像素数占所有预测边界像素数的比例，即准确率； 表示网络预测边界预测正确的像素数占金标准边界像素数的比例，即召回率；[0054] 最后，采用公式构造边界损失函数 ：[0055] ；[0056] 其中， 表示准确率与召回率的调和平均， 表示准确率， 表示召回率。[0057] 一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现基于双解码器与局部特征增强网络的血管旁异常分割方法中任一项所述的方法的步骤。[0058] 一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现基于双解码器与局部特征增强网络的血管旁异常分割方法中任一项所述的方法的步骤。[0059] 本发明的有益效果：本发明首次提出了一种基于双解码器和局部特征增强LFE模块的编解码结构分割网络，该网络适用于视网膜光学相干断层扫描OCT图像中血管旁异常分割等医学图像小目标分割，分割性能良好，为后续病变的定量分析奠定基础。[0060] 本发明首次公开了基于双解码器与局部特征增强网络的血管旁异常分割方法。本发明的技术关键点包括：（1）基于双解码器和局部特征增强LFE模块的编解码结构分割网络2DLFENet；（2）首次设计了一种双解码器网络结构，增强了网络对分割目标边界信息的关注；（3）首次设计了一种局部特征增强LFE模块，克服深层特征语义信息丢失问题，增强了深层特征局部上下文任意两个元素之间的依赖关系。附图说明[0061] 为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。[0062] 图1为本发明一个实施例提供的基于双解码器与局部特征增强网络的血管旁异常2分割方法设计的双解码结构与局部特征增强网络DLFENet的整体结构。[0063] 图2为本发明一个实施例提供的基于双解码器与局部特征增强网络的血管旁异常分割方法设计的特征编码模块。[0064] 图3为本发明一个实施例提供的基于双解码器与局部特征增强网络的血管旁异常分割方法设计的局部特征增强LFE模块。[0065] 图4为本发明一个实施例提供的基于双解码器与局部特征增强网络的血管旁异常分割方法设计的LFE模块中的像素表示（PixelRepresentation）。[0066] 图5为本发明一个实施例提供的基于双解码器与局部特征增强网络的血管旁异常分割方法设计的LFE模块中的交互注意力表示（CrossAttentionRepresentation）。[0067] 图6为本发明一个实施例提供的基于双解码器与局部特征增强网络的血管旁异常分割方法设计的双解码器结构。[0068] 图7为本发明一个实施例提供的基于双解码器与局部特征增强网络的血管旁异常分割方法流程示意图。[0069] 图8为本发明一个实施例提供的基于双解码器与局部特征增强网络的血管旁异常分割方法的泊松融合数据增强效果示意图（血管旁囊腔）。[0070] 图9为本发明一个实施例提供的基于双解码器与局部特征增强网络的血管旁异常分割方法的泊松融合数据增强效果示意图（血管旁内层劈裂）。[0071] 图10为本发明一个实施例提供的基于双解码器与局部特征增强网络的血管旁异常分割方法的不同分割方法的分割可视化结果对比（灰度值从低到高依次表示背景、血管微隆起、血管旁囊腔、血管旁板层裂孔、血管旁内层劈裂和血管旁外层劈裂）。具体实施方式[0072] 为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明，显然所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明的保护的范围。[0073] 实施例1[0074] 参照图1‑图10，为本发明的第一个实施例，该实施例提供了基于双解码器与局部特征增强网络的血管旁异常分割方法，包括：[0075] 本发明提出了基于双解码器与局部特征增强网络的血管旁异常分割方法，分别从网络结构和深层语义增强进行改进，增强了网络对边界信息的关注，解决了深层特征语义信息易丢失的问题，使改进的双解码器卷积神经网络更加适用于血管旁异常等具有小目标2特点的医学图像分割。本发明提出的双解码结构与局部特征增强网络DLFENet的网络结构如附图1所示，主要包括3个部分：特征编码模块、双解码器结构、局部特征增强LFE模块。[0076] （1）特征编码模块：编码器部分采用了基于ImageNet预训练的HRNet作为骨干网络，去除stem层中的第二个卷积层，以保持更高的分辨率。HRNet从一个高分辨率特征开始，将低分辨率特征与高分辨率特征进行融合。特征编码模块的结构如附图2所示，主要由4个阶段组成，第n个阶段包含对于n个不同分辨率的n个卷积流（n=1,2,3,4），通过在并行卷积流之间多次交换信息来实现不同分辨率的特征融合。[0077] 具体地，首先输入视网膜OCT图像 （H和W分别表示图像F的高度和宽度）经过一个卷积层，将输入特征的分辨率下采样至原来的1/2，得到特征 ，为 的预设通道数，取值为64；卷积层的结构如附图2中的“卷积层”所示，包含一个卷积核大小为3×3、步长为2的卷积，批量归一化BN和激活函数ReLU。然后，将下采样后的特征作为阶段1的输入，经过一个堆叠层得到阶段1的输出特征 ， 为的预设通道数，取值为256；堆叠层包含4个级联的、具有残差结构的Bottleneck，每个Bottleneck中包含三个卷积（卷积核大小分别为1×1、3×3、1×1）以及激活函数ReLU，以调整通道数量，Bottleneck的结构如附图2中“Bottleneck”所示。[0078] 在阶段2中，将阶段1的输出特征 通过一个卷积核大小为3×3、步长为1的卷积层，得到特征 ，将 通过一个卷积核大小为3×3、步长为2的卷积层，得到分辨率下采样至原始1/4特征 ， 和 分别为 和 的预设通道数，取值分别为18和36。将特征 和分别通过4个级联的、具有残差结构的BasicBlock，每个BasicBlock包含两个卷积核大小为3×3的卷积以及激活函数ReLU，BasicBlock的结构如附图2中“BasicBlock”所示。接着，对多尺度特征进行融合，每个尺度分支上的输出都是由所有分支上的输出融合得到：对于下采样至1/2的分支，将特征 经过BasicBlock再上采样2倍的输出与特征 经过BasicBlock的输出相加，得到了该分支在阶段2的输出特征 ；相同地，对于下采样至1/4的分支，将特征经过BasicBlock的输出与特征 经过BasicBlock再下采样至1/2的输出相加，得到该分支在阶段2的输出特征 。[0079] 同理，在阶段3和阶段4进行类似的操作，将阶段2的分支输出特征经卷积层得到分辨率下采样至1/8的特征 与、 作为阶段3的输入，经过级联的BasicBlock以及多尺度特征融合，得到阶段3的输出 、 、 。将阶段3的分支输出特征 再经过卷积层得到分辨率下采样至1/16的特征与 、 、 ，重作为阶段4的输入，经过级联的BasicBlock以及多尺度特征融合，得到特征编码模块的最终输出特征为、 、 和 。[0080] （2）局部特征增强LFE模块：在特征编码器的末端，每一条分支都设计、嵌入了局部特征增强LFE模块。LFE模块的结构如附图3所示，局部特征增强LFE模块首先将深层语义特征分成大小相同的k×k个patch块，经过像素级交互注意力表示PCAR模块，分别对每个patch块分别进行像素表示和交互注意力表示，再合并成最终的增强特征，减小patch块内部结构噪声、背景噪声对目标的影响。[0081] （a）像素表示（PixelRepresentation，PR）：像素表示PR的结构如附图4所示。对于给定的特征 （c、h和w分别表示特征 的通道数、高度和宽度），经过一个3×3卷积、归一化、ReLU激活操作后得到像素特征 （ 为 的预设通道数，取值为512）。将特征 与像素特征 分别重塑成二维、 ， 中每一列表示每个像素点位置上所有通道的值， 中每一行表示每个像素点位置上所有通道的值。将特征的每行乘以像素特征 的每列，得到像素表示 ，如公式（1）所示：[0082] (1)；[0083] 其中， 表示将特征图重塑成二维。[0084] （b）交互注意力表示（CrossAttentionRepresentation,CAR）：交互注意力表示的结构如附图5所示，核心思想是一种注意力机制，通过计算像素特征 与像素表示 之间的相似矩阵，根据相似矩阵对像素表示进行加权求和，得到最终的交互注意力表示。具体地，像素特征 经3×3卷积、归一化、ReLU激活操作后，再将其重塑成大小为 的二维特征 ；对像素表示 进行3×3卷积、归一化、ReLU激活和重塑操作处理，得大小为 的二维特征 ，对 经3×3卷积、归一化、ReLU激活操作后得到大小为 的特征 。按照公式(2)对上述二维特征计算得到注意力表示 ：[0085] (2)；[0086] 其中， 为 的预设通道数，取值为256； 是一种常用的分类函数。[0087] 经卷积操作后与像素特征 拼接，经卷积和随机失活dropout操作后，得到交互注意力表示 。交互注意力表示 经1×1卷积后得到最终的增强patch块 。将增强后的patch块合并成原特征大小，得到经局部特征增强的深层语义特征。[0088] （3）双解码器结构：如附图6所示，主分割解码器支路和边界分割解码器支路的输入均来自于编码器特征经过局部特征增强LFE模块的深层语义特征。其中，边界分割解码器的输入特征先进行边界特征提取操作得到 ，边界特征提取操作可由公式（3）表示，设经编码器和局部特征增强LFE模块得到的深层语义特征为， 减去对其进行平均池化的结果 ，得到该输入的边缘特征：[0089] (3)；[0090] 其中， 表示1×1卷积， 为平均池化操作， 表示从不同分辨率分支提取到的边缘特征，结构如附图6中“边缘特征提取”所示。[0091] 在主分割解码器的“特征融合”中，其结构如附图6中的“特征融合”所示，引入像素级加法与乘法，将边界特征 经“层级”上采样获得的边界分割解码器层级特征 与深层语义特征 融合，得到融合特征 ，如公式（4）所示：[0092] (4)；[0093] 其中， 表示像素级乘法， 表示像素级加法。[0094] 所有的解码器模块采用转置卷积代替原始HRNet中的双线性插值进行上采样，具体地，对于输入到层级的不同分辨率的特征 与 ，“层级”的具体操作如公式（5）所示：[0095] (5)；[0096] 其中， 表示转置卷积， 表示拼接操作， 表示3×3卷积层（包含卷积核大小为3×3的卷积、批量归一化和激活函数ReLU）， 和 分别表示主分割解码器支路和边界分割解码器支路，层级的具体结构如附图6中的“层级”所示。[0097] 通过这种融合方式实现主分割解码器中每层特征都包含了来自于边缘分割解码器的血管旁异常病灶的边界权重信息。训练过程中，两个解码器分支实现了信息交流，用于分割血管旁异常的主分割解码器中可以在边缘分割解码器的边界信息引导下逐步完善边界信息、优化预测结果。在联合分割损失函数的协调下，两个分支相互高效地发挥作用，很好地提升了精度。[0098] （4）损失函数：在网络训练过程中，对于主分割解码器分支，采用交叉熵损失和Dice损失 进行监督，对于边缘分割解码器分支，采用边界损失 进行监督，因此，网络整体的联合分割损失如公式(6)所示：[0099] (6)；[0100] 其中， 表示边界损失 与Dice损失 、交叉熵损失 的权衡系数，取值为0.5。[0101] 交叉熵损失 是卷积神经网络中使用最广泛的损失函数之一，其定义如公式(7)所示：[0102] (7)；[0103] 其中， 表示特征图的像素总数， 表示第 个像素，K表示分割目标的类别数。 表示第 个像素在第 个类别处的标签，通常每个像素只有属于 中的某一个类别。 表示模型对像素 属于类别k的预测概率，本发明采用softmax函数对网络最后的输出进行处理，使得所有类别的预测概率和为1。[0104] Dice损失函数 分别计算每个类别目标和金标准的重合度，然后求类别平均，其计算方法如公式(8)所示：[0105] (8)；[0106] 其中， 为一个平滑因子，防止分子或分母为零，取值为1e‑6。[0107] 对于边界损失 ，首先需要提取病灶的边界，对分割金标准 和网络预测结果 分别采用逐像素的最大池化操作提取病灶边界，得到金标准的边界 和网络预测结果的边界 ，该过程可分别用公式（9）和公式（10）表示：[0108] (9)；[0109] (10)；[0110] 其中， 表示对预测和金标准进行大小为 的滑动窗口的最大池化操作，在本发明中 取值为3。[0111] 为了计算像素到边界的欧式距离，对金标准和网络预测结果的边界分别进行逐像素的最大池化操作，将两者的边界进行扩展，如公式（11）和公式（12）所示：[0112] （11）；[0113] （12）；[0114] 其中， 为不大于金标准相邻段之间的最小距离。[0115] 然后分别计算准确率与召回率，如公式（13）和公式（14）所示：[0116] （13）；[0117] （14）；[0118] 其中， 表示逐像素求和。[0119] 最后，采用公式（15）和公式（16）构造边界损失函数 ：[0120] （15）；[0121] （16）；[0122] 为了验证本发明方法的有效性，采用视网膜光学相干断层扫描OCT图像中血管旁异常分割任务对本方法进行了验证。[0123] （1）总括[0124] 高度近视是一种常见的眼科疾病，可以导致视力下降甚至丧失，血管旁异常是高度近视的早期表现之一，指发生于视网膜前膜血管周围的微小病变，包括血管旁囊腔、血管微隆起、血管旁板层裂孔以及血管旁劈裂等。血管旁异常的自动分割对于高度近视的防治十分重要。由于存在病灶面积较小、种类不均衡等问题，血管旁异常的自动分割具有很大挑战性。[0125] （2）数据集[0126] 数据集包含78个病人数据，OCT扫描模式分为33线、64线和96线，分辨率包含2048×1382以及1981×1112，含血管旁异常的数据有3075张。由于数据量较少，采用了三折交叉验证策略进行性能评估。由于存在病灶分割目标较小、前景背景比例严重失衡以及不同病灶的数量极不均衡问题，本发明首先采取了两种数据预处理方式：[0127] （a）泊松融合数据增强[0128] 泊松融合的核心思想是让目标图像在融合部分根据原图像的引导场“生长”出新的图像，即根据源图像对应的梯度场生成融合部分，所以融合结果与直接叠加相比更加自然。其核心数学思想是满足狄利克雷边界条件的泊松偏微分方程，该方程规定了未知函数在感兴趣区域内的拉普拉斯算子并给出了位置函数在该区域边界上的值。[0129] 设二维图像平面S上存在一个封闭子区域 ，边界为 ，V为定义在 上的梯度向量场， 为定义在S上的标量函数，且已知 在 上的值为 ，则 取 中以V为引导的插值函数，即求极值问题，如公式（17）：[0130] （17）；[0131] 其中 为 的梯度。问题的解构造为泊松方程公式（18）：[0132] （18）；[0133] 其中 是拉普拉斯算子，div是散度算子， 是狄利克雷边界条件。[0134] 对于图像，上式的离散化形式可表示为公式（19）：[0135] （19）；[0136] 其中， 是一对相连的4个相邻像素， 分别是 在p和q上的值，是向量场V中从p到q的向量，边界条件变为 ， （ 是 在像素q上的值）。[0137] 在进行泊松融合前，为原始视网膜OCT图像训练集中的血管微隆起、血管旁囊腔、血管旁板层孔、血管旁内层劈裂和血管旁外层劈裂等五种血管旁异常病灶建立病灶库，通过找到标注病灶的边界外框，病变库中的最终图像patch块需略大于外部边界框，将病灶以图像patch块的形式从原始训练集中裁剪出来，并对病灶patch块进行翻转、缩放等方式进行增强，丰富合成数据的多样性。从原始训练集和病灶库中随机选择背景OCT图像和病灶patch块，根据不同病灶在视网膜血管旁的不同位置特点，选择放置区域中心点坐标，通过泊松融合算法将病灶patch块克隆到背景OCT图像中。通过该方法，可有效解决数据集中不同病灶数量极不均衡的问题，使得在同一张图像中的病灶数量也能尽量平衡。数据增强效果如附图8和附图9所示。[0138] （b）数据裁剪[0139] 血管旁异常通常发生在视网膜前膜血管周围，而血管在OCT图像中表现为血管阴影，利用这一特点，以血管为中心将OCT图像裁剪成512×512的图像patch块，可减少背景对网络分割性能的影响。[0140] 在读取数据时，采用在线随机对比度变换、亮度变换和左右翻转进行数据增强。采用Dice系数和敏感度（Sensitivity，Sen）作为分割评价指标。[0141] （3）结果[0142] （a）对比实验[0143] 在对比实验中，将本发明方法与其他优秀的基于卷积神经网络CNN的分割网络进行了比较，包括UNet、ResNet、CPFNet、HRNet、MultiResUnet、GLFRNet。由附表1可见，本发明D2LFENet的Dice指标和敏感度相比于这些网络获得了全面的提升，五种病灶的Dice系数与平均Dice系数分别达到了61.03%、45.67%、34.31%、56.37%、68.17%和53.11%，而敏感度Sen分别达到至67.19%、48.31%、38.42%、61.07%、72.53%和57.50%。敏感度一般用来衡量正确地被分为正样本的数量占所有正样本的比例，Dice系数也是评价模型性能的重要指标。从附表1中可以看出，血管旁囊腔和血管旁板层孔的指标与其它三类相比较低，原因就是血管旁囊腔与部分面积较小的血管旁内层劈裂的病理特征相似性大，血管旁囊腔易错分成血管旁内层劈裂，而血管旁板层孔虽然进行过泊松融合数据增强，但是其数据量增强后仍较少，影响网络分割精度。与其它分割网络对比，UNet、ResNet等传统卷积神经网络难以应对形态特征复杂且边界模糊的微小病灶；CPFNet提出尺度感知金字塔融合，使用不同膨胀率的膨胀卷积对不同尺度特征进行两两融合，GLFRNet基于U型网络结构加入全局特征重建与局部特征重建，但是它们在血管旁异常分割数据集上的分割性能均低于本发明D2LFENet。MultiResUnet使用多分辨率思路替换传统卷积层，使用respath替换传统的跳跃连接，但其仍是单一的U型网络结构，无法应对背景复杂、病灶不均衡的小目标联合分割。同时，由附表可见本发明所采取的两种离线数据增强方式，对血管旁异常的自动分割具有显著性提升。[0144] 附表1、血管旁异常分割的对比实验结果（表格上半部分采样未增强的数据集，下半部分为采用两种数据增强方法后的数据集，PVM为血管微隆起，PVC为血管旁囊腔，PVLH为血管旁板层孔，IPVRS为血管旁内层劈裂，OPVRS为血管旁外层劈裂）。[0145][0146] 附图10展示了不同分割方法的分割可视化结果对比，从图中也可以看出，本发明2所提出的DLFENet对小目标以及边界更敏感，可以正确识别出小目标，并优化预测结果的边界。[0147] （b）消融实验[0148] 为了验证本发明提出的双解码器结构和局部特征增强LFE模块的有效性，做了相应的消融实验。由附表2可见，将基准网络HRNet的stem层中第二个卷积层去掉后Dice系数提升0.21%，将分辨率整体提升，可有效减少目标信息的丢失。在此基础上，将HRNet中的解码器部分换成U型网络结构中的逐层上采样，Dice系数提升0.20%，采用反卷积代替了插值上采样，充分利用到了不同分辨率的语义信息，并将此作为主干网络。将双解码器结构加入主干网络后Dice系数提升1.25%，得益于网络在边界信息的引导下不断完善预测细节，同时双解码结构也使网络能应对多病灶的联合分割。局部特征增强LFE模块减小了深层特征内部结构噪声、背景噪声对目标的影响，在网络中加入LFE模块（“主干网络+双解码器+LFE模块”）Dice系数提升0.27%，敏感度Sen提升2.34%，可实现分割性能的进一步提升。[0149] 附表2、本发明方法各个模块的消融实验结果（主干网络为Stem层减一、采用反卷积解码器的HRNet）。[0150][0151] 同时，本发明对局部特征增强LFE模块中将深层特征分成patch块的数量做了消融实验。由附表3可见，k的取值分别对应了不同的分辨率分支，对于不同分辨率，宜将深层特征分成不同的patch块数，此外，HRNet特征编码器最后一条分支下采样倍数为8，特征大小仅为16×32，因此也不能切分得过多，所以对于不同分辨率，将k取为4，6，8，10最为合适。[0152] 附表3、有关局部特征增强LFE模块中深层语义特征拆分patch块个数的消融实验结果。[0153][0154] 至此，一种新颖的适用于高度近视OCT图像血管旁异常分割的深度学习网络2D LFENet已经实现并进行验证。基于本发明提出的双解码器和局部特征增强LFE模块，2DLFENet网络较好地克服了U型网络无法对多类病灶进行联合分割、深层特征易丢失等不2足。本发明DLFENet在视网膜OCT图像血管旁异常数据集上进行了综合验证实验，分割性能良好，表明本发明方法在医学图像小目标分割方面具有较好的适用性。[0155] 所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read‑OnlyMemory）、随机存取存储器（RAM，RandomAccessMemory）、磁碟或者光盘等各种可以存储程序代码的介质。[0156] 在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备（如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统）使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。[0157] 计算机可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或多个布线的电连接部（电子装置）、便携式计算机盘盒（磁装置）、随机存取存储器（RAM）、只读存储器（ROM）、可擦除可编辑只读存储器（EPROM或闪速存储器）、光纤装置以及便携式光盘只读存储器（CDROM）。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。[0158] 应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。

专利地区：江苏

专利申请日期：2024-05-13

专利公开日期：2024-09-03

专利公告号：CN118172369B