一种基于三并行残差网络的图像超分辨率重建系统

专利名称：一种基于三并行残差网络的图像超分辨率重建系统

专利类型：发明专利

专利申请号：CN202210544551.9

专利申请（专利权）人：河南垂天科技有限公司
权利人地址：河南省鹤壁市淇滨区湘江东路国立光电2#科研楼306室

专利发明（设计）人：朱明甫,李朋坤,张海洋,倪水平,李兴旺,王文斌,朱智丹,李炳伸,常振

专利摘要：本发明提出的是一种基于三并行残差网络的图像超分辨率重建系统，该系统包括浅层特征提取模块，深层特征提取模块，图像重建模块；浅层特征提取模块的输出作为深层特征提取模块的输入，深层特征提取模块的输出作为图像重建模块的输入。本发明的有益效果：1）本发明采用偶跳连接的方式，降低了残差网络整体参数的计算量；2）本发明采用PRB中三并行的卷积层，可以使网络同时获取到低频和高频的信息；3）本发明使用GRU网络保留历史输入信息，进而减少了图像细节的损失。

主权利要求：
1.一种基于三并行残差网络的图像超分辨率重建系统，其特征是包括浅层特征提取模块，深层特征提取模块，图像重建模块；浅层特征提取模块的输出作为深层特征提取模块的输入，深层特征提取模块的输出作为图像重建模块的输入；
所述深层特征提取模块包括n个PRB块，第二卷积层，瓶颈层；浅层特征提取模块的输出F0在n个PRB块之间传输的过程中，每经过两个PRB块，便将两个PRB块得到的特征图一起直接输出到瓶颈层，同时偶数PRB块得到的特征图与前一个PRB块得到的特征图做元素和后作为偶数PRB块的输出，偶数PRB块的输出作为下一个PRB块的输入，最后一个PRB块的输出经过第二卷积层后也输出给瓶颈层。
2.根据权利要求1所述的一种基于三并行残差网络的图像超分辨率重建系统，其特征是所述浅层特征提取模块包括第一卷积层；第一卷积层具体如公式(1)：F0＝HSF(ILR)＝σ(ωs×ILR+Bs)(1)；
其中，ILR表示输入的低分辨率图像，F0表示经过浅层特征提取模块的输出，HSF(.)表示卷积操作，ωs表示滤波器的权重，Bs表示偏置，σ表示激活函数。
3.根据权利要求2所述的一种基于三并行残差网络的图像超分辨率重建系统，其特征是所述第一卷积层的卷积核大小为3×3，输入通道为3，输出通道为64；所述激活函数采用ReLU函数；所述浅层特征提取模块的输出F0包括从输入的低分辨率图像中提取的像素点的细粒度信息，所述细粒度信息包括图像的颜色、纹理、边缘信息。
4.根据权利要求1所述的一种基于三并行残差网络的图像超分辨率重建系统，其特征是所述n个PRB块为奇数个；其中，每个PRB块的输出如下式(3)所示：其中，PRBi表示第i个PRB块的作用，Fi‑1为第i个PRB块输入，Fi‑1为第i个PRB块的输出结果,1≤i≤n。
5.根据权利要求1所述的一种基于三并行残差网络的图像超分辨率重建系统，其特征是所述PRB块包括A卷积层,B卷积层,C卷积层,D卷积层,GRU网络；A卷积层、B卷积层、C卷积层为三个并行的卷积层，A卷积层、B卷积层、C卷积层分别采用不同的卷积核，A卷积层、B卷积层、C卷积层的输入和输出通道数均相同；工作时，A卷积层、B卷积层、C卷积层对输入进行分别处理后经过Conact进行串联，接着使用D卷积层的卷积核进行通道压缩，确保每个PRB块的输出和输入通道数一致，最后经过GRU网络得到最后的输出Fi，Fi为第i个PRB块的输出结果，1≤i≤n。
6.根据权利要求5所述的一种基于三并行残差网络的图像超分辨率重建系统，其特征是所述A卷积层的卷积核大小为3×3，所述B卷积层的卷积核大小为5×5，所述C卷积层的卷积核大小为3×3，A卷积层、B卷积层、C卷积层的输入和输出通道数均为64；所述D卷积层的卷积核大小为1×1；所述第二卷积层的卷积核大小为3×3。
7.根据权利要求1所述的一种基于三并行残差网络的图像超分辨率重建系统，其特征是所述n个PRB块中第i个PRB块(1≤i≤n)的具体操作表示为公式(4)‑公式(8)：S＝σ(ω3×3*Fi‑1+b)(4)；
P＝σ(ω5×5*Fi‑1+b)(5)；
U＝σ[ω5×5*(ω3×3*Fi‑1)+b](6)；
F’i＝ω1×1*{S，P，U}+b+Fi‑1(7)；
Fi＝GRU(F’i)(8)；
式中，σ表示激活函数，激活函数采用ReLU函数，ω为权重，b为偏置参数，{S，P，U}表示串联操作。
8.根据权利要求5所述的一种基于三并行残差网络的图像超分辨率重建系统，其特征是所述GRU网络包含r门和z门，r门用来控制之前的数据信息在当前候选集中的保留程度，z门用来控制之前的信息在当前信息中的保留程度；在t时刻，GRU网络的前向传播公式如公式(9)‑(12)所示：rt＝σ(Wr·[ht‑1，xt])(9)；
zt＝σ(Wz·[ht‑1，xt])(10)；
式中：xt与ht分别为GRU网络在t时刻的输入与对应的输出；rt和zt分别为GRU单元在t时刻的重置门和更新门的激活向量； 为t时刻的候选集，其中保留有t‑1时刻的信息；σ和tanh分别为sigmoid激活函数和双曲正切激活函数；Wr、Wz和 均为待训练系数。
9.根据权利要求1所述的一种基于三并行残差网络的图像超分辨率重建系统，其特征是所述图像重建模块包括第三卷积层；所述图像重建模块的工作流程包括如下：
1、采用亚像素卷积进行上采样操作得到第一上采样结果，同时对原图像做双三次插值进行上采样得到第二上采样结果；
2、将第一上采样结果和第二上采样结果相加；
3、然后通过第三卷积层卷积得到映射，生成清晰的图像HR；
所述图像重建模块的工作流程表述为如公式(13)‑(15)所示：
式中，FBL为Fn经过瓶颈层后的输出结果，FBL也是亚像素卷积上采样的输入，HUP表示亚像素卷积上采样操作，Hbic表示双三次插值上采样操作，HRE表示图像重构操作将第一上采样结果和第二上采样结果相加并进行第三层卷积操作，FHR表示最终生成的清晰的高分辨率图像。 说明书 : 一种基于三并行残差网络的图像超分辨率重建系统技术领域[0001] 本发明是一种基于三并行残差网络的图像超分辨率重建系统，属于图像超分辨率重建技术领域。背景技术[0002] 图像超分辨率重建：图像超分辨率重建技术就是利用一组低质量、低分辨率图像来产生单幅高质量、高分辨率图像；在计算机视觉领域，图像超分辨率重建技术有可能使图像实现从检出水平向识别水平的转化，或更进一步实现向细辨水平的转化；图像超分辨率重建技术可以提高图像的识别能力和识别精度，可以实现目标物的专注分析，从而可以获取感兴趣区域更高空间分辨率的图像，而不必直接采用数据量巨大的高空间分辨率图像的配置。[0003] 卷积神经网络(ConvolutionalNeuralNetwork,CNN)是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现；目前，卷积神经网络被广泛应用于图像超分辨率重建技术领域；但是随着卷积神经网络的深度不断增加，在对图像超分辨率进行重建时，卷积神经网络的训练过程中很容易丢失图像的细节信息。[0004] 残差网络是由来自MicrosoftResearch的4位学者提出的卷积神经网络，在2015年的ImageNet大规模视觉识别竞赛（ImageNetLargeScaleVisualRecognitionChallenge,ILSVRC）中获得了图像分类和物体识别的优胜；残差网络的特点是容易优化，并且能够通过增加相当的深度来提高准确率，其内部的残差块使用了跳跃连接，缓解了在深度神经网络中增加深度带来的梯度消失问题。发明内容[0005] 本发明提出的是一种基于三并行残差网络的图像超分辨率重建系统，其目的旨在解决由于卷积神经网络深度的增加导致图像前向传播过程中图像细节容易丢失的问题。[0006] 本发明的技术解决方案：一种基于三并行残差网络的图像超分辨率重建系统，该系统包括浅层特征提取模块，深层特征提取模块，图像重建模块；浅层特征提取模块的输出作为深层特征提取模块的输入，深层特征提取模块的输出作为图像重建模块的输入。[0007] 进一步地，所述浅层特征提取模块包括第一卷积层；第一卷积层具体如公式（1）：[0008] （1）；[0009] 其中， 表示输入的低分辨率图像， 表示经过浅层特征提取模块的输出，表示卷积操作， 表示滤波器的权重， 表示偏置， 表示激活函数。[0010] 进一步地，所述第一卷积层的卷积核大小为3×3，输入通道为3，输出通道为64；所述激活函数采用ReLU函数；所述浅层特征提取模块的输出 包括从输入的低分辨率图像中提取的像素点的细粒度信息，所述细粒度信息包括图像的颜色、纹理、边缘信息。[0011] 进一步地，所述深层特征提取模块包括 个PRB块，第二卷积层，瓶颈层；浅层特征提取模块的输出 在 个PRB块之间传输的过程中，每经过两个PRB块，便将两个PRB块得到的特征图一起直接输出到瓶颈层，同时偶数PRB块得到的特征图与前一个PRB块得到的特征图做元素和后作为偶数PRB块的输出，偶数PRB块的输出作为下一个PRB块的输入，最后一个PRB块的输出经过第二卷积层后也输出给瓶颈层。[0012] 进一步地，所述 个PRB块为奇数个；其中，每个PRB块的输出如下式（3）所示：[0013] （3）；[0014] 其中， 表示第 个PRB块的作用， 为第 个PRB块输入， 为第 个PRB块的输出结果, 。[0015] 进一步地，所述PRB块包括A卷积层,B卷积层,C卷积层,D卷积层,GRU网络；A卷积层、B卷积层、C卷积层为三个并行的卷积层，A卷积层、B卷积层、C卷积层分别采用不同的卷积核，A卷积层、B卷积层、C卷积层的输入和输出通道数均相同；工作时，A卷积层、B卷积层、C卷积层对输入进行分别处理后经过Conact（联合）进行串联，接着使用D卷积层的卷积核进行通道压缩，确保每个PRB块的输出和输入通道数一致，最后经过GRU网络得到最后的输出 ， 为第 个PRB块的输出结果， 。[0016] 进一步地，所述A卷积层的卷积核大小为3×3，所述B卷积层的卷积核大小为5×5，所述C卷积层的卷积核大小为3×3，A卷积层、B卷积层、C卷积层的输入和输出通道数均为64；所述D卷积层的卷积核大小为1×1；所述第二卷积层的卷积核大小为3×3。[0017] 进一步地，所述 个PRB块中第 个PRB块（ ）的具体操作表示为公式（4）‑公式（8）：[0018] （4）；[0019] （5）；[0020] （6）；[0021] （7）；[0022] （8）；[0023] 式中， 表示激活函数，激活函数采用ReLU函数， 为权重， 为偏置参数，表示串联操作。[0024] 进一步地，所述GRU网络包含r门和z门，r门用来控制之前的数据信息在当前候选集中的保留程度，z门用来控制之前的信息在当前信息中的保留程度；在t时刻，GRU网络的前向传播公式如公式（9）‑（12）所示：[0025] （9）；[0026] （10）；[0027] （11）；[0028] （12）；[0029] 式中： 与 分别为GRU网络在t时刻的输入与对应的输出； 和 分别为GRU单元在t时刻的重置门和更新门的激活向量； 为t时刻的候选集，其中保留有t‑1时刻的信息； 和 分别为sigmoid激活函数和双曲正切激活函数； 、 和 均为待训练系数。[0030] 进一步地，所述图像重建模块包括第三卷积层；所述图像重建模块的工作流程包括如下：[0031] 1、采用亚像素卷积进行上采样操作得到第一上采样结果，同时对原图像做双三次插值进行上采样得到第二上采样结果；[0032] 2、将第一上采样结果和第二上采样结果相加；[0033] 3、然后通过第三卷积层卷积得到映射，生成清晰的图像HR；所述第三卷积层的卷积核大小优选为3×3；[0034] 所述图像重建模块的工作流程表述为如公式（13）‑（15）所示：[0035] （13）；[0036] （14）；[0037] （15）；[0038] 式中， 为 经过瓶颈层后的输出结果， 也是亚像素卷积上采样的输入， 表示亚像素卷积上采样操作， 表示双三次插值上采样操作， 表示图像重构操作将第一上采样结果和第二上采样结果相加并进行第三层卷积操作， 表示最终生成的清晰的高分辨率图像。[0039] 本发明的有益效果：[0040] 1）本发明采用偶跳连接的方式，降低了残差网络整体参数的计算量；[0041] 2）本发明采用PRB中三并行的卷积层，可以使网络同时获取到低频和高频的信息；[0042] 3）本发明使用GRU网络保留历史输入信息，进而减少了图像细节的损失。附图说明[0043] 附图1是本发明一种基于三并行残差网络的图像超分辨率重建系统的模型结构示意图。[0044] 附图2是PRB的内部结构示意图。[0045] 附图3是GRU的结构示意图。具体实施方式[0046] 一种基于三并行残差网络的图像超分辨率重建系统，该系统包括浅层特征提取（Shallowfeatureextraction）模块，深层特征提取（Deepfeatureextraction）模块，图像重建（Imagereconstruction）模块；浅层特征提取模块的输出作为深层特征提取模块的输入，深层特征提取模块的输出作为图像重建模块的输入。[0047] 所述浅层特征提取模块包括第一卷积层（3×3）；第一卷积层具体如公式（1）：[0048] （1）；[0049] 式（1）中， 表示输入的LR（Low‑Resolution，低分辨率图像）图像， 表示经过浅层特征提取模块的输出， 表示卷积操作， 表示滤波器的权重， 表示偏置，表示激活函数；所述第一卷积层的卷积核大小优选为3×3，输入通道优选为3，输出通道优选为64。[0050] 所述浅层特征提取模块的输出 作为浅层特征提取模块提取的特征输出给深层特征提取模块，浅层特征提取模块的输出 包括从输入的LR图像中提取的像素点的细粒度信息，所述细粒度信息包括图像的颜色、纹理、边缘等信息。[0051] 所述激活函数采用ReLU函数，ReLU函数的数学表达式如公式（2）：[0052] （2）；[0053] 其中， 指输入的自变量。[0054] 所述深层特征提取模块包括 个PRB（Threeparallelresidualblocks，三并行残差块）块，第二卷积层，瓶颈层；浅层特征提取模块的输出 在 个PRB块之间传输的过程中，每经过两个PRB块，便将两个PRB块得到的特征图一起直接输出到瓶颈层，同时偶数PRB块得到的特征图与前一个PRB块得到的特征图做元素和后作为偶数PRB块的输出，偶数PRB块的输出作为下一个PRB块的输入，最后一个PRB块（即第 个PRB块）的输出经过第二卷积层后也输出给瓶颈层；所述特征图就是PRB块产生的结果，每个PRB块都会产生一个特征图，只是把每两个PRB块输出的特征图跳跃连接到瓶颈层；所述 个PRB块优选为奇数个；所述 个PRB块优选为19个；所述第二卷积层的卷积核大小优选为3×3；其中，每个PRB块的输出如下式（3）所示：[0055] （3）；[0056] 式（3）中， 表示第 个PRB块的作用， 为第 个PRB块输入， 为第 个PRB块的输出结果, 。[0057] 所述PRB块包括A卷积层,B卷积层,C卷积层,D卷积层,GRU网络；A卷积层、B卷积层、C卷积层为三个并行的卷积层，A卷积层、B卷积层、C卷积层分别采用不同的卷积核，A卷积层、B卷积层、C卷积层的输入和输出通道数均相同；工作时，A卷积层、B卷积层、C卷积层对输入进行分别处理后经过Conact（联合）进行串联，接着使用D卷积层的卷积核进行通道压缩，确保每个PRB块的输出和输入通道数一致，最后经过GRU网络得到最后的输出 ，为第 个PRB块的输出结果， 。[0058] 优选地，A卷积层的卷积核大小为3×3，B卷积层的卷积核大小为5×5，C卷积层的卷积核大小为3×3，A卷积层、B卷积层、C卷积层的输入和输出通道数均优选为64；优选地，D卷积层的卷积核大小为1×1。[0059] 所述PRB块的结构图如附图2所示：A卷积层、B卷积层、C卷积层、D卷积层在网络训练的过程中均能够自动学习对应卷积核的权重，以提取图像的局部特征；所述图像的局部特征包括斑点和角点；因此选择卷积核的大小对特征提取来说至关重要，小卷积核可以提取短边或低频特征，但是无法同时提取高频细节，因此PRB块中采用三个并行的卷积层，每一层卷积层采用不同的卷积核，可以确保获取到图像的低频和高频细节。[0060] 所述 个PRB块中第 个PRB块（ ）的具体操作表示为公式（4）‑公式（8）：[0061] （4）；[0062] （5）；[0063] （6）；[0064] （7）；[0065] （8）；[0066] 式中， 表示激活函数，激活函数采用ReLU函数， 为权重， 为偏置参数，表示串联操作，其中每一个卷积层的输入和输出通道数都为64，然后经过Conact进行串联，得到通道数为192的特征图，接着使用卷积核大小为1×1的卷积核进行通道压缩，确保每个PRB块的输入和输出通道数一致，最后经过GRU网络得到最后的输出 ，GRU网络可以保留历史输入信息，减少训练过程中的图像细节损失；所述GRU网络的结构图如附图3所示。[0067] 所述GRU网络包含r门和z门，r门用来控制之前的数据信息在当前候选集中的保留程度，z门用来控制之前的信息在当前信息中的保留程度；在t时刻，GRU网络的前向传播公式如公式（9）‑（12）所示：[0068] （9）；[0069] （10）；[0070] （11）；[0071] （12）；[0072] 式中： 与 分别为GRU网络在t时刻的输入与对应的输出； 和 分别为GRU单元在t时刻的重置门和更新门的激活向量； 为t时刻的候选集，其中保留有t‑1时刻的信息； 和 分别为sigmoid激活函数和双曲正切激活函数； 、 和 均为待训练系数，也称权值参数。[0073] 所述图像重建模块包括第三卷积层；所述图像重建模块的工作流程包括如下：[0074] 1、采用亚像素卷积进行上采样操作得到第一上采样结果，同时对原图像做双三次插值进行上采样得到第二上采样结果；[0075] 2、将第一上采样结果和第二上采样结果相加；[0076] 3、然后通过第三卷积层卷积得到映射，生成清晰的图像HR；所述第三卷积层的卷积核大小优选为3×3。[0077] 所述图像重建模块的工作流程表述为如公式（13）‑（15）所示：[0078] （13）；[0079] （14）；[0080] （15）；[0081] 式中， 为 经过瓶颈层后的输出结果， 也是亚像素卷积上采样的输入， 表示亚像素卷积上采样操作， 表示双三次插值上采样操作， 表示图像重构操作将第一上采样结果和第二上采样结果相加并进行第三层卷积操作， 表示最终生成的清晰的图像HR（High‑Resolution，高分辨率图像）；所述图像重构操作即将第一上采样结果和第二上采样结果相加并进行第三层卷积操作。[0082] 本发明在同一PRB块中应用不同卷积核大小的卷积层，能够确保获取源图像的低频和高频细节，提升重建效果；同时 个PRB块部分采用偶跳连接的残差块，每个PRB块中的A卷积层、B卷积层、C卷积层为三个并行的卷积层，每个PRB块中三个并行的卷积层形成三并行残差网络，大大降低了网络的计算量。

专利地区：河南

专利申请日期：2022-05-19

专利公开日期：2024-09-17

专利公告号：2024-09-17