基于多尺度堆叠式注意力网络的低照度图像增强方法

专利名称：基于多尺度堆叠式注意力网络的低照度图像增强方法

专利类型：发明专利

专利申请号：CN202210663857.6

专利申请（专利权）人：福州大学
权利人地址：福建省福州市闽侯县福州大学城乌龙江北大道2号福州大学

专利发明（设计）人：牛玉贞,陈铭铭,李悦洲,林晓锋

专利摘要：本发明提出一种基于多尺度堆叠式注意力网络的低照度图像增强方法，包括以下步骤：步骤A：对原始低照度图像和正常照度图像的训练图像对进行预处理，得到原始低照度图像和正常照度图像组成的训练图像对；步骤B：设计多尺度自适应融合堆叠式注意力网络作为低照度图像增强网络，该网络包含多尺度自适应特征融合模块，堆叠式注意力残差模块和傅里叶重建模块；步骤C：设计低照度图像增强网络的目标损失函数，训练网络至收敛到阈值或迭代次数达到阈值；步骤D：将待测图像输入到所设计的低照度图像增强网络中，利用训练好的网络预测生成正常照度图像。本发明能实现低照度图像增强，生成正常照度下的高质量图像。

主权利要求：
1.一种基于多尺度堆叠式注意力网络的低照度图像增强方法，其特征在于，包括以下步骤：步骤A：对原始低照度图像和正常照度图像的训练图像对进行预处理，得到原始低照度图像和正常照度图像组成的训练图像对；
步骤B：设计多尺度堆叠式注意力网络作为低照度图像增强网络，包括：多尺度自适应特征融合模块，用于提取不同场景下不同尺度的复杂光照以及不同尺度的物体特征；
堆叠式注意力残差模块，用于提取场景中的细节纹理及边缘信息；
傅里叶重建模块，用于有效捕获长期和短期交互，同时集成低频和高频残差信息；
步骤C：设计低照度图像增强网络的目标损失函数，训练网络至收敛到阈值或迭代次数达到阈值；
步骤D：将待测图像输入到所设计的低照度图像增强网络中，利用训练好的网络预测生成正常照度图像；
所述多尺度堆叠式注意力网络的工作过程具体包括以下步骤：
步骤B11：输入大小为H×W×3的低照度图像，首先经过卷积核为3×3的卷积层进行浅层特征提取后得到大小为H×W×C的特征图in；
步骤B12：将步骤B11得到的特征图in依次经过多尺度自适应特征融合模块MSAFF，堆叠式注意力残差模块SARM，傅里叶重建模块ResFFT，得到特征图Zout，具体按照如下公式计算：Zout＝Concat(ResFFT(SARM((MSAFF(in))))，in)其中，Concat(·)为通道上的拼接操作
步骤B13：在将步骤B12得到的特征图Zout经过多尺度卷积层和激活函数层后，得到最终的预测图像output，即增强后的低照度图像，具体计算公式如下：output＝Sigmoid(Conv3×3(Pyconv2(Concat(Zout，in))))其中，Sigmoid(·)表示Sigmoid激活函数层，Pyconv2(·)表示多尺度卷积层，含有两种不同尺寸的卷积核，按照如下公式计算：Pyconv2(x)＝Concat(Conv3×3(x)，Conv5×5(x))其中，x为输入多尺度卷积层的特征，维度为H×W×C，Convk×k(·)表示卷积核大小为k×k的卷积层，输出通道数为 Conv3×3(·)和Conv5×5(·)所提取的特征在通道维度上进行拼接操作后得到大小为H×W×C的特征图；
所述多尺度自适应特征融合模块的工作过程具体包括以下步骤：步骤B21：输入为步骤B11中得到的特征图in，将特征图in分别送入三个不同大小的卷积核中，得到大小皆为H×W×C的输出，按照如下公式计算：F1＝Conv3×3(in)
F2＝Conv5×5(in)
F3＝Conv7×7(in)
其中，Conv3×3(·)、Conv5×5(·)、Conv7×7(·)分别表示卷积核大小为3×3、5×5、7×7的卷积层；
步骤B22：将步骤B21得到的三个特征F1、F2、F3进行逐元素求和运算，得到大小为H×W×C的特征图F4，再依次送入自适应全局平均池化层、卷积核大小为1×1的卷积层，其后经过PReLU激活函数层，具体计算公式如下：F4＝F1+F2+F3
F5＝σ(Conv1×1(AvgPool(F4)))
其中AvgPool(·)表示自适应全局平均池化层，AvgPool(F4)表示将F4在空间维度上做自适应全局平均池化，得到大小为1×1×C的特征向量，C为F4的通道数；Conv1×1(·)表示卷积核大小为1×1的卷积层，用以通道降维，生成紧凑的特征表示，F5的大小为 σ(·)表示PReLU激活函数，对通道i的PReLU激活函数定义如下：其中，xi表示通道i上的特征，ai表示通道i上需要学习的参数，将F5分别送入三个平行的卷积分支用于提升通道维度，再分别与F1、F2、F3相乘后逐元素相加，得到自适应特征选择模块的输出，按如下公式计算：F6＝l1F1+l2F2+l3F3
其中， 表示第i个用于提升通道维度的1×1卷积层，Softmax(·)表示Softmax激活函数，输出li大小为1×1×C，F6大小为H×W×C；
步骤B23：将步骤B21提取的浅层特征图in和步骤B22得到的特征图F6做逐元素求和运算，计算公式如下：MSAFFout＝in+F6
所述堆叠式注意力残差模块的工作过程具体包括以下步骤：
步骤B31：将来自多尺度自适应特征融合模块的输出作为堆叠式注意力残差模块的输入，即,将维度为H×W×C的图像特征MASFFout送入堆叠式注意力残差模块中；所述堆叠式注意力残差模块包含两个注意力块AB，每个注意力块使用一个多尺度卷积层提取不同感受野的特征，再由半双重注意力单元分别从空间和通道维度上获取信息，最后经过实例归一化层得到该块输出，两个块之间由激活函数层连接，具体公式如下所示：S0＝AB(ξ(AB(MSAFFout)))
其中，ξ(·)表示ReLU激活函数层，按如下公式定义：
所述注意力块AB，按照如下公式计算：
AB(x)＝INor(HDAU(Pyconv2(x)))其中，x表示输入注意力块AB的特征图，INor表示InstanceNormalization，即实例归一化，用以保持每个图像实例之间的独立，HDAU表示半双重注意力单元，设输入HDAU的特征图为S1，其大小为H×W×C，则HDAU(S1)首先对输入的特征图S1从通道维度上划分为两块S2和S3，大小皆为 其中S2首先经过两个3×3卷积层提取浅层特征，再通道上采样后得到大小为H×W×c的特征，再分别经过空间注意力层和通道注意力层提取空间和通道上的特征信息，得到空间加强特征图和通道加强特征图；
将得到的空间加强特征图和通道加强特征图在通道维度上进行拼接，然后再通过一个
1×1卷积层，使通道数从2C降采样至 以便与S2做逐元素相加运算，得到S2”；而S3上的另一半通道保留上下文信息，与S2”在通道维度上拼接后，经过一个3×3卷积层、一个PReLU激活函数层，最后与经过1×1卷积层的S1逐元素相加得到S4，具体按照如下公式计算：S′2＝Conv3×3(PReLU(Conv3×3(S2)))S″2＝Conv1×1(Concat(CA(S′2)，SA(S′2)))+S2S4＝Conv1×1(S1)+PReLU(Conv3×3(Concat(S″2,S3)))其中，S2和S3分别为半双重注意力单元的输入特征S1在通道维度上切分操作的结果，Concat(·)表示通道上的拼接操作，PReLU(·)表示PReLU激活函数层，CA(·)和SA(·)分别表示通道注意力层和空间注意力层，Convk×k(·)表示卷积核大小为k×k的卷积层；
步骤B32：将步骤B31得到的输出S0与输入MSAFFout按逐元素相加后，经过ReLU激活函数层，得到堆叠式注意力残差块的输出Z，按如下公式计算：Z＝ReLU((S0+MSAFFout))
所述傅里叶重建模块的工作过程具体包括以下步骤：
步骤B41：傅里叶重建模块的输入为堆叠式注意力残差块的输出Z，经过二维快速傅里叶分解得到实部R和虚部I，维度都是 从通道维度上拼接得到特征图Z1，维度为随后经过两个多尺度卷积层和一个激活函数层，得到频域的特征图Z2，其大小为 具体计算公式如下：R,I＝rfft(Z)
Z1＝Concat(R,I)
Z2＝Pyconv2(ReLU(Pyconv2(Z1)))其中，rfft(·)表示二维快速傅里叶分解运算，得到的实部和虚部分别为R和I，Concat(·)表示通道维度上的拼接操作，ReLU(·)表示ReLU激活函数，Pyconv2(·)表示多尺度卷积层，含有两种不同尺寸的卷积核，按照如下公式计算：Pyconv2(x)＝Concat(Conv3×3(x),Conv5×5(x))其中，x为输入多尺度卷积层的特征，维度为H×W×C，Convk×k(·)表示卷积核大小为k×k的卷积层，输出通道数为 Conv3×3(·)和Conv5×5(·)所提取的特征在通道维度上进行拼接操作后得到大小为H×W×C的特征图；
步骤B42：对步骤B41得到的频域特征图Z2从通道维度上切分，进行复数运算后，使用傅里叶逆变换回到空间域，得到特征Zfft，与Z经过浅卷积提取的特征Zres以及Z本身进行逐元素相加，得到傅里叶重建模块的输出Zout，具体计算公式如下：R',I'＝chunk2(Z2)
Zfft＝ifft(R'+I'i)
Zres＝Conv3×3(ReLU(Conv3×3(Z)))Zout＝Zfft+Zres+Z
其中，chunk2(·)是通道维度上的切分操作，R'和I'分别表示由特征Z2切分得到的新的实部和虚部，i表示虚数单位，ifft(·)表示二维傅里叶逆变换运算，Conv3×3(·)表示卷积核大小为3×3的卷积层，ReLU(·)表示激活函数层。
2.根据权利要求1所述的基于多尺度堆叠式注意力网络的低照度图像增强方法，其特征在于：步骤A的具体实现步骤如下：
步骤A1：随机指定每张图像的切块位置，处理原始低照度图像及其配对的正常照度图像，得到尺寸为H×W的配对图像块，其中低照度图像为输入，正常照度图像为参考图像；
步骤A2：对所有待训练图像对进行相同的随机翻转旋转操作，增强数据。
3.根据权利要求1所述的基于多尺度堆叠式注意力网络的低照度图像增强方法，其特征在于：在步骤C当中：所设计的总目标损失函数如下：
其中，表示总损失函数， 和 分别表示结构损失函数和感知损失函数，λ1和λ2分别是结构损失函数和感知损失函数的系数，·为实数的点乘操作，具体各项损失函数计算公式如下：其中，Ioutput为低照度图像增强网络的最终预测结果，Ihigh为对应的正常照度图像，F(·)表示使用VGG16提取的第31个特征图，该特征图的大小为H'×W'×C'；
训练过程具体为：
将待训练图像对随机划分为若干个批次，每个批次包含相同数目的配对图像，训练优化网络，直至计算得到的总损失 收敛到阈值或迭代次数达到阈值，则停止训练并保存训练好的模型。
4.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1‑3其中任一所述的基于多尺度堆叠式注意力网络的低照度图像增强方法。
5.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1‑3其中任一所述的基于多尺度堆叠式注意力网络的低照度图像增强方法。 说明书 : 基于多尺度堆叠式注意力网络的低照度图像增强方法技术领域[0001] 本发明属于视频处理、计算机视觉技术领域，尤其涉及一种基于多尺度堆叠式注意力网络的低照度图像增强方法。背景技术[0002] 随着计算机视觉技术的飞速发展，数字图像处理系统在工业生产、视频监控、智能交通、遥感监控等领域得到了广泛的应用，在日常生活、军事应用等方面发挥了重要作用。然而，在图像采集过程中往往存在一些不可控的因素，导致图像质量下降。尤其是在室内、夜间或阴天等照明条件较差的情况下，由于从物体表面反射的光可能很弱，往往会产生大量噪声和颜色失真，使得低照度图像的质量严重下降，影响后续应用。[0003] 在光线相对较弱的环境中拍摄的图像被认为是低照度图像。这些图像表现出诸如低亮度、低对比度、窄灰度范围和颜色失真以及有相当大的噪声等特征。由于缺乏光照，这些图像的像素值主要集中在较低的范围内，彩色图像各通道之间对应像素的灰度差异有限。图像的最大灰度级和最小灰度级之间只有很小的差距。整个颜色层存在偏差，边缘信息较弱，很难区分图像的细节。这些特性降低了图像的可用性，严重降低了它们的主观视觉效果，并且极大地限制了各种视觉系统的功能。[0004] 低照度图像增强的主要目的是提高图像的整体和局部对比度，改善视觉效果，并将图像转换成更适合人类观察或计算机处理的形式，同时避免噪声放大，获得良好的实时性。为此，必须提高在低照度下捕获的数据的有效性和可用性，以获得清晰的图像或视频。低照度图像增强不仅可以使图像更符合个人的主观视觉感受，提高室外视觉系统的可靠性和鲁棒性，而且可以更方便地利用计算机视觉设备对图像进行分析和处理，对于推动图像信息挖掘的发展具有重要意义。相关研究成果可广泛应用于城市交通监测、户外视频采集、卫星遥感、军事航空调查等领域，对水下图像分析、雾霾图像清晰度等课题的研究具有一定的参考价值。[0005] 传统低照度增强方法大多使用直方图增强或基于Retinex方法，前者往往忽略相邻像素间的依赖关系而导致局部增强，后者在复杂光源场景的应用差强人意，容易导致伪影，且设计的算法通常可学习参数量较少，缺乏对图像结构信息的建模。现有基于深度学习的方法由数据驱动，能够较好地学习图像特征，然而仍然存在噪声伴随亮度放大、亮度增强后细节纹理丢失、边缘模糊等现象，对同一场景下不同大小物体的细节重建难以同时得到较好的效果，恢复的图像颜色退化较为严重。发明内容[0006] 为了弥补现有技术的空白和不足，本发明提出一种基于多尺度堆叠式注意力网络的低照度图像增强方法，以充分学习图像多尺度信息，通过堆叠式注意力深度提取图像空间和通道上的特征，利用残差结构聚合信息，显著提升低照度图像质量，较好恢复了细节信息和边缘纹理特征。[0007] 包括以下步骤：[0008] 步骤A：对原始低照度图像和正常照度图像的训练图像对进行预处理，得到原始低照度图像和正常照度图像组成的训练图像对；步骤B：设计多尺度自适应融合堆叠式注意力网络作为低照度图像增强网络，该网络包含多尺度自适应特征融合模块，堆叠式注意力残差模块和傅里叶重建模块；步骤C：设计低照度图像增强网络的目标损失函数，训练网络至收敛到阈值或迭代次数达到阈值；步骤D：将待测图像输入到所设计的低照度图像增强网络中，利用训练好的网络预测生成正常照度图像。本发明能实现低照度图像增强，生成正常照度下的高质量图像。[0009] 本发明具体采用以下技术方案：[0010] 一种基于多尺度堆叠式注意力网络的低照度图像增强方法，其特征在于，包括以下步骤：[0011] 步骤A：对原始低照度图像和正常照度图像的训练图像对进行预处理，得到原始低照度图像和正常照度图像组成的训练图像对；[0012] 步骤B：设计多尺度堆叠式注意力网络作为低照度图像增强网络，包括：[0013] 多尺度自适应特征融合模块，用于提取不同场景下不同尺度的复杂光照以及不同尺度的物体特征；[0014] 堆叠式注意力残差模块，用于提取场景中的细节纹理及边缘信息；[0015] 傅里叶重建模块，用于有效捕获长期和短期交互，同时集成低频和高频残差信息；[0016] 步骤C：设计低照度图像增强网络的目标损失函数，训练网络至收敛到阈值或迭代次数达到阈值；[0017] 步骤D：将待测图像输入到所设计的低照度图像增强网络中，利用训练好的网络预测生成正常照度图像。[0018] 进一步地，步骤A的具体实现步骤如下：[0019] 步骤A1：随机指定每张图像的切块位置，处理原始低照度图像及其配对的正常照度图像，得到尺寸为H×W的配对图像块，其中低照度图像为输入，正常照度图像为参考图像；[0020] 步骤A2：对所有待训练图像对进行相同的随机翻转旋转操作，增强数据。[0021] 进一步地，所述多尺度堆叠式注意力网络的工作过程具体包括以下步骤：[0022] 步骤B11：输入大小为H×W×3的低照度图像，首先经过卷积核为3×3的卷积层进行浅层特征提取后得到大小为H×W×C的特征图in；[0023] 步骤B12：将步骤B11得到的特征图in依次经过多尺度自适应特征融合模块MSAFF，堆叠式注意力残差模块SARM，傅里叶重建模块ResFFT，得到特征图Zout，具体按照如下公式计算：[0024] Zout＝Concat(ResFFT(SARM((MSAFF(in)))),in)[0025] 其中，Concat(·)为通道上的拼接操作[0026] 步骤B13：在将步骤B12得到的特征图Zout经过多尺度卷积层和激活函数层后，得到最终的预测图像output，即增强后的低照度图像，具体计算公式如下：[0027] output＝Sigmoid(Conv3×3(Pyconv2(Concat(Zout,in))))[0028] 其中，Sigmoid(·)表示Sigmoid激活函数层，Pyconv2(·)表示多尺度卷积层，含有两种不同尺寸的卷积核，按照如下公式计算：[0029] Pyconv2(x)＝Concat(Conv3×3(x),Conv5×5(x))[0030] 其中，x为输入多尺度卷积层的特征，维度为H×W×C，Convk×k(·)表示卷积核大小为k×k的卷积层，输出通道数为 Conv3×3(·)和Conv5×5(·)所提取的特征在通道维度上进行拼接操作后得到大小为H×W×C的特征图。[0031] 进一步地，所述多尺度自适应特征融合模块的工作过程具体包括以下步骤：[0032] 步骤B21：输入为步骤B11中得到的特征图in，将殴特征图in分别送入三个不同大小的卷积核中，得到大小皆为H×W×C的输出，按照如下公式计算：[0033] F1＝Conv3×3(in)[0034] F2＝Conv5×5(in)[0035] F3＝Conv7×7(in)[0036] 其中，Conv3×3(·)、Conv5×5(·)、Conv7×7(·)分别表示卷积核大小为3×3、5×5、7×7的卷积层；[0037] 步骤B22：将步骤B21得到的三个特征F1、F2、F3进行逐元素求和运算，得到大小为H×W×C的特征图F4，再依次送入自适应全局平均池化层、卷积核大小为1×1的卷积层，其后经过PReLU激活函数层，具体计算公式如下：[0038] F4＝F1+F2+F3[0039] F5＝σ(Conv1×1(AvgPool(F4)))[0040] 其中AvgPool(·)表示自适应全局平均池化层，AvgPool(F4)表示将F4在空间维度上做自适应全局平均池化，得到大小为1×1×C的特征向量，C为F4的通道数；Conv1×1(·)表示卷积核大小为1×1的卷积层，用以通道降维，生成紧凑的特征表示，F5的大小为σ(·)表示PReLU激活函数，对通道i的PReLU激活函数定义如下：[0041][0042] 其中，xi表示通道i上的特征，ai表示通道i上需要学习的参数，[0043] 将F5分别送入三个平行的卷积分支用于提升通道维度，再分别与F1、F2、F3相乘后逐元素相加，得到自适应特征选择模块的输出，按如下公式计算：[0044][0045] F6＝l1F1+l2F2+l3F3[0046] 其中， 表示第i个用于提升通道维度的1×1卷积层，Softmax(·)表示Softmax激活函数，输出li大小为1×1×C，F6大小为H×W×C；[0047] 步骤B23：将步骤B21提取的浅层特征图in和步骤B22得到的特征图F6做逐元素求和运算，计算公式如下：[0048] MSAFFout＝in+F6。[0049] 进一步地，所述堆叠式注意力残差模块的工作过程具体包括以下步骤：[0050] 步骤B31：将来自多尺度自适应特征融合模块的输出作为堆叠式注意力残差模块的输入，即,将维度为H×W×C的图像特征MASFFout送入堆叠式注意力残差模块中；所述堆叠式注意力残差模块包含两个注意力块AB，每个注意力块使用一个多尺度卷积层提取不同感受野的特征，再由半双重注意力单元分别从空间和通道维度上获取信息，最后经过实例归一化层得到该块输出，两个块之间由激活函数层连接，具体公式如下所示：[0051] S0＝AB(ξ(AB(MSAFFout)))[0052] 其中，ξ(·)表示ReLU激活函数层，按如下公式定义：[0053][0054] 所述注意力块AB，按照如下公式计算：[0055] AB(x)＝INor(HDAU(Pyconv2(x)))[0056] 其中，x表示输入注意力块AB的特征图，INor表示InstanceNormalization，即实例归一化，用以保持每个图像实例之间的独立，HDAU表示半双重注意力单元，设输入HDAU的特征图为S1，其大小为H×W×C，则HDAU(S1)首先对输入的特征图S1从通道维度上划分为两块S2和S3，大小皆为 其中S2首先经过两个3×3卷积层提取浅层特征，再通道上采样后得到大小为H×W×C的特征，再分别经过空间注意力层和通道注意力层提取空间和通道上的特征信息，得到空间加强特征图和通道加强特征图；[0057] 将得到的空间加强特征图和通道加强特征图在通道维度上进行拼接，然后再通过一个1×1卷积层，使通道数从2C降采样至 以便与S2做逐元素相加运算，得到S2”；而S3上的另一半通道保留上下文信息，与S2”在通道维度上拼接后，经过一个3×3卷积层、一个PReLU激活函数层，最后与经过1×1卷积层的S1逐元素相加得到S4，具体按照如下公式计算：[0058] S′2＝Conv3×3(PReLU(Conv3×3(S2)))[0059] S″2＝Conv1×1(Concat(CA(S′2),SA(S′2)))+S2[0060] S4＝Conv1×1(S1)+PReLU(Conv3×3(Concat(S″2,S3)))[0061] 其中，S2和S3分别为半双重注意力单元的输入特征S1在通道维度上切分操作的结果，Concat(·)表示通道上的拼接操作，PReLU(·)表示PReLU激活函数层，CA(·)和SA(·)分别表示通道注意力层和空间注意力层，Convk×k(·)表示卷积核大小为k×k的卷积层；[0062] 步骤B32：将步骤B31得到的输出S0与输入MSAFFout按逐元素相加后，经过ReLU激活函数层，得到堆叠式注意力残差块的输出Z，按如下公式计算：[0063] Z＝ReLU((S0+MSAFFout))。[0064] 进一步地，所述傅里叶重建模块的工作过程具体包括以下步骤：[0065] 步骤B41：傅里叶重建模块的输入为堆叠式注意力残差块的输出Z，经过二维快速傅里叶分解得到实部R和虚部I，维度都是 从通道维度上拼接得到特征图Z1，维度为 随后经过两个多尺度卷积层和一个激活函数层，得到频域的特征图Z2，其大小为 具体计算公式如下：[0066] R,I＝rfft(Z)[0067] Z1＝Concat(R,I)[0068] Z2＝Pyconv2(ReLU(Pyconv2(Z1)))[0069] 其中，rfft(·)表示二维快速傅里叶分解运算，得到的实部和虚部分别为R和I，Concat(·)表示通道维度上的拼接操作，ReLU(·)表示ReLU激活函数，Pyconv2(·)表示多尺度卷积层，含有两种不同尺寸的卷积核，按照如下公式计算：[0070] Pyconv2(x)＝Concat(Conv3×3(x),Conv5×5(x))[0071] 其中，x为输入多尺度卷积层的特征，维度为H×W×C，Convk×k(·)表示卷积核大小为k×k的卷积层，输出通道数为 Conv3×3(·)和Conv5×5(·)所提取的特征在通道维度上进行拼接操作后得到大小为H×W×C的特征图；[0072] 步骤B42：对步骤B41得到的频域特征图Z2从通道维度上切分，进行复数运算后，使用傅里叶逆变换回到空间域，得到特征Zfft，与Z经过浅卷积提取的特征Zres以及Z本身进行逐元素相加，得到傅里叶重建模块的输出Zout，具体计算公式如下：[0073] R',I'＝chunk2(Z2)[0074] Zfft＝ifft(R'+I'i)[0075] Zres＝Conv3×3(ReLU(Conv3×3(Z)))[0076] Zout＝Zfft+Zres+Z[0077] 其中，chunk2(·)是通道维度上的切分操作，R'和I'分别表示由特征Z2切分得到的新的实部和虚部，i表示虚数单位，ifft(·)表示二维傅里叶逆变换运算，Conv3×3(·)表示卷积核大小为3×3的卷积层，ReLU(·)表示激活函数层。[0078] 进一步地，在步骤C当中：[0079] 所设计的总目标损失函数如下：[0080][0081] 其中，表示总损失函数， 和 分别表示结构损失函数和感知损失函数，λ1和λ2分别是结构损失函数和感知损失函数的系数，·为实数的点乘操作，具体各项损失函数计算公式如下：[0082][0083][0084] 其中，Ioutput为低照度图像增强网络的最终预测结果，Ihigh为对应的正常照度图像，F(·)表示使用VGG16提取的第31个特征图，该特征图的大小为H'×W'×C'；[0085] 训练过程具体为：[0086] 将待训练图像对随机划分为若干个批次，每个批次包含相同数目的配对图像，训练优化网络，直至计算得到的总损失 收敛到阈值或迭代次数达到阈值，则停止训练并保存训练好的模型。[0087] 一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如上所述的基于多尺度堆叠式注意力网络的低照度图像增强方法。[0088] 一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如上所述的基于多尺度堆叠式注意力网络的低照度图像增强方法。[0089] 与现有技术相比，本发明及其优选方案能够充分学习图像多尺度信息，通过堆叠式注意力深度提取图像空间和通道上的特征，利用残差结构聚合信息，显著提升低照度图像质量，较好恢复了细节信息和边缘纹理特征。附图说明[0090] 图1是本发明实施例方法的实现流程图。[0091] 图2是本发明实施例中网络模型结构图。[0092] 图3是本发明实施例中多尺度自适应特征融合结构图。[0093] 图4是本发明实施例中堆叠式注意力残差模块结构图。[0094] 图5是本发明实施例中半双重注意力单元结构图。具体实施方式[0095] 为让本专利的特征和优点能更明显易懂，下文特举实施例，作详细说明如下：[0096] 应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本说明书使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。[0097] 需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。[0098] 本发明提供的基于多尺度堆叠式注意力网络的低照度图像增强方法，如图1‑图5所示，包括以下步骤：[0099] 步骤A：对原始低照度图像和正常照度图像的训练图像对进行预处理，得到原始低照度图像和正常照度图像组成的训练图像对；[0100] 步骤B：设计多尺度堆叠式注意力网络作为低照度图像增强网络，该网络包含多尺度自适应特征融合模块，堆叠式注意力残差模块和傅里叶重建模块；[0101] 步骤C：设计低照度图像增强网络的目标损失函数，训练网络至收敛到阈值或迭代次数达到阈值；[0102] 步骤D：将待测图像输入到所设计的低照度图像增强网络中，利用训练好的网络预测生成正常照度图像。[0103] 进一步地，步骤A包括以下步骤：[0104] A1：随机指定每张图像的切块位置，按照一致的方式处理原始低照度图像及其配对的正常照度图像，得到尺寸为H×W的配对图像块，其中低照度图像为输入，正常照度图像为参考图像；[0105] A2：对所有待训练图像对进行相同的随机翻转旋转操作，以增强数据。[0106] 进一步地，步骤B包括以下步骤：[0107] 步骤B1：设计一种基于多尺度堆叠式注意力的网络，主要包含多尺度自适应特征融合模块，堆叠式注意力残差模块和傅里叶重建模块，能在提升图像亮度的同时尽可能多地保留内容信息；[0108] 步骤B2：设计多尺度自适应特征融合模块，能更好地能提取不同场景下不同尺度的复杂光照以及不同尺度的物体特征；[0109] 步骤B3：设计堆叠式注意力残差模块，用于提取场景中的细节纹理及边缘信息，从而得到更清晰的增强图像；[0110] 步骤B4：设计傅里叶重建模块，有效捕获长期和短期交互，同时集成低频和高频残差信息。[0111] 进一步地，步骤B1包括以下步骤：[0112] 步骤B11：输入是大小为H×W×3的低照度图像，首先经过卷积核为3×3的卷积层进行浅层特征提取后得到大小为H×W×C的特征图in。[0113] 步骤B12：将步骤B11得到的特征图in依次经过多尺度自适应特征融合模块MSAFF，堆叠式注意力残差模块SARM，傅里叶重建模块ResFFT，得到特征图Zout，具体按照如下公式计算：[0114] Zout＝Concat(ResFFT(SARM((MSAFF(in)))),in)[0115] 其中，Concat(·)为通道上的拼接操作。[0116] 步骤B13：步骤B12得到的特征图Zout经过多尺度卷积层和激活函数层后，得到最终的预测图像output，即增强后的低照度图像，具体计算公式如下：[0117] output＝Sigmoid(Conv3×3(Pyconv2(Concat(Zout,in))))[0118] 其中，Sigmoid(·)表示Sigmoid激活函数层，Pyconv2(·)表示多尺度卷积层，含有两种不同尺寸的卷积核，按照如下公式计算：[0119] Pyconv2(x)＝Concat(Conv3×3(x),Conv5×5(x))[0120] 其中，x为输入多尺度卷积层的特征，维度为H×W×C，Convk×k(·)表示卷积核大小为k×k的卷积层，输出通道数为 Conv3×3(·)和Conv5×5(·)所提取的特征在通道维度上进行拼接操作后得到大小为H×W×C的特征图。[0121] 进一步地，步骤B2包括以下步骤：[0122] 步骤B21：在多尺度自适应特征融合模块中，输入为步骤B11中得到的特征图in，将特征图in分别送入三个不同大小的卷积核中，得到大小皆为H×W×C的输出，按照如下公式计算：[0123] F1＝Conv3×3(in)[0124] F2＝Conv5×5(in)[0125] F3＝Conv7×7(in)[0126] 其中，Conv3×3(·)、Conv5×5(·)、Conv7×7(·)分别表示卷积核大小为3×3、5×5、7×7的卷积层，不同的卷积核能够捕获不同尺度感受野的信息，有效聚合空间信息，更好地表示复杂场景下的特征；[0127] 步骤B22：将步骤B21得到的三个特征F1、F2、F3送入多尺度自适应特征融合模块MSAFF，首先将三个特征进行逐元素求和运算，得到大小为H×W×C的特征图F4，再依次送入自适应全局平均池化层、卷积核大小为1×1的卷积层，其后经过PReLU激活函数层，具体计算公式如下：[0128] F4＝F1+F2+F3[0129] F5＝σ(Conv1×1(AvgPool(F4)))[0130] 其中AvgPool(·)表示自适应全局平均池化层，AvgPool(F4)表示将F4在空间维度上做自适应全局平均池化，得到大小为1×1×C的特征向量，C为F4的通道数；Conv1×1(·)表示卷积核大小为1×1的卷积层，用以通道降维生成紧凑的特征表示，F5的大小为 σ(·)表示PReLU激活函数，对通道i的PReLU激活函数定义如下：[0131][0132] 其中，xi表示通道i上的特征，ai表示通道i上需要学习的参数，[0133] 将F5分别送入三个平行的卷积分支用于提升通道维度，再分别与F1、F2、F3相乘后逐元素相加，得到自适应特征选择模块的输出，按如下公式计算：[0134][0135] F6＝l1F1+l2F2+l3F3[0136] 其中， 表示第i个用于提升通道维度的1×1卷积层，Softmax(·)表示Softmax激活函数，输出li大小为1×1×C，F6大小为H×W×C。[0137] 步骤B23：将步骤B21提取的浅层特征图in和步骤B22得到的特征图F6做逐元素求和运算，计算公式如下：[0138] MSAFFout＝in+F6。[0139] 进一步地，步骤B3包括以下步骤：[0140] 步骤B31：将来自多尺度自适应特征融合模块的输出作为堆叠式注意力残差模块的输入，即将维度为H×W×C的图像特征MASFFout送入堆叠式注意力残差模块中，堆叠式注意力残差模块包含两个注意力块AB，每个块使用一个多尺度卷积层提取不同感受野的特征，再由半双重注意力单元分别从空间和通道维度上获取信息，最后经过实例归一化层得到该块输出，两个块之间由激活函数层连接，具体公式如下所示：[0141] S0＝AB(ξ(AB(MSAFFout)))[0142] 其中，ξ(·)表示ReLU激活函数层，按如下公式定义：[0143][0144] 其中，x表示输入ReLU函数的值。[0145] 设计步骤B31中的注意力块AB，按照如下公式计算：[0146] AB(x)＝INor(HDAU(Pyconv2(x)))[0147] 其中，x表示输入注意力块AB的特征图，INor表示InstanceNormalization，即实例归一化，用以保持每个图像实例之间的独立，HDAU表示半双重注意力单元，假设输入HDAU的特征图为S1，其大小为H×W×C，则HDAU(S1)首先对输入的特征图S1从通道维度上划分为两块S2和S3，大小皆为 其中S2首先经过两个3×3卷积层提取浅层特征，再通道上采样后得到大小为H×W×C的特征，再分别经过空间注意力层和通道注意力层提取空间和通道上的特征信息，得到空间加强特征图和通道加强特征图，将得到的空间加强特征图和通道加强特征图在通道维度上进行拼接，然后再通过一个1×1卷积层，使通道数从2C降采样至 以便与S2做逐元素相加运算，得到S2”。而S3上的另一半通道保留上下文信息，与S2”在通道维度上拼接后，经过一个3×3卷积层、一个PReLU激活函数层，最后与经过1×1卷积层的S1逐元素相加得到S4，具体按照如下公式计算：[0148] S′2＝Conv3×3(PReLU(Conv3×3(S2)))[0149] S″2＝Conv1×1(Concat(CA(S′2),SA(S′2)))+S2[0150] S4＝Conb1×1(S1)+PReLU(Conv3×3(Concat(S″2,S3)))[0151] 其中，S2和S3分别为半双重注意力单元的输入特征S1在通道维度上切分操作的结果，Concat(·)表示通道上的拼接操作，PReLU(·)表示PReLU激活函数层，CA(·)和SA(·)分别表示通道注意力层和空间注意力层，Convk×k(·)表示卷积核大小为k×k的卷积层。[0152] 步骤B32：将步骤B31得到的输出S0与输入,SAFFout按逐元素相加后，经过ReLU激活函数层，得到堆叠式注意力残差块的输出Z，按如下公式计算：[0153] Z＝ReLU((S0+MSAFFout))。[0154] 进一步地，步骤B4包括以下步骤：[0155] 步骤B41：傅里叶重建模块的输入为前序模块的输出Z，经过二维快速傅里叶分解得到实部R和虚部I，维度都是 从通道维度上拼接得到特征图Z1，维度为随后经过两个多尺度卷积层和一个激活函数层，得到频域的特征图Z2，其大小为具体计算公式如下：[0156] R,I＝rfft(Z)[0157] Z1＝Concat(R,I)[0158] Z2＝Pyconv2(ReLU(Pyconv2(Z1)))[0159] 其中，rfft(·)表示二维快速傅里叶分解运算，得到的实部和虚部分别为R和I，Concat(·)表示通道维度上的拼接操作，ReLU(·)表示ReLU激活函数，Pyconv2表示与步骤B13中相同的含有两种不同尺寸卷积核的卷积层。[0160] 步骤B42：对步骤B41得到的频域特征图Z2从通道维度上切分，进行复数运算后，使用傅里叶逆变换回到空间域，得到特征Zfft，与Z经过浅卷积提取的特征Zres以及残差傅里叶模块输入Z进行逐元素相加，得到该模块的输出Zout，具体计算公式如下：[0161] R',I'＝chunk2(Z2)[0162] Zfft＝ifft(R'+I'i)[0163] Zres＝Conv3×3(ReLU(Conv3×3(Z)))[0164] Zout＝Zfft+Zres+Z[0165] 其中，chunk2(·)是通道维度上的切分操作，R'和I'分别表示由特征Z2切分得到的新的实部和虚部，i表示虚数单位，ifft(·)表示二维傅里叶逆变换运算，Conv3×3(·)表示卷积核大小为3×3的卷积层，ReLU(·)表示激活函数层。[0166] 进一步地，步骤C包括以下步骤：[0167] 步骤C1：设计网络目标损失函数，总目标损失函数如下：[0168][0169] 其中，表示总损失函数， 和 分别表示结构损失函数和感知损失函数，λ1和λ2分别是其系数，·为实数的点乘操作，具体各项损失函数计算公式如下：[0170][0171][0172] 其中，Ioutput为低照度图像增强网络的最终预测结果，Ihigh为对应的正常照度图像，F(·)表示使用VGG16提取的第31个特征图，该特征图的大小为H'×W'×C′。[0173] 步骤C2：将待训练图像对随机划分为若干个批次，每个批次包含相同数目的配对图像，训练优化网络，直至步骤C1中计算得到的总损失 收敛到阈值或迭代次数达到阈值，并保存训练好的模型。[0174] 本领域内的技术人员应明白，本发明的实施例可提供为方法、装置、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD‑ROM、光学存储器等)上实施的计算机程序产品的形式。[0175] 本发明是参照根据本发明实施例的方法、设备(装置)、和计算机程序产品的流程图来描述的。应理解可由计算机程序指令实现流程图中的每一流程、以及流程图中的流程结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程中指定的功能的装置。[0176] 这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程图中指定的功能。[0177] 这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程中指定的功能的步骤。[0178] 以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。[0179] 本专利不局限于上述最佳实施方式，任何人在本专利的启示下都可以得出其它各种形式的基于多尺度堆叠式注意力网络的低照度图像增强方法，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本专利的涵盖范围。

专利地区：福建

专利申请日期：2022-06-14

专利公开日期：2024-07-26

专利公告号：CN114972107B