一种循环神经网络运动模糊复原方法发明专利

专利名称：一种循环神经网络运动模糊复原方法

专利类型：发明专利

专利申请号：CN202010560115.1

专利申请（专利权）人：杭州电子科技大学
权利人地址：浙江省杭州市江干区下沙高教园区

专利发明（设计）人：崔光茫,叶晓杰,赵巨峰,朱礼尧

专利摘要：本发明提出一种循环神经网络运动模糊复原方法，包括以下步骤：设定码字目标函数；通过遗传算法获得最优码字；获取模糊图像；预处理数据，生成数据集；利用数据集训练长短期记忆网络；将测试图像输入到训练好的长短期记忆网络，得到复原图像。本发明采用编码曝光成像模式，首先根据编码要求进行最优码字搜索，采用了长短期记忆网络进行网络训练，最终训练得到一张高分辨率图像。

主权利要求：
1.一种循环神经网络运动模糊复原方法，其特征是，包括以下步骤：S1，设定码字目标函数；目标函数公式如下所示：
其中S表示二进制码字序列，F()表示离散傅里叶变换操作，min()表示计算最小值操作，var()表示计算方差操作，n表示二进制码字长度，α1，α2表示各自的权重系数；
S2，通过遗传算法获得最优码字；将步骤S1中所设定的目标函数加入遗传算法中作为其算法搜索准则，设定一定的迭代次数和种群大小，通过遗传，变异，交叉算子进行码字搜索，最终通过码字搜索准则进行最终码字删选，得到一组最优码字种群；
S3，获取模糊图像，通过灰点相机采集到一定数量帧的连续图像；相机快门采用单片机进行控制，通过步骤1中获取得到的码字进行设置，其序列码字中0代表快门闭合，单片机发送低电平，1代表快门打开，单片机发送高电平；
S4，预处理数据，生成数据集；
S5，利用数据集训练长短期记忆网络；
S6，将测试图像输入到训练好的长短期记忆网络，得到复原图像。
2.根据权利要求1所述的一种循环神经网络运动模糊复原方法，其特征是，所述S4具体包括：在LIVE数据库中下载得到数据集，对数据集进行模拟仿真编码曝光实验，对每张图像分别生成n张对应码字的模糊图像，并设定模糊尺度。
3.根据权利要求1所述的一种循环神经网络运动模糊复原方法，其特征是，所述S5具体包括：长短期记忆网络将所有有用信息存储在一个细胞状态中，S501，设定一个遗忘门，从细胞状态中丢弃信息；
S502，设定一个确定信息门，让新的信息加入到细胞状态中；
S503，设定一个输出信息门，决定最终需要输出的细胞状态。
4.根据权利要求3所述的一种循环神经网络运动模糊复原方法，其特征是，所述S501具体包括：读取ht‑1和xt，输出一个在0到1之间的数值，其构成一个矩阵T,将矩阵T通过一个sigmoid激活函数后与细胞状态Ct‑1进行点乘操作，得到遗忘后的输出G1，其具体公式如下：G1＝Ct‑1.*σ(Wf·[ht‑1,xt]+bf)
其中σ表示sigmoid激活函数，Wf，bf分别表示权重值和偏置值，ht‑1表示上一个cell的输出，xt表示当前的输入。
5.根据权利要求4所述的一种循环神经网络运动模糊复原方法，其特征是，所述S502具体包括：通过一个sigmoid层来决定需要更新的信息，输出定义为it；通过一个tanh层生成一个向量，用来更新的内容，输出定义为 将两部分进行点乘操作，即得到对细胞状态的一个更新，其具体公式如下所示：it＝σ(Wi·[ht‑1,xt]+bi)
其中Wi，bi，Wc，bc分别表示各自激活函数的权重值和偏置值。
6.根据权利要求3所述的一种循环神经网络运动模糊复原方法，其特征是，所述S503具体包括：首先通过一个sigmoid层来确定中需要输出的部分，其输出的部分定义为ot，之后将细胞状态通过tanh层进行处理并将其与ot进行点乘，最终输出确定输出的部分ht，其公式如下所示：ot＝σ(Wo[ht‑1,xt]+bo)
ht＝ot.*tanh(Ct)
其中W0，b0表示该层激活函数的权重值和偏置值。 说明书 : 一种循环神经网络运动模糊复原方法技术领域[0001] 本发明涉及计算光学成像领域和深度学习技术领域，尤其是涉及一种循环神经网络运动模糊复原方法。背景技术[0002] 运动模糊图复原一直是图像复原的一个重要研究课题。运动模糊原因主要是由于在拍摄运动目标时，时常会遇到在相机曝光时间内运动目标和成像系统发生相对运动，造成成像运动模糊，导致图像分辨率下降。传统成像过程中，相机快门一直处于开启状态，其在卷积滤波器上一定会存在着许多频域零点，造成滤波器不可逆，使得运动模糊成为了一个病态性的问题。[0003] 为了解决运动模糊图像的病态问题，研究者从图像的成像模式和深度学习图像复原两个角度出发进行研究。针对成像模式，相机闪动快门成像是一种新型成像模式，它解决了传统成像复原的病态性。其主要原理为通过预先设置一定的二进制序列来控制相机的快门开关，相当于一个宽带滤波器，在保留图像高频信息的同时在频域上不存在零点。针对深度学习图像复原，研究发现，基于循环神经网络的图像复原能够充分利用多帧图像之间的信息，并保存前一帧图像中复原效果较好的部分，从而得到一个较好的复原效果。韩明钰提出了一种基于循环神经进行图像超分辨方法，实验表明，多帧低质图像经过循环神经网络进行超分辨后能够得到一张较好的高分辨图像。[0004] 目前为止循环神经网络在图像复原方面有着较好的发展，但是在图像的预获取和在训练循环神经网络结构方面人就存在着些许不足。发明内容[0005] 本发明解决了由于相机和景物之间的相对运动所造成的运动模糊问题，提出一种循环神经网络运动模糊复原方法，采用编码曝光成像模式，首先根据编码要求进行最优码字搜索，采用了长短期记忆网络进行网络训练。[0006] 为实现上述目的，本发明提供以下的技术方案：[0007] 一种循环神经网络运动模糊复原方法，包括以下步骤：[0008] S1，设定码字目标函数；[0009] S2，通过遗传算法获得最优码字；[0010] S3，获取模糊图像；[0011] S4，预处理数据，生成数据集；[0012] S5，利用数据集训练长短期记忆网络；[0013] S6，将测试图像输入到训练好的长短期记忆网络，得到复原图像。[0014] 长短期记忆网络将所有有用信息存储在一个细胞状态中，通过设定三种结构门来使保存之前帧图像信息，同时能够删除信息和添加信息。门可以实现选择性的让信息通过，其内部实现主要由一个sigmoid的神经层和一个逐点相乘的操作来实现。长短期记忆网络通过多层该结构进行训练，其反向传播与BP算法一致，通过梯度下降算法进行目标优化，最终的到训练完成的网络。[0015] 现有的图像复原技术都是基于图像的一些复原算法，本发明从图像获取角度出发，提出采用编码曝光成像技术获取连续帧间图像，能够有效的保留原始图像的高频信息，同时解决图像反卷积过程中由于频域零点所造成的图像不可逆；连续帧图像能够在图像复原过程中提供图像细节部分的互补信息，弥补了单帧图像复原过程中信息单一，噪声干扰等缺点。复原方面引入了长短期记忆网络，能够充分结合多帧图像的细节信息，最终训练得到一张高分辨率图像。[0016] 作为优选，所述步骤S1具体包括：目标函数公式如下所示：[0017][0018] 其中S表示二进制码字序列，F()表示离散傅里叶变换操作，min()表示计算最小值操作，var()表示计算方差操作，n表示二进制码字长度，α1，α2表示各自的权重系数。实验中其各自全权重系数分别为a1＝0.4，a2＝0.6。编码曝光成像最为一种最新的成像模式，其将传统成像中的低通滤波器改变为带通滤波器，使其在成像过程中能够保留更多的图像细节信息。[0019] 作为优选，所述步骤S2具体包括：将步骤S1中所设定的目标函数加入遗传算法中作为其算法搜索准则，设定一定的迭代次数和种群大小，实验中，设定其迭代次数为50次，种群大小为50。通过遗传，变异，交叉算子进行码字搜索，最终通过码字搜索准则进行最终码字删选，通过迭代50次，最终得到一组最优码字种群。[0020] 作为优选，所述步骤S3具体包括：采用灰点相机获取图像，相机快门采用STM32单片机进行控制，通过步骤1种获取得到的码字进行设置，其序列码字中0代表快门闭合，单片机发送低电平，1代表快门打开，单片机发送高电平。通过相机采集到一定数量帧的连续图像。[0021] 作为优选，所述步骤S4具体包括：在LIVE数据库中下载得到数据集，对数据集进行模拟仿真编码曝光实验，对每张图像分别生成n张对应码字的模糊图像，并设定模糊尺度。[0022] 作为优选，所述步骤S5具体包括：长短期记忆网络将所有有用信息存储在一个细胞状态中，[0023] S501，设定一个遗忘门，从细胞状态中丢弃信息；[0024] S502，设定一个确定信息门，让新的信息加入到细胞状态中；[0025] S503，设定一个输出信息门，决定最终需要输出的细胞状态。[0026] 作为优选，所述步骤S501具体包括：读取ht‑1和xt，输出一个在0到1之间的数值，其构成一个矩阵T,将矩阵T通过一个sigmoid激活函数后与细胞状态Ct‑1进行点乘操作，得到遗忘后的输出G1，其具体公式如下：[0027] G1＝Ct‑1.*σ(Wf·[ht‑1,xt]+bf)[0028] 其中σ表示sigmoid激活函数，Wf，bf分别表示权重值和偏置值，ht‑1表示上一个cell的输出，xt表示当前的输入。[0029] 作为优选，所述步骤S502具体包括：通过一个sigmoid层来决定需要更新的信息，输出定义为it；通过一个tanh层生成一个向量，用来更新的内容，输出定义为 将两部分进行点乘操作，即得到对细胞状态的一个更新，其具体公式如下所示：[0030] it＝σ(Wi·[ht‑1,xt]+bi)[0031][0032] 其中Wi，bi，Wc，bc分别表示各自激活函数的权重值和偏置值。[0033] 作为优选，所述步骤S503具体包括：首先通过一个sigmoid层来确定中需要输出的部分，其输出的部分定义为ot，之后将细胞状态通过tanh层进行处理并将其与ot进行点乘，最终输出确定输出的部分ht，其公式如下所示：[0034] ot＝σ(Wo[ht‑1,xt]+bo)[0035] ht＝ot.*tanh(Ct)[0036] 其中Wo，xt表示该层激活函数的权重值和偏置值。[0037] 本发明有以下有益效果：从图像获取角度出发，采用编码曝光成像技术获取连续帧间图像，能够有效的保留原始图像的高频信息，同时解决图像反卷积过程中由于频域零点所造成的图像不可逆；连续帧图像能够在图像复原过程中提供图像细节部分的互补信息，弥补了单帧图像复原过程中信息单一，噪声干扰等缺点；复原方面引入了长短期记忆网络，能够充分结合多帧图像的细节信息，最终训练得到一张高分辨率图像。附图说明[0038] 图1为本发明中长短期记忆网络的主要结构图；[0039] 图2为本发明中长短期记忆网络的遗忘门结构图；[0040] 图3为本发明中长短期记忆网络的确定信息门结构图；[0041] 图4为本发明中长短期记忆网络的输出信息门结构图；[0042] 图5为本发明中的具体操作流程图。具体实施方式[0043] 实施例：[0044] 本实施例提出一种循环神经网络运动模糊复原方法，参考图5，包括以下步骤：[0045] S1，设定码字目标函数；[0046] 步骤S1具体包括：目标函数公式如下所示：[0047][0048] 其中S表示二进制码字序列，F()表示离散傅里叶变换操作，min()表示计算最小值操作，var()表示计算方差操作，n表示二进制码字长度，α1，α2表示各自的权重系数。实验中其各自全权重系数分别为a1＝0.4，a2＝0.6。编码曝光成像最为一种最新的成像模式，其将传统成像中的低通滤波器改变为带通滤波器，使其在成像过程中能够保留更多的图像细节信息。[0049] S2，通过遗传算法获得最优码字；[0050] 步骤S2具体包括：将步骤S1中所设定的目标函数加入遗传算法中作为其算法搜索准则，设定一定的迭代次数和种群大小，实验中，设定其迭代次数为50次，种群大小为50。通过遗传，变异，交叉算子进行码字搜索，最终通过码字搜索准则进行最终码字删选，通过迭代50次，最终得到一组最优码字种群。[0051] S3，获取模糊图像；[0052] 步骤S3具体包括：采用灰点相机获取图像，相机快门采用STM32单片机进行控制，通过步骤1种获取得到的码字进行设置，其序列码字中0代表快门闭合，单片机发送低电平，1代表快门打开，单片机发送高电平。通过相机采集到一定数量帧的连续图像。[0053] S4，预处理数据，生成数据集；[0054] 步骤S4具体包括：在LIVE数据库中下载得到数据集，对数据集进行模拟仿真编码曝光实验，对每张图像分别生成50张对应码字的模糊图像，并设定模糊尺度为15。[0055] S5，利用数据集训练长短期记忆网络；[0056] 参考图1，步骤S5具体包括：长短期记忆网络将所有有用信息存储在一个细胞状态中，[0057] 参考图2，S501，设定一个遗忘门，从细胞状态中丢弃信息；[0058] 步骤S501具体包括：读取ht‑1和xt，输出一个在0到1之间的数值，其构成一个矩阵T,将矩阵T通过一个sigmoid激活函数后与细胞状态Ct‑1进行点乘操作，得到遗忘后的输出G1，其具体公式如下：[0059] G1＝Ct‑1.*σ(Wf·[ht‑1,xt]+bf)[0060] 其中σ表示sigmoid激活函数，Wf，bf分别表示权重值和偏置值，ht‑1表示上一个cell的输出，xt表示当前的输入。[0061] 参考图3，S502，设定一个确定信息门，让新的信息加入到细胞状态中；[0062] 步骤S502具体包括：通过一个sigmoid层来决定需要更新的信息，输出定义为it；通过一个tanh层生成一个向量，用来更新的内容，输出定义为 将两部分进行点乘操作，即得到对细胞状态的一个更新，其具体公式如下所示：[0063] it＝σ(Wi·[ht‑1,xt]+bi)[0064][0065] 其中Wi，bi，Wc，bc分别表示各自激活函数的权重值和偏置值。[0066] 参考图4，S503，设定一个输出信息门，决定最终需要输出的细胞状态。[0067] 步骤S503具体包括：首先通过一个sigmoid层来确定中需要输出的部分，其输出的部分定义为ot，之后将细胞状态通过tanh层进行处理并将其与ot进行点乘，最终输出确定输出的部分ht，其公式如下所示：[0068] ot＝σ(Wo[ht‑1,xt]+bo)[0069] ht＝ot.*tanh(Ct)[0070] 其中Wo，xt表示该层激活函数的权重值和偏置值。[0071] 初始化网络权重值，偏置值，每层网络设置其初始权重值和偏置值分布为均值为0，方差为1的均匀分布。将步骤S4中的数据集输入长短期记忆网络，网络设定的长短期记忆网络结构网络为50层，使其与输出图像帧数相对应。[0072] S6，将测试图像输入到训练好的长短期记忆网络，得到复原图像。[0073] 长短期记忆网络将所有有用信息存储在一个细胞状态中，通过设定三种结构门来使保存之前帧图像信息，同时能够删除信息和添加信息。门可以实现选择性的让信息通过，其内部实现主要由一个sigmoid的神经层和一个逐点相乘的操作来实现。长短期记忆网络通过多层该结构进行训练，其反向传播与BP算法一致，通过梯度下降算法进行目标优化，最终的到训练完成的网络。[0074] 现有的图像复原技术都是基于图像的一些复原算法，本发明从图像获取角度出发，提出采用编码曝光成像技术获取连续帧间图像，能够有效的保留原始图像的高频信息，同时解决图像反卷积过程中由于频域零点所造成的图像不可逆；连续帧图像能够在图像复原过程中提供图像细节部分的互补信息，弥补了单帧图像复原过程中信息单一，噪声干扰等缺点。复原方面引入了长短期记忆网络，能够充分结合多帧图像的细节信息，最终训练得到一张高分辨率图像。[0075] 本发明有以下有益效果：从图像获取角度出发，采用编码曝光成像技术获取连续帧间图像，能够有效的保留原始图像的高频信息，同时解决图像反卷积过程中由于频域零点所造成的图像不可逆；连续帧图像能够在图像复原过程中提供图像细节部分的互补信息，弥补了单帧图像复原过程中信息单一，噪声干扰等缺点；复原方面引入了长短期记忆网络，能够充分结合多帧图像的细节信息，最终训练得到一张高分辨率图像。

专利地区：浙江

专利申请日期：2020-06-18

专利公开日期：2024-07-26

专利公告号：CN111833266B