基于迁移学习的偏振图像去噪方法发明专利

专利名称：基于迁移学习的偏振图像去噪方法

专利类型：发明专利

专利申请号：CN202210501390.5

专利申请（专利权）人：天津大学
权利人地址：天津市南开区卫津路92号

专利发明（设计）人：胡浩丰,金慧烽,翟京生,刘贺东,孙万忠,程振洲

专利摘要：本发明公开了一种基于迁移学习的偏振图像去噪方法，可实现数据集较少情况下的深度学习偏振图像去噪。包括：1)使用大规模彩色噪声图像数据集训练一个卷积神经网络学习彩色图像的噪声分布，将训练好的参数传递给偏振图像去噪网络；2)使用少量的偏振噪声图像数据集训练该网络，使网络针对偏振噪声图像进行微调，并使用自适应偏振三通道损失函数引导网络输出噪声图像与无噪声图像的残差图；3)通过残差连接获得高信噪比的图像。该方法结合卷积神经网络和迁移学习，构建了基于小数据集的深度学习偏振图像去噪模型，并使用自适应三偏振通道损失函数对模型加以约束，实现小样本条件下对偏振图像噪声的有效去除，尤其在低信噪比情况下去噪效果显著。

主权利要求：
1.一种基于迁移学习的偏振图像去噪方法，其特征在于使用大规模的彩色噪声图像数据集预训练卷积神经网络，并通过参数迁移和参数固定的方法使网络在小样本下实现偏振图像去噪，包括以下步骤：步骤1.使用大规模的彩色噪声图像数据集作为源领域数据集；使用少量的偏振噪声图像数据集作为目标领域数据集；
步骤2.对源领域的彩色噪声图像数据集和目标领域的偏振噪声图像数据集进行预处理，并将数据集划分为训练集、测试集、验证集以用于网络训练；
步骤3.搭建彩色图像去噪网络和偏振图像去噪网络，并将预处理后的彩色噪声图像数据集的训练集输入彩色图像去噪网络进行网络训练，同时使用验证集防止网络过拟合，最后使用测试集测试最后效果，得到理想的彩色图像去噪网络；
步骤4.将训练好的彩色图像去噪网络的参数迁移到偏振图像去噪网络，并固定前一半网络的参数，将偏振噪声图像数据集的训练集输入偏振图像去噪网络，并使用自适应三偏振通道损失函数引导训练，同时使用验证集防止网络过拟合，实现偏振图像去噪；
步骤5.使用训练好的偏振图像去噪网络对偏振噪声图像数据集的测试集进行测试，从网络模型的输出层得到残差图，然后利用输入的噪声图像和残差图得到预测的偏振去噪图像。
2.根据权利要求1所述的基于迁移学习的偏振图像去噪方法，其特征在于，所述彩色噪声图像数据集和偏振噪声图像数据集的获取方法如下：彩色噪声图像和偏振噪声图像均在真实环境下拍摄，并在控制曝光时间的同时控制增益或感光度来获取配对的噪声图片和无噪声图片，不同水平的噪声通过设置不同曝光时间或者感光度获取。
3.根据权利要求1所述的基于迁移学习的偏振图像去噪方法，其特征在于，所述数据集预处理方法是：对偏振噪声图像和彩色噪声图像的亮度进行统一，通过计算图像平均亮度的方法让数据集的图片亮度一致，然后对图像像素进行归一化；对于彩色噪声图像，转化为RGB三通道图作为输入；对于偏振噪声图像，选取三个偏振角度合成三通道偏振噪声图像作为神经网络的输入。
4.根据权利要求1所述基于迁移学习的偏振图像去噪方法，其特征在于，所述偏振图像去噪网络的设计与搭建方法是：首先使用易于获得的彩色噪声图像数据集训练彩色图像去噪网络，使得网络能够获得较好的浅层特征提取能力，并能够去除真实世界彩色图像的噪声；将训练好的彩色图像去噪网络参数迁移到偏振图像去噪网络后，在固定前一半层参数以保存浅层特征提取能力的基础上，通过使用很少的偏振噪声图像数据集微调深层特征提取能力，即可获得偏振图像去噪网络。
5.根据权利要求1所述的基于迁移学习的偏振图像去噪方法，其特征在于，所述自适应三偏振通道损失函数的设计方法如下：对偏振图像去噪网络输出的高信噪比图像和真实无噪声图像的三个偏振通道，分别计算绝对值误差，并按照各自大小的比例作为权重相加，并且随着训练动态调整每个通道损失的权重。 说明书 : 基于迁移学习的偏振图像去噪方法技术领域[0001] 本发明涉及偏振成像技术领域，特别涉及一种在小样本下基于迁移学习的深度学习偏振图像去噪方法。背景技术[0002] 偏振成像技术通过光的偏振特性获取目标场景的偏振信息并由此实现多尺度的目标探测和识别。但是在非理想环境，特别是在弱光照或者低曝光时间的条件下采集图像，将会降低图像信噪比，而偏振度、偏振角的计算对噪声极为敏感，因此过高的噪声会影响偏振信息重构的准确性，使得图像信息淹没在噪声中。就图像去噪质量而言，目前效果最好的非数据驱动型方法是基于三维相似块匹配的方法。但是偏振图像各个通道之间具有物理相关性，如果直接将传统数字图像的去噪方法应用于偏振图像，将会显著丢失偏振信息。如今深度学习技术已经应用于多个图像复原领域，包括图像去噪领域。但深度学习依赖于大量的数据集，而且为了保证网络的普适性，需要不同场景、不同噪声水平的偏振图像数据集。而偏振噪声图像数据集的获取对于设备、环境有着较高的要求，数据获取成本高，难以大量获取，而获取多组不同场景、不同噪声水平的偏振噪声图像大规模数据更是难以实现，因此小样本下的深度学习偏振图像去噪技术具有重要意义。发明内容[0003] 本发明旨在解决数据集较少情况下使用深度学习实现偏振图像去噪的问题，提供一种基于迁移学习的偏振图像去噪方法。[0004] 本发明提供的基于迁移学习的偏振图像去噪方法，使用大规模的彩色噪声图像数据集预训练卷积神经网络，并通过参数迁移和参数固定的方法使网络在小样本下实现偏振图像去噪，包括以下步骤：[0005] 1)使用大规模的彩色噪声图像数据集作为源领域数据集；使用少量的偏振噪声图像数据集作为目标领域数据集；[0006] 2)对源领域的彩色噪声图像数据集和目标领域的偏振噪声图像数据集进行预处理，并将数据集划分为训练集、测试集、验证集以用于网络训练；[0007] 所述数据集预处理是对偏振噪声图像和彩色噪声图像的亮度进行统一，通过计算图像平均亮度的方法让数据集的图片亮度一致，然后对图像像素进行归一化；对于彩色噪声图像，转化为RGB三通道图作为输入；对于偏振噪声图像，选取三个偏振角度合成三通道偏振噪声图像作为神经网络的输入；[0008] 3)搭建彩色图像去噪网络和偏振图像去噪网络，并将预处理好的彩色噪声图像数据集的训练集输入彩色图像去噪网络进行网络训练，同时使用验证集防止网络过拟合，最后使用测试集测试最后效果，得到理想的训练好的彩色图像去噪网络；[0009] 4)将训练好的彩色图像去噪网络的参数迁移到偏振图像去噪网络，并固定前一半网络的参数，将偏振噪声图像数据集的训练集输入偏振图像去噪网络，并使用自适应三偏振通道损失函数引导训练，同时使用验证集防止网络过拟合，实现偏振图像去噪；[0010] 所述偏振图像去噪网络的设计与搭建方法是：[0011] 首先使用易于获得的彩色噪声图像数据集训练彩色图像去噪网络，使得网络能够获得较好的浅层特征提取能力，并能够去除真实世界彩色图像的噪声；而由于真实彩色噪声图像的噪声分布与真实偏振噪声图像相似，因此将训练好的彩色图像去噪网络参数迁移到偏振图像去噪网络后，在固定前一半层参数以保存浅层特征提取能力的基础上，通过使用很少的偏振噪声图像数据集微调深层特征提取能力，即可获得偏振图像去噪网络；[0012] 所述自适应三偏振通道损失函数的设计方法是：[0013] 对偏振图像去噪网络输出的高信噪比图像和真实无噪声图像的三个偏振通道，分别计算绝对值误差，并按照各自大小的比例分配权重相加，并且随着训练动态调整每个通道损失的权重；[0014] 5)使用训练好的偏振图像去噪网络对偏振噪声图像数据集的测试集进行测试，从网络模型的输出层得到残差图，然后利用输入的噪声图像和残差图得到预测的偏振去噪图像。[0015] 本发明的有益效果及优点在于：[0016] 1、本发明公开一种基于迁移学习的小样本偏振图像去噪方法，主要使用基于迁移学习的参数迁移方法实现小样本去噪。迁移学习可以将网络在源领域的大数据集上学习的特征提取能力和去噪能力迁移到目标偏振图像去噪领域，并通过小规模的偏振图像数据集进行微调实现偏振图像去噪。[0017] 2、本发明公开一种用于神经网络的自适应三偏振通道损失函数，主要采用三个偏振通道的绝对值损失。通过平衡三个偏振通道的损失，可以避免网络过于偏向某个通道，从而陷于局部最小值，有助于网络在小数据集下的收敛。附图说明[0018] 图1为根据本发明一个实施例的小样本下基于迁移学习偏振图像去噪方法的流程图；[0019] 图2为根据本发明一个实施例的构建迁移学习深度神经网络的结构示意图；[0020] 图3为根据本发明一个实施例的迁移学习中深度神经网络的训练流程示意图；[0021] 图4为根据本发明一个实施例的使用一组图像训练的网络的去噪效果。具体实施方式[0022] 实施例[0023] 下面结合附图详细描述本发明的实施例，所述实施例的示例在附图中示出。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。[0024] 下面参照附图描述根据本发明实施例提出的小样本下基于迁移学习的偏振图像去噪方法。[0025] 图1是本发明提供的一种小样本下基于迁移学习的偏振图像去噪方法的流程图，具体包括以下步骤：[0026] S1，获取彩色图像数据集和偏振图像数据集。彩色数据集通过使用多种设备，例如手机、数码相机等，在不同场景下通过控制感光度分别获取噪声图像和无噪声图像。偏振图像的获取可以使用偏振相机，将短曝光时间高增益的条件下采集的图像作为噪声图像，在低增益和长曝光时间条件下采集的多张图片的平均作为标签。采集噪声图像和无噪图像对的时候需要同时调节增益和曝光时间，让噪声图像和无噪图像的光强值基本保持一致。[0027] S2，进行数据预处理。对于彩色图像，将采集的图片转换到RGB空间，合成为RGB图片。对于偏振图像，先将采集的噪声图像和无噪图像拆分为四个不同偏振角度的子图，并合并成四个通道，选择其中三个通道分别进行亮度对齐，然后将噪声图像和无噪图像都裁剪为64×64大小的图像块。假设输入图像每个通道中，噪声图像Iθn，无噪图像Iθ和噪声nθ三者满足：[0028][0029] 其中θ＝0°，45°，90°。[0030] 最后将数据集按照1:10:10的比例拆分为训练集，验证集和测试集。[0031] S3，搭建两个结构相同的残差密集神经网络，一个作为彩色图像去噪网络，另一个作为偏振图像去噪网络，如图2所示。网络主要由多个残差密集模块组成，每个网络都有16个残差密集模块，网络采用的激活函数为线性修正单元ReLU函数。[0032] S4，训练流程如图3所示，首先将步骤S1获得的彩色噪声图像数据集输入彩色图像去噪网络，将均方误差作为损失函数，引导网络进行训练，网络经过训练后将得到彩色去噪图像。假设网络得到的从噪声图像到高噪声图的映射为FRGB，网络各个卷积的权重为wRGB，则输出的彩色去噪图像 和输入的彩色噪声图像 满足：[0033][0034] 其中θ＝0°，45°，90°。[0035] S5，设计自适应三偏振通道损失函数。通过平衡三个偏振通道的损失，可以避免网络过于偏向某一个通道，从而陷于局部最小值，有助于网络在小数据集下的收敛。[0036] 具体地，所述三个偏振通道的绝对值损失Li定义如下：[0037][0038] 其中i代表三个偏振通道，{(Inoise,Igt)}表示噪声图像和无噪图像训练对，Θ表示网络的超参数，F函数表示本方法得到的从噪声图像到高信噪比图像的映射，||g||F表示范数，本发明使用1‑范数。[0039] 进一步地，总损失函数L为：[0040][0041] 其中，[0042] 需要说明的是，权重w是随着损失函数变化而变化的，通过自适应权重的损失可以评估每个子损失的贡献，并且给贡献较大的子损失赋予较高的权重，从而使得网络能够平衡三个通道的损失，有助于网络收敛。[0043] S6，将步骤S4训练得到的网络的权重wRGB迁移到偏振图像去噪网络。将偏振噪声图像数据集的训练集输入该网络，并使用步骤S5设计好的自适应三偏振通道损失函数引导该网络的训练。网络固定了权重wRGB的前一半权重，通过训练微调后一半的权重，最终得到偏振权重wpolar。最终网络输出了高信噪比的偏振图像。假设网络得到的从噪声图像到去噪图像的映射为Fpolar，则输出的去噪图像 和输入的噪声图像 满足：[0044][0045] 其中θ＝0°，45°，90°。[0046] 在本发明的实施例中，两个去噪网络超参数的设置相同，包括初始学习率、批处理大小、损失函数约束项以及卷积核数。此外，训练过程中将对输入图像进行翻转和旋转以实现数据扩充。具体地，在本实施例中最小批处理样本数为64，学习率初始化为0.0001，使用固定步长衰减学习率方法，设置衰减率为0.1，训练周期为64，使用Adam算法优化损失函数。[0047] 在本发明的实施例中，使用迁移学习网络去噪后得到的光强图、线性偏振度图和偏振角度图如图4所示，其中图A为噪声光强图，图B为噪声线性偏振度图，图C为噪声偏振角图，图D、E、F分别为使用本发明实施例去噪后的光强图、偏振度图和偏振角图，图G、H、I分别为低噪声情况下的光强图、偏振度图和偏振角图，即真值图像。从图4可以看出本发明提出的基于迁移学习的偏振图像去噪算法能够在小样本下有效减弱偏振图像的噪声，并且对于噪声敏感性的偏振度图像与偏振角图像，能很好地恢复其偏振信息。[0048] 尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

专利地区：天津

专利申请日期：2022-05-10

专利公开日期：2024-07-26

专利公告号：CN114913087B