一种基于量化神经网络的张量数据比特级压缩与重建方法

专利名称：一种基于量化神经网络的张量数据比特级压缩与重建方法

专利类型：发明专利

专利申请号：CN202310547390.3

专利申请（专利权）人：重庆大学
权利人地址：重庆市沙坪坝区沙坪坝正街174号

专利发明（设计）人：周喜川,邹镟,刘海军

专利摘要：本发明涉及一种基于量化神经网络的张量数据比特级压缩与重建方法，属于深度学习领域，包括轻量型神经量化编码器和基于通道融合特征增强的超分解码器；所述轻量型神经量化编码器通过卷积操作实现对输入张量的特征级压缩，将神经量化输出结合霍夫曼编码实现比特级压缩，最终实现特征级压缩和比特级压缩相结合的两级压缩；所述基于通道融合特征增强的超分解码器通过霍夫曼解码器对压缩数据进行霍夫曼解码，通过通道融合特征增强主干网提升压缩数据的特征表达能力，通过采用线性插值的空间超分模块完成张量数据的二维空间上采样，最后由通道超分卷积模块恢复出原始张量数据的通道分辨率，得到重建张量。

主权利要求：
1.一种基于量化神经网络的张量数据比特级压缩与重建方法，其特征在于：包括以下步骤：S1：使用高光谱传感器采集高光谱图像；对高光谱图像进行频段预处理，剔除其中吸水带和低质量的频段；对频段预处理后的高光谱图像进行裁剪，得到高光谱子图像，然后对所述高光谱子图像进行均值归一化处理，按比例划分训练集与测试集；
S2：构建比特级张量数据压缩与重建神经网络，利用所述训练集进行训练，利用所述测试集进行测试；所述比特级张量数据压缩与重建神经网络包括轻量型神经量化编码器和基于通道融合特征增强的超分解码器；所述轻量型神经量化编码器通过卷积操作实现对高光谱张量数据的特征级压缩，将神经量化输出结合霍夫曼编码实现比特级压缩，最终实现特征级压缩和比特级压缩相结合的两级压缩；所述基于通道融合特征增强的超分解码器由霍夫曼解码器，通道融合特征增强主干网，空间‑通道超分模块组成；通过霍夫曼解码器对压缩数据进行霍夫曼解码，通过通道融合特征增强主干网提升压缩数据的特征表达能力，通过空间‑通道超分辨率模块采用线性插值和卷积操作完成高光谱张量数据的空间和通道的上采样，恢复出原始高光谱张量数据的空间和通道分辨率，得到重建张量；
S3：利用训练完成的比特级张量数据压缩与重建神经网络对高光谱张量数据进行压缩与重建；
所述通道融合特征增强主干网由n个通道融合特征增强模块组成，其中每一个通道融合特征增强模块都由三个通道特征融合模块和一个通道特征增强模块构成；
所述通道特征融合模块包含3个卷积‑SiLU层，SiLU为激活函数，对于其中每1个卷积‑SiLU层，所有先前层的特征图都被紧密连接堆叠，并作为本层的输入特征图，然后通过残差连接实现输入特征张量和最后一层输出特征张量之间的求和，实现通道特征融合；
所述通道特征增强模块对于输入的 个通道的张量数据，首先进行空间上的全局平均池化 和最大池化 得到 的特征序列，然后采用卷积核尺寸为 的分组卷积 将所述全局平均池化 和最大池化 特征序列融合，保持通道数 不变，最后输入多层感知器 得到对应的通道融合特征增强系数 ，表达式如下：(3)
其中 为通道特征增强模块的输入特征张量， 为sigmoid激活函数，最后用通道融合特征增强系数 对 进行加权，再通过残差连接求和，得到整个通道融合特征增强模块的输出 ：(4)
其中 是该通道融合特征增强模块的输入，表示张量对应元素相乘。
2.根据权利要求1所述的基于量化神经网络的张量数据比特级压缩与重建方法，其特征在于：所述轻量型神经量化编码器中，将每个高光谱子图裁剪为条状数据，作为输入张量数据 ，经卷积神经量化后得到输出结果 ，定义为：(1)
其中 表示对应卷积层的卷积核权值，函数 表示卷积‑GELU操作， 表示GELU激活函数， 表示卷积操作； 表示神经量化操作，对于每一个全精度元素 ，首先将其值通过公式(2)限制在 ，其中上界值 是可学习的，由此 比特量化值 通过计算得到：(2)
其中 是舍入函数。
3.根据权利要求1所述的基于量化神经网络的张量数据比特级压缩与重建方法，其特征在于：将轻量型神经量化编码器部署在数据采集设备端，在数据感知后进行两级压缩操作。 说明书 : 一种基于量化神经网络的张量数据比特级压缩与重建方法技术领域[0001] 本发明属于深度学习领域，涉及一种基于量化神经网络的张量数据比特级压缩与重建方法。背景技术[0002] 高维张量数据(如视频数据、高光谱数据)具有数据量大、吞吐率高等特点，其产生、传输和处理过程中主要面临三个挑战：①数据吞吐率高，且数据采集传感器计算资源不足；②数据传输带宽极其有限，存在较大的压缩需求；③为顺利进行后续的研究与应用，压缩张量数据的重建质量需满足较高要求。针对上述挑战，主要有以下三类方法被提出：[0003] 1、作为业内标准的压缩编码方法，基于频域变换的方法将输入的高维张量数据分割成若干子块，然后采用离散余弦变换或离散小波变换等操作进行变换编码，并只保留低频系数作为压缩目标，在此基础之上结合其他如主成分分析等技术完成张量数据的压缩任务。然而，这种方法仅关注比特级的压缩，缺乏特定的操作补偿压缩所导致的重建精度的下降。[0004] 2、基于压缩感知的方法假设信号数据在某些特定域中具有稀疏或接近稀疏的性质，并且该信号数据可以从其压缩结果中得到恢复。压缩结果的重建对于压缩感知来说是一个不适定问题，这一问题催生了基于稀疏性和基于全变分等正则化方法。然而，上述大多数基于压缩感知的方法具有两个缺点：首先，上述方法的压缩操作忽略了比特级的压缩潜力，导致其压缩性能受到限制；其次，该方法对高维张量数据在变换域中的稀疏性、全变分或低秩性等假设要求较高，但无法做到完全捕获数据背后深刻的先验知识，这可能导致次优的重建结果。[0005] 3、近年来基于深度神经网络(DNN)的方法在张量数据压缩与重建领域的潜力得到持续挖掘，这类方法采用端到端训练的方式从大量数据中学习张量数据的压缩与重建能力。相较于基于压缩感知的方法，基于DNN的方法能够直接从训练样本中学习潜在的相关信息，从而对张量数据中的先验知识要求更低；而与基于频域变换的方法比较，基于DNN的方法能够在实现比特级压缩的同时，通过引入、优化调整可学习参数的方式补偿压缩所导致的重建精度下降。然而，多数基于DNN的方法的压缩策略仅仅停留在特征层面，没有结合比特级压缩的优势，导致压缩率不足；此外，在张量数据的重建阶段，这些方法对压缩特征表达的关注度不够，从而可能导致重建质量较低。发明内容[0006] 有鉴于此，本发明的目的在于降低对数据传输带宽资源的需求，提升压缩特征的表达能力，提供一种基于量化神经网络的张量数据比特级压缩与重建方法。[0007] 为达到上述目的，本发明提供如下技术方案：[0008] 一种基于量化神经网络的张量数据比特级压缩与重建方法，包括以下步骤：[0009] S1：获取张量数据，进行预处理后划分为训练集和测试集；[0010] S2：构建比特级张量数据压缩与重建神经网络，利用所述训练集进行训练，利用所述测试集进行测试；所述比特级张量数据压缩与重建神经网络包括轻量型神经量化编码器和基于通道融合特征增强的超分解码器；所述轻量型神经量化编码器通过卷积操作实现对输入张量的特征级压缩，将神经量化输出结合霍夫曼编码实现比特级压缩，最终实现特征级压缩和比特级压缩相结合的两级压缩；所述基于通道融合特征增强的超分解码器由霍夫曼解码器，通道融合特征增强主干网，空间‑通道超分模块组成；通过霍夫曼解码器对压缩数据进行霍夫曼解码，通过通道融合特征增强主干网提升压缩数据的特征表达能力，通过空间‑通道超分辨率模块采用线性插值和卷积操作完成张量数据的空间和通道的上采样，恢复出原始张量数据的空间和通道分辨率，得到重建张量；[0011] S3：利用训练完成的比特级张量数据压缩与重建神经网络对张量数据进行压缩与重建。[0012] 进一步，所述轻量型神经量化编码器中，对于给定的输入张量数据X，经卷积神经q量化后得到输出结果Y，定义为：[0013][0014] 其中W表示对应卷积层的卷积核权值，函数 表示卷积‑GELU操作，β表示GELU激活函数， 表示卷积操作；Q()表示神经量化操作，对于每一个全精度元素y，首先将其值通过公式(2)限制在[0,α]，其中上界值α是可学习的，由此b比特量化值Q(y)通过计算得到：[0015][0016] 其中rounding()是舍入函数。[0017] 该方法对神经网络的激活和权重同时进行神经量化，此后，经量化的张量数据Yq被输入霍夫曼编码器实现进一步压缩编码。由于卷积部分属于浅层网络模型，且卷积核权重经过量化，因此具有轻量性，而霍夫曼操作没有任何参数，并且可以直接作为硬件设计的一部分，占用较少内存，因此该神经量化编码器能够顺利部署在计算存储资源较少的边缘设备中。[0018] 进一步，所述通道融合特征增强主干网由n个通道融合特征增强模块组成，其中每一个通道融合特征增强模块都由三个通道特征融合模块和一个通道特征增强模块构成；[0019] 所述通道特征融合模块包含3个卷积‑SiLU层，SiLU为激活函数，对于其中每1个卷积‑SiLU层，所有先前层的特征图都被紧密连接堆叠，并作为本层的输入特征图，然后通过残差连接实现输入特征张量和最后一层输出特征张量之间的求和，实现通道特征融合。[0020] 所述通道特征增强模块对于输入的c个通道的张量数据，首先进行空间上的全局平均池化favgpool和最大池化fmaxpool得到1×1×c的特征序列，然后采用卷积核尺寸为2×1的分组卷积 将所述全局平均池化favgpool和最大池化fmaxpool特征序列融合，保持通道数c不变，最后输入多层感知器fMLP得到对应的通道融合特征增强系数MFE，表达式如下：[0021][0022] 其中YT为通道特征增强模块的输入特征张量，σ为sigmoid激活函数，最后用通道融合特征增强系数MFE对YT进行加权，再通过残差连接求和，得到整个通道融合特征增强模块的输出YCA：[0023] YCA＝YIN+YT⊙MFE(4)[0024] 其中YIN是该通道融合特征增强模块的输入，⊙表示张量对应元素相乘。[0025] 利用相应损失函数衡量张量数据重建精度的指标，并通过最小化损失函数训练优化得到对应网络权重。[0026] 进一步，将轻量型神经量化编码器部署在数据采集设备端，在数据感知后进行两级压缩操作。[0027] 本发明的有益效果在于：[0028] 1、编码器具有轻量型结构，能够被轻易地部署在计算资源有限的边缘设备中。[0029] 2、编码器采用将特征级压缩和比特级压缩相结合的两级压缩策略，实现高维张量数据的低比特率压缩，最大程度减轻有限数据传输带宽限制的影响。[0030] 3、解码器提出一种新的模块——通道融合特征增强模块作为主干网的基本单元，提升了压缩特征的表达能力，结合一系列超分操作以较高的精度重建原始张量数据。[0031] 4、通过本发明提供的编码器和解码器对Moffett数据集的RGB原图进行压缩和重建发现，各个重建数据的可视化图像与原始图像间几乎无明显差别，能够清晰看到重建图像中的纹理、边缘等细节，显示出较好的重建质量。[0032] 本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。附图说明[0033] 为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：[0034] 图1为比特级张量数据压缩与重建神经网络的整体工作流程图；[0035] 图2为轻量型神经量化编码器结构图；[0036] 图3为基于通道融合特征增强的超分解码器结构图；[0037] 图4为通道融合特征增强模块结构图；[0038] 图5为Moffett数据集的RGB原图以及对应的压缩重建高光谱数据的RGB图像，其中(a)为原始图像，(b)为压缩特征张量全精度(32bit)时的重建图像，(c)为b＝11下的图像，(d)为b＝10下的图像，(e)为b＝9下的图像，(f)为b＝8下的图像，(g)为b＝7下的图像。具体实施方式[0039] 以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。[0040] 其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本发明的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。[0041] 本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本发明的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。[0042] 请参阅图1～图5，本发明提供一种基于量化神经网络的张量数据比特级压缩与重建方法，其基于比特级张量数据压缩与重建神经网络，对张量数据进行比特级压缩与重建，该网络主要由一个轻量型神经量化编码器和一个基于通道融合特征增强的超分辨率解码器构成。轻量型神经量化编码器能够被部署于数据采集的边缘设备中，其作用是对张量数据实现两级压缩(特征级压缩和比特级压缩)，实现较高的压缩率，从而最大程度降低对数据传输带宽资源的需求；基于通道融合特征增强的超分解码器则采用了通道融合特征增强模块，提升压缩特征的表达能力，结合超分技术从压缩数据中实现原始张量数据的高精度重建。[0043] 为突出本发明的技术目标，方案和优点，本发明实施例以高光谱张量数据为例，结合附图对本发明的实施方式作详细描述。[0044] 1)数据介绍[0045] 使用高光谱传感器AVIRIS在美国、加拿大两国的包括加利福尼亚，俄勒冈，黄石国家公园等在内的十三个地区采集的包含224个频段的高光谱图像。[0046] 2)数据处理[0047] 对1)中的高光谱图像进行频段预处理，剔除其中吸水带和低质量的频段，序号为1‑10,104‑116,152‑170，以及215‑224，保留172个频段，并对频段预处理后的高光谱图像进行裁剪，最终得到1183个尺寸为256×256×172的高光谱子图像，然后对这些子图像进行均值归一化处理，并按9:1的比例划分训练集与测试集。[0048] 3)压缩编码[0049] 如图2所示，轻量型神经量化编码器采用了“卷积神经量化+熵编码”策略，通过卷积操作实现对输入张量的特征级压缩，将神经量化输出结合霍夫曼编码实现比特级压缩，最终实现特征级压缩和比特级压缩相结合的两级压缩。[0050] 本实施例中的每个高光谱子图在压缩编码前，被裁剪为128×4×172的条状数据。结合图1、图3所示，获取条状数据后，轻量型神经量化编码器首先对其进行特征级压缩，该操作由卷积神经量化操作完成：[0051][0052] 其中W表示对应卷积层的卷积核权值，函数 表示卷积‑GELU操作，β表示GELU激活函数， 表示卷积操作，Q()表示神经量化操作，对于每一个全精度元素y，首先将其值通过以下公式限制在[0,α]，其中上界值α是可学习的，由此b比特量化值Q(y)可通过计算得到：[0053][0054] 其中rounding()是舍入函数。该方法对神经网络的激活和权重同时进行神经量化，此后，经量化的张量数据Yq被输入霍夫曼编码器实现进一步压缩编码，最后得到的压缩比特流被传输至接收端。由于卷积部分属于浅层网络模型，且卷积核权重经过量化，因此具有轻量性，而霍夫曼操作没有任何参数，并且可以直接作为硬件设计的一部分，占用较少内存，因此该神经量化编码器能够顺利部署在计算存储资源较少的边缘设备中。卷积过程可通过设置卷积核数量、卷积步长、填充量等参数实现特定的压缩率下的特征压缩，本实施例为最终实现高光谱张量数据的低比特率压缩编码，将特征压缩率设置为1％，整个特征级压缩过程的相关参数如表1所示。[0055] 表1[0056] LayerNo. InputFeature KernelSize Stride Padding OutputFeature1 128×4×172 3×3 [2,2] [1,0] 64×1×1282 64×1×128 3×1 [1,1] [1,0] 64×1×643 64×1×64 3×1 [2,1] [1,0] 32×1×27[0057] 表1中LayerNo.表示卷积神经量化层编号，本实施例中搭建了3层卷积，InputFeature表示该层输入特征图尺寸，KernelSize表示该层的卷积核尺寸，Stride表示该层的卷积步长，Padding表示该层的填充量，OutputFeature表示该层的输出特征图尺寸。如表1所示，最终输出特征图尺寸为32×1×27，表明输入张量数据通道内和通道间的特征均得到压缩，压缩率为1％。[0058] 4)解码重建[0059] 如图3所示，轻量型神经量化编码器压缩输出的比特流经信道传输后，被基于通道融合特征增强的超分解码器接收并进行解码重建。该解码器由霍夫曼解码器，通道融合特征增强主干网，空间‑通道超分模块等三个部分组成。首先对压缩数据进行霍夫曼解码，恢复出量化的张量数据Yq，然后将Yq输入通道融合特征增强主干网提升压缩数据的特征表达能力。该主干网主要由16个通道融合特征增强模块组成，其中每一个通道融合特征增强模块都由三个通道特征融合模块和一个通道特征增强模块构成。如图4(右上)所示，每一个通道特征融合模块都结合了ResNet和DenseNet两种结构的特点，包含3个卷积‑SiLU层，SiLU为激活函数，对于其中每1个卷积‑SiLU层，所有先前层的特征图都被紧密连接，并作为本层的输入特征图(DenseNet结构)，然后通过残差连接实现输入特征张量和最后一层输出特征张量之间的求和(ResNet结构)，达到通道特征融合的目的。通道特征增强模块结构如图4(右下)所示，对于输入的c个通道的张量数据，首先进行空间上的全局平均池化favgpool和最大池化fmaxpool得到1×1×c的特征序列，然后采用卷积核尺寸为2×1的分组卷积 将上述两个特征序列融合，保持通道数c不变，最后输入多层感知器fMLP得到对应的通道融合特征增强系数MFE，表达式如下：[0060][0061] 其中YT为通道特征增强模块的输入特征张量，σ为sigmoid激活函数。最后用通道融合特征增强系数MFE对YT进行加权，再通过残差连接求和，得到整个通道融合特征增强模块的输出YCA：[0062] YCA＝YIN+YT⊙MFE(4)[0063] 其中YIN是该通道融合特征增强模块的输入，⊙表示张量对应元素相乘。压缩特征经主干网完成特征表达增强后，由空间‑通道超分辨率模块采用线性插值和卷积操作完成张量数据的空间和通道的上采样，恢复出原始高光谱数据的172个频段，得到重建张量[0064] 5)模型优化与测试[0065] 由于L1范数能够敏锐地捕捉重建张量数据 和原始张量数据X之间的微小误差，因此被用于衡量重建张量数据 和原始张量数据X之间的差距，并作为模型在训练优化过程中的目标损失函数：[0066][0067] 其中B是训练数据批量大小，P表示张量数据的二维空间元素数量。设置学习率η和批量大小B后，采用Adam算法作为模型学习的优化器，然后在训练集上训练模型，当损失函数表现收敛后结束训练，得到对应模型权重参数，并在相应的测试集上测试各项性能指标。[0068] 实验结果如表2所示，表中展示了模型在量化比特数b为7‑11下的各项性能，压缩特征张量的量化比特数越低，压缩程度越大，如表中所示当神经量化器的量化比特数b为7时，霍夫曼压缩率达到63.9％，压缩比特率达到0.045bpppb的极低水平。同时，模型也表现出了良好的重建性能，在比特率低于0.1bpppb的情况下，重建PSNR超过了34dB，在压缩特征张量10比特量化和11比特量化下的PSNR甚至优于全精度(32bit)时的表现。[0069] 表2[0070][0071] 图5给出了Moffett数据集的RGB原图以及对应的压缩重建高光谱数据的RGB图像，(a)为原始图像，(b)为压缩特征张量全精度(32bit)时的重建图像，(c)中b＝11，(d)中b＝10，(e)中b＝9，(f)中b＝8，(g)中b＝7。可以观察到，各个重建数据的可视化图像与原始图像间几乎无明显差别，能够清晰看到重建图像中的纹理、边缘等细节，显示出较好的重建质量。[0072] 最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

专利地区：重庆

专利申请日期：2023-05-15

专利公开日期：2024-11-29

专利公告号：CN116824318B