一种基于通道特征融合的高光谱图像小样本分类方法及装置

专利名称：一种基于通道特征融合的高光谱图像小样本分类方法及装置

专利类型：发明专利

专利申请号：CN202111339448.2

专利申请（专利权）人：北京邮电大学
权利人地址：北京市海淀区西土城路10号北京邮电大学新科研楼627室

专利发明（设计）人：裴颂伟,宋红

专利摘要：本发明公开了一种基于通道特征融合的高光谱图像小样本分类方法及装置，其中，方法包括：将原始图像数据输入基于深度学习的HSI分类模型，通过基于深度学习的HSI分类模型的两个通道分别提取HSI空间‑光谱特征数据和单个像素的光谱特征数据；对HSI空间‑光谱特征数据和单个像素的光谱特征数据进行特定卷积操作；将经过特定卷积操作的两个特征数据分别经过全连接层，通过控制全连接层神经元的数量控制特征数据融合比例；将经过特定卷积操作的两个特征数据进行拼接，并将拼接后的融合特征数据输入分类器，以得到图像分类结果。本发明通过提出一个新的基于深度学习的HSI分类模型，解决深度学习在训练数据不足时的性能问题和模型训练耗时过长问题。

主权利要求：
1.一种基于通道特征融合的高光谱图像小样本分类方法，其特征在于，所述方法包括以下步骤：将原始图像数据输入基于深度学习的HSI分类模型，通过所述基于深度学习的HSI分类模型的两个通道分别提取HSI空间‑光谱特征数据和单个像素的光谱特征数据；
基于提取的所述HSI空间‑光谱特征数据和单个像素的光谱特征数据，对所述HSI空间‑光谱特征数据和单个像素的光谱特征数据进行特定卷积操作；以及，基于所述特定卷积操作，将经过所述特定卷积操作的两个特征数据分别经过全连接层，通过控制全连接层神经元的数量控制特征数据融合比例；
基于所述特征数据融合比例，将经过所述特定卷积操作的两个特征数据进行拼接，并将拼接后的融合特征数据输入分类器，以得到图像分类结果；
所述基于提取的所述HSI空间‑光谱特征数据和单个像素的光谱特征数据，对所述HSI空间‑光谱特征数据和单个像素的光谱特征数据进行特定卷积操作，包括：分别将所述HSI空间‑光谱特征数据和单个像素的光谱特征数据经过3D卷积操作，得到
3D特征数据；
基于所述3D特征数据将所述3D特征数据进行降维处理，得到降维特征数据；
基于所述特征数据，使用2D卷积对所述特征数据进行卷积操作，得到2D特征数据；
所述基于所述特定卷积操作，将经过所述特定卷积操作的两个特征数据分别经过全连接层，通过控制全连接层神经元的数量控制特征数据融合比例，包括：在对所述两个通道输出的2D特征数据进行融合前添加整形层；其中，所述整形层为所述全连接层；
基于添加的整形层的神经元数量，控制所述两个通道输出的2D特征数据的融合比例。
2.根据权利要求1所述的基于通道特征融合的高光谱图像小样本分类方法，其特征在于，所述控制所述两个通道输出的2D特征数据的融合比例为1:1。
3.一种基于通道特征融合的高光谱图像小样本分类装置，其特征在于，包括：特征提取模块，用于将原始图像数据输入基于深度学习的HSI分类模型，通过所述基于深度学习的HSI分类模型的两个通道分别提取HSI空间‑光谱特征数据和单个像素的光谱特征数据；
数据处理模块，用于基于提取的所述HSI空间‑光谱特征数据和单个像素的光谱特征数据，对所述HSI空间‑光谱特征数据和单个像素的光谱特征数据进行特定卷积操作；以及，基于所述特定卷积操作，将经过所述特定卷积操作的两个特征数据分别经过全连接层，通过控制全连接层神经元的数量控制特征数据融合比例；
融合分类模块，用于基于所述特征数据融合比例，将经过所述特定卷积操作的两个特征数据进行拼接，并将拼接后的融合特征数据输入分类器，以得到图像分类结果；
所述数据处理模块，包括：
第一处理子模块，用于分别将所述HSI空间‑光谱特征数据和单个像素的光谱特征数据经过3D卷积操作，得到3D特征数据；
第二处理子模块，用于基于所述3D特征数据将所述3D特征数据进行降维处理，得到降维特征数据；
第三处理子模块，用于基于所述特征数据，使用2D卷积对所述特征数据进行卷积操作，得到2D特征数据；
所述数据处理模块，还包括：
添加处理模块，用于在对所述两个通道输出的2D特征数据进行融合前添加整形层；其中，所述整形层为所述全连接层；
控制融合模块，用于基于添加的整形层的神经元数量，控制所述两个通道输出的2D特征数据的融合比例。
4.根据权利要求3所述的基于通道特征融合的高光谱图像小样本分类装置，其特征在于，所述数据处理模块，还包括：比例融合模块，用于控制所述两个通道输出的2D特征数据进行1:1比例融合。 说明书 : 一种基于通道特征融合的高光谱图像小样本分类方法及装置技术领域[0001] 本发明涉及图像分类技术领域，特别涉及一种基于通道特征融合的高光谱图像小样本分类方法及装置。背景技术[0002] 深度学习已经广泛的用于高光谱图像(HSI)的分类，HSI分类是指对于一副高光谱图像，标记出每个像素点的土地覆盖类别(例如：草地，公路等),并且取得了非常好的分类效果。目前的深度学习方法其优异的性能都是基于有足够的数据来训练模型。然而，HSI数据集的获取和样本的标记很困难，在实际训练模型时，很难获取足够的数据样本，一旦训练数据不足，模型的性能就会急剧下降，影响HSI的分类准确性。[0003] 目前针对HSI训练样本不足这一问题的解决方案有：[0004] 多特征融合，多特征融合的方式旨在充分利用已有数据中的信息，达到提高分类准确率的问题。一般有多尺度特征融合和多层特征融合，多尺度融合是使用多个不同大小的卷积核对一份数据进行卷积，将提取到的特征通过特定的方式进行融合；多层特征融合是在模型训练过程中将每一层的特征都保留下来，在最后的阶段将所有层的特征按照一定方式融合起来。[0005] 数据增强，该方法是通过增加样本数量来解决问题，训练样本不足，就增加样本数量。一般针对图像数据的数据增强算法有旋转，裁剪等，通过改变原有数据的显示方式来产生新的数据。[0006] 随机森林算法，将深度学习的神经网络原理与传统机器学习结合到一起，该方法一定程度上解决了深度学习过于依赖数据的问题，在数据稀少的情况下可以获得比深度学习更好的结果。[0007] 现有技术的缺点：[0008] 多特征融合：由于HSI数据本身光谱段数比较多，再加上个特征进行融合，很容易使整个深度学习模型变得复杂，参数增加，计算量也随之变大，训练时比较耗时，模型收敛比较慢。[0009] 数据增强：传统数据增强方法不适用于HSI图像，因为HSI整个数据集是一张图，每一个样本是一个像素点，已有的HSI数据增强方法是给已有数据加噪声来产生新的数据。但是数据增强存在问题是，既要保留原有数据的基本特征，又要创造出与原始数据不同的数据，所以此方法存在瓶颈，通过数据增强算法得到的新数据，在经过多层神经网络后，提取到的特征与原始数据趋于一致，最终对模型性能提升是有限的。[0010] 随机森林算法：随机森林算法在样本稀少时可以取得不错的性能，但是训练过程比较慢，并且随着使用的决策树数量的增加，耗时会有明显增加。发明内容[0011] 本发明旨在至少在一定程度上解决相关技术中的技术问题之一。[0012] 为此，本发明提出一种基于通道特征融合的高光谱图像小样本分类方法，该方法使用两个通道充分挖掘已有数据的空间和光谱信息，在HSI训练样本稀少的情况下也能获得较高的分类准确率，此外通过使用混合卷积技术大幅度降低了模型的参数量。[0013] 本发明的第二个目的在于提出一种基于通道特征融合的高光谱图像小样本分类装置。[0014] 为达到上述目的，本发明一方面实施例提出了一种基于通道特征融合的高光谱图像小样本分类方法，包括：[0015] 将原始图像数据输入基于深度学习的HSI分类模型，通过所述基于深度学习的HSI分类模型的两个通道分别提取HSI空间‑光谱特征数据和单个像素的光谱特征数据；[0016] 基于提取的所述HSI空间‑光谱特征数据和单个像素的光谱特征数据，对所述HSI空间‑光谱特征数据和单个像素的光谱特征数据进行特定卷积操作；以及，基于所述特定卷积操作，将经过所述特定卷积操作的两个特征数据分别经过全连接层，通过控制全连接层神经元的数量控制特征数据融合比例；[0017] 基于所述特征数据融合比例，将经过所述特定卷积操作的两个特征数据进行拼接，并将拼接后的融合特征数据输入分类器，以得到图像分类结果。[0018] 本发明实施例的基于通道特征融合的高光谱图像小样本分类方法，通过将原始图像数据输入基于深度学习的HSI分类模型，通过基于深度学习的HSI分类模型的两个通道分别提取HSI空间‑光谱特征数据和单个像素的光谱特征数据；基于提取的HSI空间‑光谱特征数据和单个像素的光谱特征数据，对HSI空间‑光谱特征数据和单个像素的光谱特征数据进行特定卷积操作；以及，基于特定卷积操作，将经过特定卷积操作的两个特征数据分别经过全连接层，通过控制全连接层神经元的数量控制特征数据融合比例；基于特征数据融合比例，将经过特定卷积操作的两个特征数据进行拼接，并将拼接后的融合特征数据输入分类器，以得到图像分类结果。本发明使用两个通道充分挖掘已有数据的空间和光谱信息，在HSI训练样本稀少的情况下也能获得较高的分类准确率，此外通过使用混合卷积技术大幅度降低了模型的参数量。[0019] 另外，根据本发明上述实施例的基于通道特征融合的高光谱图像小样本分类方法还可以具有以下附加的技术特征：[0020] 进一步地，在本发明的一个实施例中，所述基于提取的所述HSI空间‑光谱特征数据和单个像素的光谱特征数据，对所述HSI空间‑光谱特征数据和单个像素的光谱特征数据进行特定卷积操作，包括：分别将所述HSI空间‑光谱特征数据和单个像素的光谱特征数据经过3D卷积操作，得到3D特征数据；基于所述3D特征数据将所述3D特征数据进行降维处理，得到降维特征数据；基于所述特征数据，使用2D卷积对所述特征数据进行卷积操作，得到2D特征数据。[0021] 进一步地，在本发明的一个实施例中，所述基于所述特定卷积操作，将经过所述特定卷积操作的两个特征数据分别经过全连接层，通过控制全连接层神经元的数量控制特征数据融合比例，包括：在对所述两个通道输出的2D特征数据进行融合前添加整形层；其中，所述整形层为所述全连接层；基于添加的整形层的神经元数量，控制所述两个通道输出的2D特征数据的融合比例。[0022] 进一步地，在本发明的一个实施例中，所述控制所述两个通道输出的2D特征数据的融合比例为1:1。[0023] 为达到上述目的，本发明第二方面实施例提出了一种基于通道特征融合的高光谱图像小样本分类装置，包括：[0024] 特征提取模块，用于将原始图像数据输入基于深度学习的HSI分类模型，通过所述基于深度学习的HSI分类模型的两个通道分别提取HSI空间‑光谱特征数据和单个像素的光谱特征数据；[0025] 数据处理模块，用于基于提取的所述HSI空间‑光谱特征数据和单个像素的光谱特征数据，对所述HSI空间‑光谱特征数据和单个像素的光谱特征数据进行特定卷积操作；以及，基于所述特定卷积操作，将经过所述特定卷积操作的两个特征数据分别经过全连接层，通过控制全连接层神经元的数量控制特征数据融合比例；[0026] 融合分类模块，用于基于所述特征数据融合比例，将经过所述特定卷积操作的两个特征数据进行拼接，并将拼接后的融合特征数据输入分类器，以得到图像分类结果。[0027] 本发明实施例基于通道特征融合的高光谱图像小样本分类装置，通过特征提取模块，用于将原始图像数据输入基于深度学习的HSI分类模型，通过基于深度学习的HSI分类模型的两个通道分别提取HSI空间‑光谱特征数据和单个像素的光谱特征数据；数据处理模块，用于基于提取的HSI空间‑光谱特征数据和单个像素的光谱特征数据，对HSI空间‑光谱特征数据和单个像素的光谱特征数据进行特定卷积操作；以及，基于特定卷积操作，将经过特定卷积操作的两个特征数据分别经过全连接层，通过控制全连接层神经元的数量控制特征数据融合比例；融合分类模块，用于基于特征数据融合比例，将经过特定卷积操作的两个特征数据进行拼接，并将拼接后的融合特征数据输入分类器，以得到图像分类结果。本发明使用两个通道充分挖掘已有数据的空间和光谱信息，在HSI训练样本稀少的情况下也能获得较高的分类准确率，此外通过使用混合卷积技术大幅度降低了模型的参数量。[0028] 本发明的有益效果为：[0029] 在HSI训练样本不足时，该方案可以得到更高的分类准确率。[0030] 使用3D卷积的同时，降低了参数量和计算量，使得模型训练时收敛速度更快。[0031] 本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。附图说明[0032] 本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：[0033] 图1为根据本发明一个实施例的基于通道特征融合的高光谱图像小样本分类方法流程图；[0034] 图2为根据本发明一个实施例的基于深度学习的HSI分类模型示意图；[0035] 图3为根据本发明一个实施例的基于深度学习的HSI分类模型的系统结构示意图；[0036] 图4为根据本发明一个实施例的基于通道特征融合的高光谱图像小样本分类装置结构示意图。具体实施方式[0037] 下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。[0038] 下面参照附图描述根据本发明实施例提出的基于通道特征融合的高光谱图像小样本分类方法与装置，首先将参照附图描述根据本发明实施例提出的基于通道特征融合的高光谱图像小样本分类方法。[0039] 图1为根据本发明一个实施例的基于通道特征融合的高光谱图像小样本分类方法流程图。[0040] 如图1所示，该方法包括但不限于如下步骤：[0041] S1，将原始图像数据输入基于深度学习的HSI分类模型，通过基于深度学习的HSI分类模型的两个通道分别提取HSI空间‑光谱特征数据和单个像素的光谱特征数据。[0042] 可以理解的是，目前的深度学习方法其优异的性能都是基于有足够的数据来训练模型。HSI数据集的获取和样本的标记很困难，在实际训练模型时，很难获取足够的数据样本，一旦训练数据不足，模型的性能就会急剧下降，影响HSI的分类准确性。[0043] 具体的，如图2所示，本发明提出的模型具有两个通道，一个通道提取HSI的空间‑光谱特征另一个通道提取单个像素的光谱特征。[0044] 因此，本发明使用基于深度学习的HSI分类模型的两个通道充分挖掘已有数据的空间和光谱信息。即输入为原始图像数据，输出为HSI空间‑光谱特征数据和单个像素的光谱特征数据。[0045] S2，基于提取的HSI空间‑光谱特征数据和单个像素的光谱特征数据，对HSI空间‑光谱特征数据和单个像素的光谱特征数据进行特定卷积操作；以及，基于特定卷积操作，将经过特定卷积操作的两个特征数据分别经过全连接层，通过控制全连接层神经元的数量控制特征数据融合比例。[0046] 可以理解的是，HSI数据集的获取和样本的标记很困难,在实际训练模型时，很难获取足够的数据样本，一旦训练数据不足，模型的性能就会急剧下降，影响HSI的分类准确性。基于此，本发明实施例中对提取的特征数据进行处理分为两个过程。[0047] 第一个过程为通过特定卷积操作的对模型两个通道提取的特征进行处理，第二个过程为通过全连接层的对经过特定卷积操作的两个特征数据进行比例融合。[0048] 作为一种示例，本发明分别将HSI空间‑光谱特征数据和单个像素的光谱特征数据经过3D卷积操作，得到3D特征数据；基于3D特征数据将3D特征数据进行降维处理，得到降维特征数据；基于特征数据，使用2D卷积对特征数据进行卷积操作，得到2D特征数据。[0049] 可以理解的是，如图2所示，在对两个通道输出的3D特征数据再进行降维处理操作得到2D特征数据时，本发明使用reshape函数进行相关处理操作，使得处理更加快速、便于计算处理。[0050] 基于此，本发明在最大程度保留特征的同时，降低了模型的计算量，加速了模型的收敛速度。[0051] 作为一种示例，本发明在对两个通道输出的2D特征数据进行融合前添加整形层；基于添加的整形层的神经元数量，控制两个通道输出的2D特征数据的融合比例。[0052] 可以理解的是，为了将两特征更好的融合，增加“整形层”，两通道最后得到的特征由于输入数据的不同，数据量差别较大，为了使两者更好的融合，在融合前各自先经过一个整形层，整形层是一个全连接层，通过控制全连接层的神经元数量来控制两者的融合比例。本发明中使用的是1:1融合。[0053] S3，基于特征数据融合比例，将经过特定卷积操作的两个特征数据进行拼接，并将拼接后的融合特征数据输入分类器，以得到图像分类结果。[0054] 下面结合附图，对本发明实施例做进一步阐述。[0055] 如图3所示，本发明提出的模型具有两个通道，一个通道提取HSI的空间‑光谱特征另一个通道提取单个像素的光谱特征。双通道都先经过3D卷积，得到3D特征，将3D特征降维，再使用2D卷积，为了将两特征更好的融合，将两通道特征都经过一个全连接层，通过控制全连接层神经元的数量来控制特征融合比例，然后将两特征拼接到一起，最后进入分类器，得到分类结果。[0056] 由图3可知，本发明的分类通过特定的卷积设计，降低了模型的复杂度和计算量，在最大程度保留特征的同时，降低了模型的计算量，加速了模型的收敛速度。由于两通道最后得到的特征由于输入数据的不同，数据量差别较大，为了使两者更好的融合，在融合前各自先经过一个整形层，整形层是一个全连接层，通过控制全连接层的神经元数量来控制两者的融合比例，比例为1:1融合。使得更好的融合。[0057] 综上本发明，使用两个通道充分挖掘已有数据的空间和光谱信息，在HSI训练样本稀少的情况下也能获得较高的分类准确率，此外通过使用混合卷积技术大幅度降低了模型的参数量。[0058] 本发明实施例的基于通道特征融合的高光谱图像小样本分类方法，通过将原始图像数据输入基于深度学习的HSI分类模型，通过基于深度学习的HSI分类模型的两个通道分别提取HSI空间‑光谱特征数据和单个像素的光谱特征数据；基于提取的HSI空间‑光谱特征数据和单个像素的光谱特征数据，对HSI空间‑光谱特征数据和单个像素的光谱特征数据进行特定卷积操作；以及，基于特定卷积操作，将经过特定卷积操作的两个特征数据分别经过全连接层，通过控制全连接层神经元的数量控制特征数据融合比例；基于特征数据融合比例，将经过特定卷积操作的两个特征数据进行拼接，并将拼接后的融合特征数据输入分类器，以得到图像分类结果。本发明使用两个通道充分挖掘已有数据的空间和光谱信息，在HSI训练样本稀少的情况下也能获得较高的分类准确率，此外通过使用混合卷积技术大幅度降低了模型的参数量。[0059] 图4为据本发明一个实施例的基于通道特征融合的高光谱图像小样本分类装置结构示意图，如图4所示，该基于通道特征融合的高光谱图像小样本分类装置10，包括：特征提取模块100、数据处理模块200和融合分类模块300。[0060] 特征提取模块100，用于将原始图像数据输入基于深度学习的HSI分类模型，通过基于深度学习的HSI分类模型的两个通道分别提取HSI空间‑光谱特征数据和单个像素的光谱特征数据；[0061] 数据处理模块200，用于基于提取的HSI空间‑光谱特征数据和单个像素的光谱特征数据，对HSI空间‑光谱特征数据和单个像素的光谱特征数据进行特定卷积操作；以及，基于特定卷积操作，将经过特定卷积操作的两个特征数据分别经过全连接层，通过控制全连接层神经元的数量控制特征数据融合比例；[0062] 融合分类模块300，用于基于特征数据融合比例，将经过特定卷积操作的两个特征数据进行拼接，并将拼接后的融合特征数据输入分类器，以得到图像分类结果。[0063] 作为一种示例，上述数据处理模块200，包括：[0064] 第一处理子模块，用于分别将HSI空间‑光谱特征数据和单个像素的光谱特征数据经过3D卷积操作，得到3D特征数据；[0065] 第二处理子模块，用于基于3D特征数据将3D特征数据进行降维处理，得到降维特征数据；[0066] 第三处理子模块，用于基于特征数据，使用2D卷积对特征数据进行卷积操作，得到2D特征数据。[0067] 作为一种示例，上述数据处理模块200，还包括：[0068] 添加处理模块，用于在对两个通道输出的2D特征数据进行融合前添加整形层；其中，整形层为所述全连接层；[0069] 控制融合模块，用于基于添加的整形层的神经元数量，控制两个通道输出的2D特征数据的融合比例。[0070] 作为一种示例，上述数据处理模块200，还包括：[0071] 比例融合模块，用于控制两个通道输出的2D特征数据进行1:1比例融合。[0072] 根据本发明实施例提出的基于通道特征融合的高光谱图像小样本分类装置，通过特征提取模块，用于将原始图像数据输入基于深度学习的HSI分类模型，通过基于深度学习的HSI分类模型的两个通道分别提取HSI空间‑光谱特征数据和单个像素的光谱特征数据；数据处理模块，用于基于提取的HSI空间‑光谱特征数据和单个像素的光谱特征数据，对HSI空间‑光谱特征数据和单个像素的光谱特征数据进行特定卷积操作；以及，基于特定卷积操作，将经过特定卷积操作的两个特征数据分别经过全连接层，通过控制全连接层神经元的数量控制特征数据融合比例；融合分类模块，用于基于特征数据融合比例，将经过特定卷积操作的两个特征数据进行拼接，并将拼接后的融合特征数据输入分类器，以得到图像分类结果。本发明使用两个通道充分挖掘已有数据的空间和光谱信息，在HSI训练样本稀少的情况下也能获得较高的分类准确率，此外通过使用混合卷积技术大幅度降低了模型的参数量。[0073] 需要说明的是，前述对基于通道特征融合的高光谱图像小样本分类方法的解释说明也适用于本实施例的基于通道特征融合的高光谱图像小样本分类装置，此处不再赘述。[0074] 此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。[0075] 在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不是必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。[0076] 尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

专利地区：北京

专利申请日期：2021-11-12

专利公开日期：2024-07-26

专利公告号：CN114067175B