一种基于跨模态瓶颈适配网络的机载多模态目标检测方法

专利名称：一种基于跨模态瓶颈适配网络的机载多模态目标检测方法

专利类型：发明专利

专利申请号：CN202410364371.1

专利申请（专利权）人：中国矿业大学
权利人地址：江苏省徐州市铜山区大学路1号

专利发明（设计）人：王浩宇,王雪松,程玉虎,邢长达,林常见,刘晓敏,张威,吴世佳

专利摘要：本发明公开了一种基于跨模态瓶颈适配网络的机载多模态目标检测方法，首先，为了解决模态异质性挑战，引入了全局互信息适配机制和结构互信息适配机制。这些机制有助于增加模态之间的共享信息量，推动跨模态知识的更好共享；然后，构建了变分信息瓶颈，通过多模态分布融合、先验分布约束和任务约束，模型能够更加高效地处理多模态数据，从而更关注于多模态数据中任务相关的关键信息来应对模态冗余挑战。

主权利要求：
1.一种基于跨模态瓶颈适配网络的多模态目标检测方法，其特征在于，包括如下步骤：步骤1，分别对红外图像和可见光图像的ROI特征解耦，以获得类隐变量和空间隐变量，具体包括可见光类隐变量 红外类隐变量 可见光空间隐变量 和红外空间隐变量步骤2，对类隐变量和空间隐变量分别进行跨模态分布适配；
所述跨模态分布适配包括互信息优化、全局互信息适配和结构互信息适配；
所述互信息优化包括对可见光类隐变量 和红外类隐变量 的互信息优化、以及对可见光空间隐变量 和红外空间隐变量 的互信息优化；
可见光类隐变量 和红外类隐变量 的互信息表示为联合分布 和边缘分布的乘积 之间的KL散度，如下：通过最大化联合分布 和边缘分布乘积 的分布差异，实现变量可见光类隐变量 和红外类隐变量 的互信息最大化，得到互信息优化后的可见光类隐变量和红外类隐变量对可见光空间隐变量 和红外空间隐变量 的互信息表示为联合分布 和边缘分布乘积 之间的KL散度：通过最大化联合分布 和边缘分布乘积 的分布差异，实现可见光空间隐变量 和红外类隐变量 的互信息最大化，得到互信息优化后的可见光空间隐变量和红外空间隐变量所述全局互信息适配是指从互信息优化后的两模态类分布中采样类隐变量，并构建正样本对 和负样本对 其中，两模态中编码了相同目标信息的类隐变量被视作正样本对，编码了不同目标信息的类隐变量被视作负样本对；然后，将正负样本对输入全局互信息判别器，获得类分布适配损失；
所述结构互信息适配是指从互信息优化后的两模态空间分布中采样空间隐变量，并构建正样本对 和负样本对 其中，编码了相同目标的两模态ROI特征和对应的空间隐变量被视作正样本对，编码了不同目标的两模态ROI特征和对应的空间隐变量被视作负样本对；然后，将正负样本对输入结构互信息判别器，获得空间分布适配损失；
分布适配损失表示为类分布适配损失和空间分布适配损失的加权和；
步骤3，进行多模态分布融合，以及先验分布约束和任务约束，具体为：将两个模态的类分布进行融合、以及两个模态的空间分布进行融合；
利用先验分布约束最小化类融合分布和先验分布p(f)之间的KL散度，以及利用先验分布约束最小化空间融合分布与先验分布之间的KL散度，鼓励融合后验分布qψ(f|z)近似先验分布p(f)；
从类融合分布中采样以获得符合狄利克雷分布的类融合特征 采用重参化对空间融合分布采样，以获得符合高斯分布的空间融合特征将类融合特征 和空间融合特征 输入检测模块，所述检测模块包括目标识别头和目标定位头，所述类融合特征 输入到目标识别头，用于获得获得目标的类预测 所述空间融合特征 输入到目标定位头，用于空间位置预测其中， 为目标识别头， 为目标定位头；
基于类预测和空间位置预测计算任务约束：
其中， 为分类损失，ζ(·)为空间位置回归损失。
2.根据权要求1所述一种基于跨模态瓶颈适配网络的多模态目标检测方法，其特征在于，步骤1中获取所述红外图像和可见光图像的ROI特征，具体过程如下：利用特征金字塔网络分别提取红外图像和可见光图像中不同尺度的特征，得到多尺度特征P，包括红外图像多尺度特征和可见光图像多尺度特征；
之后，获取多尺度特征的N个提议框 结合多尺度特征P，利用RoiAlign得到提议框对应区域的原始ROI特征，表示为：x0＝RoiAlign(P,A)
对提议框A的特征Fp和原始ROI特征x0建立交互关系，进一步捕获空间信息得到优化ROI特征x，表示为：x＝IIH(x0,Fp)
V I V I
其中，x＝{x ,x}，x表示可见光图像的ROI特征，x表示红外图像的ROI特征。
3.根据权要求2所述一种基于跨模态瓶颈适配网络的多模态目标检测方法，其特征在于，步骤1中所述获得类隐变量和空间隐变量的方法如下：利用类编码器预测类后验分布 的均值矩阵和标准差矩阵，从高斯分布Ν(0,I)中采样ε，通过得到的均值和标准差进行重参化获得类隐变量zc；
利用空间编码器预测空间后验分布 的均值矩阵和标准差矩阵，从高斯分布Ν(0,I)中采样向量ε，通过得到的均值和标准差进行重参化获得空间隐变量zs。 说明书 : 一种基于跨模态瓶颈适配网络的机载多模态目标检测方法技术领域[0001] 本发明涉及目标检测技术领域，主要涉及一种基于跨模态瓶颈适配网络的机载多模态目标检测方法。背景技术[0002] 在计算机视觉领域，目标检测是一项至关重要的任务，它涉及从图像或视频中准确地识别和定位特定对象或物体。随着技术的不断发展，人们对于多模态目标检测的需求也日益增加。在这个背景下，无人机机载设备等应用成为了多模态目标检测的一个重要场景。[0003] 无人机机载设备代表了现代航空领域的未来发展方向，它是一种结合了人工智能和机器学习技术的智能飞行平台。通过无人机技术，这些设备能够自主地在空中执行各种任务，包括航拍、监测、搜救等。然而，在实际应用中，无人机机载设备需要准确地识别和定位空中或地面上的各种目标，如车辆、建筑物等，以便执行任务或规避障碍。[0004] 与传统的目标检测方法相比，多模态目标检测能够同时利用多种不同类型的数据源，如可见光图像、红外图像等，从而提高了目标检测的性能和鲁棒性。例如，在无人机机载设备中，除了可见光图像外，还可以利用红外图像来增强对夜间或恶劣天气条件下的目标检测能力。这样，即使在光照条件不佳或有遮挡物的情况下，设备也能够准确地识别目标，确保任务的顺利执行。[0005] 然而，多模态目标检测也面临着一些挑战。首先，不同成像模态之间存在着显著的特性差异。例如，可见光图像和红外图像在成像机制和物体表现上有着明显的差异，这导致了目标检测的难度增加。其次，不同模态的信息存在冗余，即对于同一目标，不同模态的信息可能重复或者提供类似的信息。这会增加特征表示的复杂度和计算成本，同时也增加了对特征表示语义准确性和编码效率的要求。发明内容[0006] 发明目的：针对上述背景技术中存在的问题，本发明提供了一种基于跨模态瓶颈适配网络的机载多模态目标检测方法。首先，为应对模态特性差异挑战，本发明设计了跨模态分布适配，引入了互信息理论，为目标识别和定位任务分别定制了全局互信息适配机制和结构互信息适配机制，前者关注全局的类信息，后者可捕获精细的局部空间结构。接着，为应对模态冗余挑战，本发明构建了变分信息瓶颈，通过多模态分布融合、先验分布约束和任务约束，使模型关注于多模态数据中任务相关的关键信息。[0007] 技术方案：为实现上述目的，本发明采用的技术方案为：[0008] 一种基于跨模态瓶颈适配网络的多模态目标检测方法，包括如下步骤：[0009] 步骤1，分别对红外图像和可见光图像的ROI特征解耦，以获得类隐变量和空间隐变量，具体包括可见光类隐变量 红外类隐变量 可见光空间隐变量 和红外空间隐变量[0010] 步骤2，对类隐变量和空间隐变量分别进行跨模态分布适配。通过最大化模态间的共享信息量对不同模态的特征分布进行适配，为跨模态特征交互提供基础。[0011] 进一步的，步骤2中，所述跨模态分布适配包括互信息优化；[0012] 所述互信息优化包括对可见光类隐变量 和红外类隐变量 的互信息优化、以及对可见光空间隐变量 和红外空间隐变量 的互信息优化；[0013] 可见光类隐变量 和红外类隐变量 的互信息表示为联合分布 和边缘分布的乘积 之间的KL散度，如下：[0014][0015] 通过最大化联合分布 和边缘分布乘积 的分布差异，实现变量可见光类隐变量 和红外类隐变量 的互信息最大化，得到互信息优化后的可见光类隐变量 和红外类隐变量[0016] 对可见光空间隐变量 和红外空间隐变量 的互信息表示为联合分布和边缘分布乘积 之间的KL散度：[0017][0018] 通过最大化联合分布 和边缘分布乘积 的分布差异，实现可见光空间隐变量 和红外类隐变量 的互信息最大化，得到互信息优化后的可见光空间隐变量 和红外空间隐变量[0019] 进一步的，步骤2中，所述跨模态分布适配还包括全局互信息适配和结构互信息适配：[0020] 所述全局互信息适配是指从互信息优化后的两模态类分布中采样类隐变量，并构建正样本对 和负样本对 其中，两模态中编码了相同目标信息的类隐变量被视作正样本对，编码了不同目标信息的类隐变量被视作负样本对；然后，将正负样本对输入全局互信息判别器，获得类分布适配损失；所述结构互信息适配是指从互信息优化后的两模态空间分布中采样空间隐变量，并构建正样本对 和负样本对 其中，编码了相同目标的两模态ROI特征和对应的空间隐变量被视作正样本对，编码了不同目标的两模态ROI特征和对应的空间隐变量被视作负样本对；然后，将正负样本对输入结构互信息判别器，获得空间分布适配损失；分布适配损失表示为类分布适配损失和空间分布适配损失的加权和。[0021] 进一步的，所述一种基于跨模态瓶颈适配网络的多模态目标检测方法还包括步骤3，基于变分信息瓶颈理论，进行多模态分布融合，以及先验分布约束，具体为：[0022] 将两个模态的类分布进行融合、以及两个模态的空间分布进行融合；利用先验分布约束最小化类融合分布和先验分布p(f)之间的KL散度，以及利用先验分布约束最小化空间融合分布与先验分布之间的KL散度，鼓励融合后验分布qψ(f|z)近似先验分布p(f)。[0023] 进一步的，步骤3还包括任务约束，具体为：[0024] 从类融合分布中采样以获得符合狄利克雷分布的类融合特征fcf；采用重参化对空f间融合分布采样，以获得符合高斯分布的空间融合特征fs；[0025] 将类融合特征fcf和空间融合特征fsf输入检测模块，所述检测模块包括目标识别f头和目标定位头，所述类融合特征fc 输入到目标识别头，用于获得获得目标的类预测 所f述空间融合特征fs输入到目标定位头，用于空间位置预测[0026][0027] 其中， 为目标识别头， 为目标定位头；[0028] 基于类预测和空间位置预测计算任务约束：[0029][0030] 其中， 为分类损失，ζ(·)为空间位置回归损失。[0031] 进一步的，步骤1中获取所述红外图像和可见光图像的ROI特征，具体过程如下：[0032] 利用特征金字塔网络分别提取红外图像和可见光图像中不同尺度的特征，得到多尺度特征P，包括红外图像多尺度特征和可见光图像多尺度特征；[0033] 之后，获取多尺度特征的N个提议框 结合多尺度特征P，利用RoiAlign得到提议框对应区域的原始ROI特征，表示为：[0034] x0＝RoiAlign(P,A)[0035] 将提议框A的特征Fp和原始ROI特征x0输入信息交互模块，建立交互关系，进一步捕获空间信息得到优化ROI特征x，表示为：[0036] x＝IIH(x0,Fp)[0037] 其中，x＝{xV,xI}，xV表示可见光图像的ROI特征，xI表示红外图像的ROI特征。[0038] 进一步的，步骤1中所述获得类隐变量和空间隐变量的方法如下：[0039] 利用类编码器预测类后验分布 的均值矩阵和标准差矩阵，从高斯分布Ν(0,I)中采样ε，通过得到的均值和标准差进行重参化获得类隐变量zc；[0040] 利用空间编码器预测空间后验分布 的均值矩阵和标准差矩阵，从高斯分布Ν(0,I)中采样向量ε，通过得到的均值和标准差进行重参化获得空间隐变量zs。[0041] 有益效果[0042] 本发明提供的一种基于跨模态瓶颈适配网络的多模态目标检测方法，首先，为应对模态异质性挑战，本发明设计了全局互信息适配机制和结构互信息适配机制，通过增加模态间共享信息量推进跨模态知识共享。然后，本发明为目标识别任务和目标定位任务定制了差异化的融合参数和融合策略，以缓解不同任务特征偏好差异导致的梯度冲突。最后，为应对模态冗余挑战，本发明构建了变分信息瓶颈，通过多模态分布融合、先验分布约束和任务约束，使模型关注于多模态数据中任务相关的关键信息。附图说明[0043] 图1是本发明方法的原理框图。具体实施方式[0044] 下面结合附图对本发明作更进一步的说明。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。[0045] 一种基于跨模态瓶颈适配网络的多模态目标检测方法，如图1所示，包括如下步骤：[0046] 步骤S1、将采集到的红外图像和可见光图像输入到特征金字塔网络，通过特征金字塔网络分别提取红外图像和可见光图像中不同尺度的特征，然后，通过RoIAlign提取RoI特征，将RoI特征输入解耦变分自编码器，以获得类别相关的类隐变量和空间相关的空间隐变量，从而有助于分离不同类别的特征表示，提高目标检测的分类和定位准确性，具体的：[0047] 步骤1.1，利用特征金字塔网络分别提取红外图像和可见光图像中不同尺度的特征，特征金字塔网络由自底向上和自顶向下两个分支组成。自底向上分支负责提取不同层次的特征，自顶向下分支负责将低分辨率的特征图上采样到高分辨率，并与高分辨率的特征图进行融合得到多尺度特征P，分别为红外图像多尺度特征和可见光图像多尺度特征。[0048] 之后，获取多尺度特征的N个提议框 结合多尺度特征P，利用RoiAlign得到提议框对应区域的原始ROI特征，表示为：[0049] x0＝RoiAlign(P,A)[0050] 将提议框A的特征Fp和原始ROI特征x0输入信息交互模块，建立交互关系，进一步捕获空间信息得到优化ROI特征x，表示为：[0051] x＝IIH(x0,Fp)[0052] 其中，x＝{xV,xI}，xV表示可见光图像的ROI特征，xI表示红外图像的ROI特征。[0053] 步骤1.2，通过解耦变分自编码器将ROI特征x解耦为和目标识别任务相关的类隐变量zc和目标定位任务相关的空间隐变量zs。[0054] 步骤1.2.1，利用类编码器预测类后验分布 的均值矩阵和标准差矩阵，从高斯分布Ν(0,I)中采样ε，通过得到的均值和标准差进行重参化获得类隐变量zc，具体为。[0055] 首先，利用类编码器预测类后验分布 的均值矩阵和标准差矩阵：[0056][0057] 其中， 和 分别为x的类均值向量和类标准差向量，K为向量维度，为类分布编码器，为编码器参数。[0058] 然后，从高斯分布Ν(0,I)中采样向量ε，并通过下式对狄利克雷分布进行近似，获得类隐变量zc：[0059][0060] 其中， 表示可见光的类隐变量， 表示红外的类隐变量；Σc＝diagc c(σ)，表示包含了σ主对角线元素的对角矩阵。[0061] 对类后验分布 和类先验分布p(zc)之间的KL散度进行计算，并将计算所得的类后验分布 和类先验分布p(zc)之间的KL散度作为类KL散度损失[0062] 步骤1.2.2，利用空间编码器预测空间后验分布 的均值矩阵和标准差矩阵，从高斯分布Ν(0,I)中采样向量ε，通过得到的均值和标准差进行重参化获得空间隐变量zs，具体为：[0063] 首先利用空间编码器预测空间后验分布的均值矩阵和标准差矩阵：[0064][0065] 其中， 为空间编码器， 为编码器参数， 和 分别为x的空间均值向量和空间标准差向量。[0066] 然后，从高斯分布Ν(0,I)中采样ε，并对其重参化获得空间隐变量zs：[0067] zs＝μs+σs(ε)[0068] 其中， 表示可见光的空间隐变量，表示红外的空间隐变量。[0069] 空间后验分布 和空间先验分布p(zs)之间的空间KL散度损失可表示为：[0070][0071] 其中，KL(·)表示KL散度。[0072] 步骤S2、提出跨模态分布适配模块，包括互信息优化模块、全局互信息判别器、结构互信息判别器；将类隐变量zc和空间隐变量zs输入到跨模态分布适配模块，通过最大化模态间的共享信息量对不同模态的特征分布进行适配，为跨模态特征交互提供基础；[0073] 跨模态分布适配模块中引入了互信息理论，并为目标识别和定位任务分别定制了全局互信息适配机制和结构互信息适配机制，全局互信息适配机制用于关注全局的类信息，结构互信息适配机制可捕获精细的局部空间结构。[0074] 下面将从互信息优化机制，全局互信息适配机制和结构互信息适配机制和分布适配损失四个方面进行阐述：[0075] Step1:互信息优化机制。[0076] 对于变量Θ和Γ，它们的互信息定义为它们的联合分布p(Θ,Γ)和边缘分布的乘积p(Θ)p(Γ)之间的KL散度：[0077] I(Θ,Γ)＝KL(p(Θ,Γ)||p(Θ)p(Γ))[0078] 模型需要最大化联合分布p(Θ,Γ)和边缘分布乘积p(Θ)p(Γ)的分布差异。通过这种方式，即可实现变量Θ和Γ的互信息最大化，得到互信息优化后的变量Θ和Γ。[0079] 对于本具体实施方式，所述变量Θ和Γ为可见光类隐变量 和红外类隐变量或者是可见光空间隐变量 和红外空间隐变量[0080] 当输入到互信息优化模块中的变量是可见光类隐变量 和红外类隐变量 时，它们的互信息表示为它们的联合分布 和边缘分布的乘积 之间的KL散度：[0081][0082] 通过最大化联合分布 和边缘分布乘积 的分布差异，可实现变量 和 的互信息最大化，得到互信息优化后的 和[0083] 当输入到互信息优化模块中的变量是可见光空间隐变量 和红外空间隐变量时，它们的互信息表示为它们的联合分布 和边缘分布的乘积 之间的KL散度：[0084][0085] 通过最大化联合分布 和边缘分布乘积 的分布差异，可实现变量 和 的互信息最大化，得到互信息优化后的变量 和[0086] Step2:全局互信息适配。[0087] 首先，从互信息优化后的两模态类分布中采样类隐变量，并构建正样本对和负样本对 其中，两模态中编码了相同目标信息的类隐变量被视作正样本对，编码了不同目标信息的类隐变量被视作负样本对。然后，将正负样本对输入全局互信息判别器，获得类分布适配损失。[0088] Step3:结构互信息适配。[0089] 从互信息优化后的两模态空间分布中采样空间隐变量，并构建正样本对 和负样本对 其中，编码了相同目标的两模态ROI特征和对应的空间隐变量被视作正样本对，编码了不同目标的两模态ROI特征和对应的空间隐变量被视作负样本对。然后，将正负样本对输入结构互信息判别器，获得空间分布适配损失。[0090] Step4:分布适配损失。[0091] 综上所述，分布适配损失可表示为类分布适配损失和空间分布适配损失的加权和。[0092] 步骤S3、基于变分信息瓶颈理论，所述变分信息瓶颈理论包括先验分布约束和任务约束，提出一种变分瓶颈融合模块。通过模块中的多模态分布融合、先验分布约束和任务约束，使模型关注于多模态数据中的任务相关的关键信息。下面将介绍该部分的具体流程：[0093] Step1:将两个模态的类分布输入到类分布融合网络，进行融合类分布，融合类分布后的分布参数为[0094] 将两个模态的空间分布输入到空间分布融合网络，进行融合空间分布，融合空间分布后的分布参数为[0095] 基于两模态的后验分布 建模融合后验分布qψ(f|z)；[0096] Step2:利用先验分布约束最小化类融合分布和先验分布p(f)之间的KL散度，以及利用先验分布约束最小化空间融合分布与先验分布之间的KL散度。通过鼓励融合后验分布qψ(f|z)近似先验分布p(f)，避免保留输入z中的冗余信息；[0097] Step3:在类融合分布和空间融合分布中分别采样类融合特征和空间融合特征，需要指出的是，采用拉普拉斯近似的技巧从类融合分布中采样以获得符合狄利克雷分布的f类融合特征fc；采用重参化的技巧对空间融合分布采样，以获得符合高斯分布的空间融合f特征fs；[0098] Step4:将类融合特征fcf和空间融合特征fsf输入检测模块，所述检测模块包括目f标识别头和目标定位头，所述类融合特征fc输入到目标识别头，用于获得获得目标的类预f测 ，所述空间融合特征fs输入到目标定位头，用于空间位置预测[0099][0100] 其中， 为目标识别头， 为目标定位头。[0101] Step5:基于类预测和空间位置预测计算任务约束：[0102][0103] 其中， 为分类损失，ζ(·)为空间位置回归损失。[0104] 任务约束通过最小化任务预测和真实标签的差异确保融合特征中包含了任务相关的统计信息。

专利地区：江苏

专利申请日期：2024-03-28

专利公开日期：2024-11-29

专利公告号：CN118587613B