红外图像目标定位方法、装置、设备、介质及程序产品

专利名称：红外图像目标定位方法、装置、设备、介质及程序产品

专利类型：发明专利

专利申请号：CN202410705150.6

专利申请（专利权）人：四川中科友成科技有限公司
权利人地址：四川省成都市郫都区成都现代工业港北片区望丛东路788号

专利发明（设计）人：罗锐

专利摘要：本发明公开了红外图像目标定位方法、装置、设备、介质及程序产品。包括以下步骤：采集实时红外图像和待定位目标模板图像；对待定位目标模板图像和实时红外图像进行特征提取和卷积操作，获取粗匹配图像；将粗匹配图像和待定位目标模板图像输入至预先训练好的特征点提取模型中，计算粗匹配图像与待定位目标模板图像之间的特征点相似度，以确定最佳特征点集；确定最佳特征点集在实时红外图像与待定位目标模板图像之间的映射关系，以此确定关键区域的定位结果。解决了现有技术中传统的红外图像目标定位方法准确性不高和应用受限的技术问题，实现了不同视角和不同尺度空间下保证定位准确率的技术效果。

主权利要求：
1.一种红外图像目标定位方法，其特征在于，包括如下步骤：
采集实时红外图像和待定位目标模板图像，其中，所述实时红外图像指实时采集的红外图像，所述待定位目标模板图像指在不同拍摄点位下拍摄得到的图像，所述待定位目标模板图像具有图像关联信息，所述图像关联信息包括所述待定位目标模板图像的关键区域的位置坐标；
对所述待定位目标模板图像和所述实时红外图像进行特征提取和卷积操作，获取粗匹配图像，其中，所述粗匹配图像指所述实时红外图像中，与所述待定位目标模板图像的特征匹配度最高且分辨率相同的图像；
将所述粗匹配图像和所述待定位目标模板图像输入至预先训练好的特征点提取模型中，计算所述粗匹配图像与所述待定位目标模板图像之间的特征点相似度，以确定最佳特征点集，其中，所述最佳特征点集指所述粗匹配图像与所述待定位目标模板图像之间最匹配的特征点的集合；
确定所述最佳特征点集在所述实时红外图像与所述待定位目标模板图像之间的映射关系，以此确定所述关键区域的定位结果；
所述对所述待定位目标模板图像和所述实时红外图像进行特征提取和卷积操作，获取粗匹配图像，包括：将所述待定位目标模板图像和所述实时红外图像输入至改进的特征提取模型，其中，所述特征提取模型指包含Ghostconv模块的VGG13模型；
对所述实时红外图像和所述待定位目标模板图像进行特征提取，得到所述待定位目标模板图像的第一特征图谱和所述实时红外图像的第二特征图谱，其中，所述第二特征图谱具有与所述第一特征图谱相似的局部区域特征；
基于所述第一特征图谱，对所述第二特征图谱进行卷积操作，得到相关性分数矩阵；
根据所述相关性分数矩阵，确定最大相关性分数；
根据所述最大相关性分数，确定所述待定位目标模板图像在所述实时红外图像中的像素坐标；
根据所述像素坐标裁剪所述实时红外图像，得到所述粗匹配图像。
2.根据权利要求1所述的方法，其特征在于，所述相关性分数矩阵指在所述第二特征图谱上使用所述第一特征图谱进行逐通道的卷积操作，并在通道维度上进行相关性分数求和后获得的分数矩阵。
3.根据权利要求2所述的方法，其特征在于，所述粗匹配图像指将所述像素坐标作为顶点，在所述实时红外图像上以裁剪的方式得到的与所述待定位目标模板图像具有相同分辨率的图像。
4.根据权利要求3所述的方法，其特征在于，将所述粗匹配图像和所述待定位目标模板图像输入至预先训练好的特征点提取模型中，计算所述粗匹配图像与所述待定位目标模板图像之间的特征点相似度，以确定最佳特征点集，包括：将所述粗匹配图像和所述待定位目标模板图像输入至预先训练好的SuperPoint特征点提取模型中，分别得到所述粗匹配图像的第三特征图谱和所述待定位目标模板图像的第四特征图谱，其中，所述第三特征图谱与所述第四特征图谱之间包含相似的特征信息；
采用SIFT特征点提取算法，分别从所述粗匹配图像和所述待定位目标模板图像中采集第一特征点集和第二特征点集，其中，所述第一特征点集和所述第二特征点集均为像素坐标点的集合，所述第一特征点集与所述第二特征点集之间存在相似特征点；
根据所述第三特征图谱和所述第四特征图谱，采用双线性插值分别对所述第一特征点集和所述第二特征点集中的每个像素坐标进行采样，得到所述粗匹配图像的第一特征向量矩阵和所述待定位目标模板图像的第二特征向量矩阵，其中，所述第一特征向量矩阵和所述第二特征向量矩阵指分别与第一特征点集和所述第二特征点集一一对应的特征向量矩阵；
根据所述第一特征向量矩阵和所述第二特征向量矩阵，获取相似度分数，其中，所述相似度分数指所述第一特征点集与所述第二特征点集中一一匹配的特征点的相似度；
获取所述相似度分数最高的前20组特征点作为最佳特征点集。
5.根据权利要求4所述的方法，其特征在于，确定所述最佳特征点集在所述实时红外图像与所述待定位目标模板图像之间的映射关系，以此确定所述关键区域的定位结果，包括：采用预先建立的RANSAC候选模型集合，剔除所述最佳特征点集中的错误匹配点，得到待计算特征点集；
根据所述待计算特征点集，计算所述待定位目标模板图像与所述实时红外图像之间的映射矩阵；
根据所述映射矩阵，将所述待定位目标模板图像的中心点映射至所述实时红外图像，得到所述关键区域的定位结果。
6.一种红外图像目标定位装置，其特征在于，包括：
采集模块，用于采集实时红外图像和待定位目标模板图像，其中，所述实时红外图像指实时采集的红外图像，所述待定位目标模板图像指在不同拍摄点位下拍摄得到的图像，所述待定位目标模板图像具有图像关联信息，所述图像关联信息包括所述待定位目标模板图像的关键区域的位置坐标；
获取模块，用于对所述待定位目标模板图像和所述实时红外图像进行特征提取和卷积操作，获取粗匹配图像，其中，所述粗匹配图像指所述实时红外图像中，与所述待定位目标模板图像的特征匹配度最高且分辨率相同的图像；
计算模块，用于将所述粗匹配图像和所述待定位目标模板图像输入至预先训练好的特征点提取模型中，计算所述粗匹配图像与所述待定位目标模板图像之间的特征点相似度，以确定最佳特征点集，其中，所述最佳特征点集指所述粗匹配图像与所述待定位目标模板图像之间最匹配的特征点的集合；
确定模块，用于确定所述最佳特征点集在所述实时红外图像与所述待定位目标模板图像之间的映射关系，以此确定所述关键区域的定位结果；
所述获取模块具体用于：
将所述待定位目标模板图像和所述实时红外图像输入至改进的特征提取模型，其中，所述特征提取模型指包含Ghostconv模块的VGG13模型；
对所述实时红外图像和所述待定位目标模板图像进行特征提取，得到所述待定位目标模板图像的第一特征图谱和所述实时红外图像的第二特征图谱，其中，所述第二特征图谱具有与所述第一特征图谱相似的局部区域特征；
基于所述第一特征图谱，对所述第二特征图谱进行卷积操作，得到相关性分数矩阵；
根据所述相关性分数矩阵，确定最大相关性分数；
根据所述最大相关性分数，确定所述待定位目标模板图像在所述实时红外图像中的像素坐标；
根据所述像素坐标裁剪所述实时红外图像，得到所述粗匹配图像。
7.一种电子设备，其特征在于，包括：
处理器和存储器；
所述存储器用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行如权利要求1 5中任一项所~述的方法。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1 5中任一项所述的方~法。
9.一种计算机程序产品，其特征在于，包括计算机程序，所述计算机程序被执行时实现权利要求1 5任一项所述的方法。
~ 说明书 : 红外图像目标定位方法、装置、设备、介质及程序产品技术领域[0001] 本发明涉及图像处理技术领域，尤其涉及红外图像目标定位方法、装置、设备、介质及程序产品。背景技术[0002] 红外成像技术是一种被动式的将物体红外辐射信号转换成人眼可以分辨的图像的技术，相比于可见光，红外成像技术可以满足全天候不间断侦测的需求。在全天候不间断侦测时，目标定位和分类是重要的业务需求之一。[0003] 传统的红外图像的目标定位方法通过计算图像的灰度级差异来识别目标，利用参数统计图像背景模型描述图像，并结合计算机辅助设计模型获得的目标特征，使用广义似然比检验来确定待定位目标。[0004] 但本申请发明人在实现本申请实施例中发明技术方案的过程中，发现上述技术至少存在如下技术问题：灰度级差异难以明显区分目标和背景，由于红外图像中噪声较大，影响了灰度级差异的准确性，且由于红外图像和计算机辅助设计模型在不同的尺度空间和不同视角下获取，因此，使用灰度级差异进行匹配定位效果不佳，具有一定的局限性。发明内容[0005] 鉴于上述问题，本申请实施例通过提供红外图像目标定位方法、装置、设备、介质及程序产品，解决了现有技术中传统的红外图像目标定位方法准确性不高和应用受限的技术问题，实现了不同视角和不同尺度空间下保证定位准确率的技术效果。[0006] 本申请实施例提供了红外图像目标定位方法、装置、设备、介质及程序产品。[0007] 第一方面，本申请提供了红外图像目标定位方法，包括如下步骤：[0008] 采集实时红外图像和待定位目标模板图像，其中，所述实时红外图像指实时采集的红外图像，所述待定位目标模板图像指在不同拍摄点位下拍摄得到的图像，所述待定位目标模板图像具有图像关联信息，所述图像关联信息包括所述待定位目标模板图像的关键区域的位置坐标；[0009] 对所述待定位目标模板图像和所述实时红外图像进行特征提取和卷积操作，获取粗匹配图像，其中，所述粗匹配图像指所述实时红外图像中，与所述待定位目标模板图像的特征匹配度最高且分辨率相同的图像；[0010] 将所述粗匹配图像和所述待定位目标模板图像输入至预先训练好的特征点提取模型中，计算所述粗匹配图像与所述待定位目标模板图像之间的特征点相似度，以确定最佳特征点集，其中，所述最佳特征点集指所述粗匹配图像与所述待定位目标模板图像之间最匹配的特征点的集合；[0011] 确定所述最佳特征点集在所述实时红外图像与所述待定位目标模板图像之间的映射关系，以此确定所述关键区域的定位结果。[0012] 优选地，所述对所述待定位目标模板图像和所述实时红外图像进行特征提取和卷积操作，获取粗匹配图像，包括：[0013] 将所述待定位目标模板图像和所述实时红外图像输入至改进的特征提取模型，其中，所述特征提取模型指包含Ghostconv模块的VGG13模型；[0014] 对所述实时红外图像和所述待定位目标模板图像进行特征提取，得到所述待定位目标模板图像的第一特征图谱和所述实时红外图像的第二特征图谱，其中，所述第二特征图谱具有与所述第一特征图谱相似的局部区域特征；[0015] 基于所述第一特征图谱，对所述第二特征图谱进行卷积操作，得到相关性分数矩阵；[0016] 根据所述相关性分数矩阵，确定最大相关性分数；[0017] 根据所述最大相关性分数，确定所述待定位目标模板图像在所述实时红外图像中的像素坐标；[0018] 根据所述像素坐标裁剪所述实时红外图像，得到所述粗匹配图像。[0019] 优选地，所述相关性分数矩阵指在所述第二特征图谱上使用所述第一特征图谱进行逐通道的卷积操作，并在通道维度上进行相关性分数求和后获得的分数矩阵。[0020] 优选地，所述粗匹配图像指将所述像素坐标作为顶点，在所述实时红外图像上以裁剪的方式得到的与所述待定位目标模板图像具有相同分辨率的图像。[0021] 优选地，将所述粗匹配图像和所述待定位目标模板图像输入至预先训练好的特征点提取模型中，计算所述粗匹配图像与所述待定位目标模板图像之间的特征点相似度，以确定最佳特征点集，包括：[0022] 将所述粗匹配图像和所述待定位目标模板图像输入至预先训练好的SuperPoint特征点提取模型中，分别得到所述粗匹配图像的第三特征图谱和所述待定位目标模板图像的第四特征图谱，其中，所述第三特征图谱与所述第四特征图谱之间包含相似的特征信息；[0023] 采用SIFT特征点提取算法，分别从所述粗匹配图像和所述待定位目标模板图像中采集第一特征点集和第二特征点集，其中，所述第一特征点集和所述第二特征点集均为像素坐标点的集合，所述第一特征点集与所述第二特征点集之间存在相似特征点；[0024] 根据所述第三特征图谱和所述第四特征图谱，采用双线性插值分别对所述第一特征点集和所述第二特征点集中的每个像素坐标进行采样，得到所述粗匹配图像的第一特征向量矩阵和所述待定位目标模板图像的第二特征向量矩阵，其中，所述第一特征向量矩阵和所述第二特征向量矩阵指分别与第一特征点集和所述第二特征点集一一对应的特征向量矩阵；[0025] 根据所述第一特征向量矩阵和所述第二特征向量矩阵，获取相似度分数，其中，所述相似度分数指所述第一特征点集与所述第二特征点集中一一匹配的特征点的相似度；[0026] 获取所述相似度分数最高的前20组特征点作为最佳特征点集。[0027] 优选地，确定所述最佳特征点集在所述实时红外图像与所述待定位目标模板图像之间的映射关系，以此确定所述目标模板的定位结果，包括：[0028] 采用预先建立的RANSAC候选模型集合，剔除所述最佳特征点集中的错误匹配点，得到待计算特征点集；[0029] 根据所述待计算特征点集，计算所述待定位目标模板图像与所述实时红外图像之间的映射矩阵；[0030] 根据所述映射矩阵，将所述待定位目标模板图像的中心点映射至所述实时红外图像，得到所述关键区域的定位结果。[0031] 第二方面，本申请还提供了一种红外图像目标定位装置，包括：[0032] 采集模块，用于采集实时红外图像和待定位目标模板图像，其中，所述实时红外图像指实时采集的红外图像，所述待定位目标模板图像指在不同拍摄点位下拍摄得到的图像，所述待定位目标模板图像具有图像关联信息，所述图像关联信息包括所述待定位目标模板图像的关键区域的位置坐标；[0033] 获取模块，用于对所述待定位目标模板图像和所述实时红外图像进行特征提取和卷积操作，获取粗匹配图像，其中，所述粗匹配图像指所述实时红外图像中，与所述待定位目标模板图像的特征匹配度最高且分辨率相同的图像；[0034] 计算模块，用于将所述粗匹配图像和所述待定位目标模板图像输入至预先训练好的特征点提取模型中，计算所述粗匹配图像与所述待定位目标模板图像之间的特征点相似度，以确定最佳特征点集，其中，所述最佳特征点集指所述粗匹配图像与所述待定位目标模板图像之间最匹配的特征点的集合；[0035] 确定模块，用于确定所述最佳特征点集在所述实时红外图像与所述待定位目标模板图像之间的映射关系，以此确定所述关键区域的定位结果。[0036] 第三方面，本申请还提供了一种电子设备，包括：[0037] 处理器和存储器；[0038] 所述存储器用于存储所述处理器的可执行指令；[0039] 其中，所述处理器配置为经由执行所述可执行指令来执行红外图像目标定位方法中任一项所述的方法。[0040] 第四方面，本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现红外图像目标定位方法中任一项所述的方法。[0041] 第五方面，本申请还提供了一种计算机程序产品，包括计算机程序，所述计算机程序被执行时实现红外图像目标定位方法中任一项所述的方法。[0042] 本申请实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：通过对实时红外图像和待定位目标模板图像进行特征提取和比对，得到与待定位目标模板图像匹配度最高且分辨率相同的实时红外图像的局部图像，作为粗匹配图像；通过计算粗匹配图像与待定位目标模板图像之间的特征点相似度，确定最佳特征点集，进一步保证了匹配的准确性；并根据最佳特征点集确定实时红外图像与待定位目标模板图像之间的映射关系，输出定位结果。解决了现有技术中传统的红外图像目标定位方法准确性不高和应用受限的技术问题，实现了不同视角和不同尺度空间下保证定位准确率的技术效果。附图说明[0043] 图1示出了本申请实施例提供的一种红外图像目标定位方法流程图；[0044] 图2示出了本申请实施例提供的城市场景下的定位结果示意图；[0045] 图3示出了本申请实施例提供的树林场景下的定位结果示意图；[0046] 图4示出了本申请实施例提供的获取粗匹配图像的方法流程图；[0047] 图5示出了本申请实施例提供的确定最佳特征点集的方法流程图；[0048] 图6示出了本申请实施例提供的确定定位结果的方法流程图；[0049] 图7示出了本申请实施例提供的一种红外图像目标定位装置的结构框图；[0050] 图8示出了本实施例提供的一种电子设备的内部结构图；具体实施方式[0051] 本申请实施例通过提供红外图像目标定位方法、装置、设备、介质及程序产品，解决了现有技术中传统的红外图像目标定位方法准确性不高和应用受限的技术问题，实现了不同视角和不同尺度空间下保证定位准确率的技术效果。[0052] 为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。[0053] 实施例一：[0054] 图1示出了本申请实施例提供的一种红外图像目标定位方法流程图。如图1所示，本申请实施例提供了一种红外图像目标定位方法，包括如下步骤：[0055] S10、采集实时红外图像和待定位目标模板图像，其中，所述实时红外图像指实时采集的红外图像，所述待定位目标模板图像指在不同拍摄点位下拍摄得到的图像，所述待定位目标模板图像具有图像关联信息，所述图像关联信息包括所述待定位目标模板图像的关键区域的位置坐标。[0056] 其中，实时红外图像可以是待进行关键区域定位的红外图像，红外图像可以是城市场景、树林场景、家庭场景或其他场景下的任一红外图像。实时红外图像可以由图像采集设备获取。例如，图像采集设备可以是无人机、具有红外摄像头的设备。[0057] 其中，待定位目标模板图像可以是由图像采集设备在预先设定的不同拍摄点位拍摄得到的红外图像。示例性的，可以预先收集在至少一个预先设定的拍摄点位所拍摄的红外图像作为待定位目标模板图像，同时记录每张候选模板图像的拍摄点位序号，便于后续与实时红外图像进行位置匹配。[0058] 其中，图像关联信息可以是用于表征待定位目标模板图像的图像特征信息。关键区域可以是图像中包含了待定位目标的区域。可以理解的是，图像采集设备拍摄得到得的实时红外图像中既包含了关键区域，也包含了与关键区域无关的背景元素。因此，在进行关键区域定位时，需要对实时红外图像和待定位目标模板图像中的特征点进行相似度匹配，以便针对关键区域进行分析识别，避免背景元素的干扰。示例性的，实时红外图像为停车场红外图像，待定位目标模板图像为不同视角下拍摄的红外图像，关键区域为停车场中的汽车所在区域，图像关联信息为停车场中汽车图像包含的特征点。[0059] 其中，关键区域的位置坐标可以是关键区域在待定位目标模板图像上的位置坐标。例如，关键区域的位置坐标可以是关键区域中的像素点对应在待定位目标模板图像上的位置坐标。可选的，关键区域通常为矩形区域，因此，当确定关键区域的左上区域位置和右下区域位置坐标时，即可确定该关键区域相对于待定位目标模板图像的位置。可选的，也可以是确定关键区域的左下区域位置坐标和右上区域位置坐标，即可确定该关键区域相对于待定位目标模板图像的位置。[0060] 示例性的，可以先预先收集图像采集设备在各拍摄点位拍摄得到的红外图像作为待定位目标模板图像。从各待定位目标模板图像中查找与实时红外图像的拍摄点位序号相同的待定位目标模板图像，对实时红外图像和待定位目标模板图像的特征点进行相似度匹配，以确定待定位目标模板图像中关键区域的位置，并记录矩形框的坐标位置。后续可以通过待定位目标模板图像中关键区域的位置坐标，定位实时红外图像的关键区域。[0061] S20、对所述待定位目标模板图像和所述实时红外图像进行特征提取和卷积操作，获取粗匹配图像，其中，所述粗匹配图像指所述实时红外图像中，与所述待定位目标模板图像的特征匹配度最高且分辨率相同的图像。[0062] 其中，粗匹配图像可以是实时红外图像中包含待定位目标模板图像关键区域的图像。示例性的，可以采用预先训练的VGG(VisualGeometryGroup)模型对待定位目标模板图像和实时红外图像中的特征进行特征提取，对提取后的特征进行卷积操作，在卷积通道维度上进行求和，计算卷积最大值，以此获取匹配度最高的特征，根据匹配成功的特征所在位置，在实时红外图像上裁剪出与待定位目标模板图像关键区域特征匹配度最高且分辨率相同的图像。[0063] S30、将所述粗匹配图像和所述待定位目标模板图像输入至预先训练好的特征点提取模型中，计算所述粗匹配图像与所述待定位目标模板图像之间的特征点相似度，以确定最佳特征点集，其中，所述最佳特征点集指所述粗匹配图像与所述待定位目标模板图像之间最匹配的特征点的集合。[0064] 其中，预先训练好的特征提取模型可以是加载了预训练权重的深度学习法。示例性的，通过将粗匹配图像和待定位目标模板图像输入至预先训练好的SuperPoint特征点提取模型和SIFT（Scale‑Invariant FeatureTransform）特征点提取算法中，利用SuperPoint特征点提取模型进行关键点检测和描述符提取，并采用SIFT特征点提取算法查找和计算不同尺度空间下的特征点，得到粗匹配图像与待定位目标模板图像之间最匹配的特征点合集。[0065] S40、确定所述最佳特征点集在所述实时红外图像与所述待定位目标模板图像之间的映射关系，以此确定所述关键区域的定位结果。[0066] 其中，通过确定最佳特征点集中的特征点在实时红外图像和待定位目标模板图像上的位置，可以确定实时红外图像与待定位目标模板图像之间的映射关系，将待定位目标模板图像中关键区域的位置映射至实时红外图像中，确定实时红外图像中关键区域的位置。[0067] 示例性的，图2示出了本申请实施例提供的城市场景下的定位结果示意图。如图2所示，绿色标注区域为待定位目标模板图像的关键区域，红色标注区域为待定位目标模板图像的关键区域在实时红外图像中的位置。图2展示了定位结果。[0068] 示例性的，图3示出了本申请实施例提供的树林场景下的定位结果示意图。如图3所示，绿色标注区域为待定位目标模板图像的关键区域，红色标注区域为待定位目标模板图像的关键区域在实时红外图像中的位置。图3展示了定位结果。[0069] 上述本申请实施例中的技术方案，至少具有如下的技术效果或优点：[0070] 通过对实时红外图像和待定位目标模板图像进行特征提取和比对，得到与待定位目标模板图像匹配度最高且分辨率相同的实时红外图像的局部图像，作为粗匹配图像；通过计算粗匹配图像与待定位目标模板图像之间的特征点相似度，确定最佳特征点集，进一步保证了匹配的准确性；并根据最佳特征点集确定实时红外图像与待定位目标模板图像之间的映射关系，输出定位结果。解决了现有技术中传统的红外图像目标定位方法准确性不高和应用受限的技术问题，实现了不同视角和不同尺度空间下保证定位准确率的技术效果。[0071] 图4示出了本申请实施例提供的获取粗匹配图像的方法流程图。如图4所示，S20、对待定位目标模板图像和实时红外图像进行特征提取和卷积操作，获取粗匹配图像，包括：[0072] S21、将待定位目标模板图像和实时红外图像输入至改进的特征提取模型，其中，特征提取模型指包含Ghostconv模块的VGG13模型。[0073] S22、对实时红外图像和待定位目标模板图像进行特征提取，得到待定位目标模板图像的第一特征图谱和实时红外图像的第二特征图谱，其中，第二特征图谱具有与第一特征图谱相似的局部区域特征。[0074] S23、基于第一特征图谱，对第二特征图谱进行卷积操作，得到相关性分数矩阵。[0075] S24、根据相关性分数矩阵，确定最大相关性分数。[0076] S25、根据最大相关性分数，确定待定位目标模板图像在实时红外图像中的像素坐标。[0077] S26、根据像素坐标裁剪实时红外图像，得到粗匹配图像。[0078] 优选地，相关性分数矩阵指在第二特征图谱上使用第一特征图谱进行逐通道的卷积操作，并在通道维度上进行相关性分数求和后获得的分数矩阵。[0079] 优选地，粗匹配图像指将像素坐标作为顶点，在实时红外图像上以裁剪的方式得到的与待定位目标模板图像具有相同分辨率的图像。[0080] 其中，改进的特征提取模型指包含Ghostconv模块的VGG13模型。Ghostconv（幻影卷积）模块首先通过传统卷积生成频道较小的特征图以减少计算量，然后在得到的特征图的基础上，通过廉价操作进一步减少计算量，生成新的特征图，通过将两组特征组拼接到一起生成新的特征图并输出，减少了计算量，提高了VGG13模型的效率和性能。[0081] 其中，第一特征图谱和第二特征图谱可以分别为实时红外图像和待定位目标模板图像中已匹配上的特征图谱。使用包含了Ghostconv模块的VGG13模型，对实时红外图像和待定位目标模板图像进行特征匹配。示例性的，每个特征图谱生成128维描述向量。[0082] 其中，相关性分数矩阵基于第一特征图谱和第二特征图谱的特征向量获取。根据第一特征图谱和第二特征图谱在每个通道上的相关性分数矩阵，在每个通道维度上对相关性分数矩阵进行求和，确定最大相关性分数，通过最大相关性分数的索引值确定在待定位目标模板图像在实时红外图像中的像素坐标，根据像素坐标对实时红外图像进行裁剪，得到与待定位目标模板图像具有相同分辨率的粗匹配图像。[0083] 示例性的，粗匹配图像可以是以像素坐标为左上角顶点裁剪得到的图像，也可以是以该像素坐标为右上角顶点裁剪得到的图像。粗匹配图像与待定位目标模板图像的分辨率相同。[0084] 图5示出了本申请实施例提供的确定最佳特征点集的方法流程图。如图5所示，S30、将粗匹配图像和待定位目标模板图像输入至预先训练好的特征点提取模型中，计算粗匹配图像与待定位目标模板图像之间的特征点相似度，以确定最佳特征点集，包括：[0085] S31、将粗匹配图像和待定位目标模板图像输入至预先训练好的SuperPoint特征点提取模型中，分别得到粗匹配图像的第三特征图谱和待定位目标模板图像的第四特征图谱，其中，第三特征图谱与第四特征图谱之间包含相似的特征信息；[0086] S32、采用SIFT特征点提取算法，分别从粗匹配图像和待定位目标模板图像中采集第一特征点集和第二特征点集，其中，第一特征点集和第二特征点集均为像素坐标点的集合，第一特征点集与第二特征点集之间存在相似特征点；[0087] S33、根据第三特征图谱和第四特征图谱，采用双线性插值分别对第一特征点集和第二特征点集中的每个像素坐标进行采样，得到粗匹配图像的第一特征向量矩阵和待定位目标模板图像的第二特征向量矩阵，其中，第一特征向量矩阵和第二特征向量矩阵指分别与第一特征点集和第二特征点集一一对应的特征向量矩阵；[0088] S34、根据第一特征向量矩阵和第二特征向量矩阵，获取相似度分数，其中，相似度分数指第一特征点集与第二特征点集中一一匹配的特征点的相似度；[0089] S35、获取相似度分数最高的前20组特征点作为最佳特征点集。[0090] 其中，SuperPoint特征点提取模型分别对粗匹配图像和待定位目标模板图像进行特征提取，SIFT（Scale‑InvariantFeatureTransform，尺度不变特征转换）特征提取算法用于检测和描述图像中的局部特征，在不同的尺度和旋转下找到极值点，提取出这些点的位置。[0091] 其中，通过对粗匹配图像和待定位目标模板图像进行特征匹配，得到匹配成功的第三特征图谱和第四特征图谱，并采用SIFT特征点提取算法采集匹配成功的第一特征点集和第二特征点集。采用双线性插值分别对第一特征点集和第二特征点集进行采样，得到相互匹配的第一特征向量和第二特征向量。通过计算第一特征向量和第二特征向量的特征相似度，获取匹配度最高的前20组匹配点，得到最佳特征点集。[0092] 其中，最佳特征点集指相似度最高的特征点的集合，通过计算各匹配点集的相似度，可以得到最佳特征点集。[0093] 图6示出了本申请实施例提供的确定定位结果的方法流程图。如图6所示，S40、确定最佳特征点集在实时红外图像与待定位目标模板图像之间的映射关系，以此确定目标模板的定位结果，包括：[0094] S41、采用预先建立的RANSAC候选模型集合，剔除最佳特征点集中的错误匹配点，得到待计算特征点集；[0095] S42、根据待计算特征点集，计算待定位目标模板图像与实时红外图像之间的映射矩阵；[0096] S43、根据映射矩阵，将待定位目标模板图像的中心点映射至实时红外图像，得到关键区域的定位结果。[0097] 其中，匹配点集中包含匹配错误的特征点对，采用RANSAC候选模型集合可以进行后续的形状检测计算，将错误特征点集删除，进一步提高定位准确率。采用单应性矩阵将待定位目标模板图像的中心点映射至实时红外图像中，得到关键区域的定位结果。[0098] 实施例二：[0099] 图7示出了本申请实施例提供的一种红外图像目标定位装置的结构框图。如图7所示，本申请实施例提供了一种红外图像目标检测装置，包括：[0100] 采集模块400，用于采集实时红外图像和待定位目标模板图像，其中，实时红外图像指实时采集的红外图像，待定位目标模板图像指在不同拍摄点位下拍摄得到的图像，待定位目标模板图像具有图像关联信息，图像关联信息包括待定位目标模板图像的关键区域的位置坐标；[0101] 获取模块500，用于对待定位目标模板图像和实时红外图像进行特征提取和卷积操作，获取粗匹配图像，其中，粗匹配图像指实时红外图像中，与待定位目标模板图像的特征匹配度最高且分辨率相同的图像；[0102] 计算模块600，用于将粗匹配图像和待定位目标模板图像输入至预先训练好的特征点提取模型中，计算粗匹配图像与待定位目标模板图像之间的特征点相似度，以确定最佳特征点集，其中，最佳特征点集指粗匹配图像与待定位目标模板图像之间最匹配的特征点的集合；[0103] 确定模块700，用于确定最佳特征点集在实时红外图像与待定位目标模板图像之间的映射关系，以此确定关键区域的定位结果。[0104] 优选地，获取模块500包括：[0105] 输入单元，用于将待定位目标模板图像和实时红外图像输入至改进的特征提取模型，其中，特征提取模型指包含Ghostconv模块的VGG13模型；[0106] 提取单元，用于对实时红外图像和待定位目标模板图像进行特征提取，得到待定位目标模板图像的第一特征图谱和实时红外图像的第二特征图谱，其中，第二特征图谱具有与第一特征图谱相似的局部区域特征；[0107] 卷积单元，用于基于第一特征图谱，对第二特征图谱进行卷积操作，得到相关性分数矩阵；[0108] 第一确定单元，用于根据相关性分数矩阵，确定最大相关性分数；[0109] 第二确定单元，用于根据最大相关性分数，确定待定位目标模板图像在实时红外图像中的像素坐标；[0110] 得到单元，用于根据像素坐标裁剪实时红外图像，得到粗匹配图像。[0111] 优选地，计算模块600，包括：[0112] 输入单元，用于将粗匹配图像和待定位目标模板图像输入至预先训练好的SuperPoint特征点提取模型中，分别得到粗匹配图像的第三特征图谱和待定位目标模板图像的第四特征图谱，其中，第三特征图谱与第四特征图谱之间包含相似的特征信息；[0113] 采集单元，用于采用SIFT特征点提取算法，分别从粗匹配图像和待定位目标模板图像中采集第一特征点集和第二特征点集，其中，第一特征点集和第二特征点集为存在相似特征的像素坐标点的集合；[0114] 采样单元，用于根据第三特征图谱和第四特征图谱，采用双线性插值分别对第一特征点集和第二特征点集中的每个像素坐标进行采样，得到粗匹配图像的第一特征向量矩阵和待定位目标模板图像的第二特征向量矩阵，其中，第一特征向量矩阵和第二特征向量矩阵指与第一特征点集和第二特征点集一一对应的特征向量矩阵；[0115] 第一获取单元，用于根据第一特征向量矩阵和第二特征向量矩阵，获取相似度分数，其中，相似度分数指第一特征点集与第二特征点集中一一匹配的特征点的相似度；[0116] 第二获取单元，用于获取相似度分数最高的前20组特征点作为最佳特征点集。[0117] 优选地，确定模块700，包括：[0118] 剔除单元，用于采用预先建立的RANSAC候选模型集合，剔除最佳特征点集中的错误匹配点，得到待计算特征点集；[0119] 计算单元，用于根据待计算特征点集，计算待定位目标模板图像与实时红外图像之间的映射矩阵；[0120] 映射单元，用于根据映射矩阵，将待定位目标模板图像的中心点映射至实时红外图像，得到关键区域的定位结果。[0121] 实施例三：[0122] 图8示出了本实施例提供的一种电子设备的内部结构图，如图8所示，本申请实施例提供了一种电子设备，包括：处理器和存储器；存储器用于存储处理器的可执行指令；其中，处理器配置为经由执行可执行指令来执行红外图像目标定位方法。[0123] 在本实施例中，处理器通过系统总线、I/O接口和通信接口接收并执行可执行指令，内存储器及非易失性存储介质均通过系统总线、I/O接口和通信接口接收并存储处理器的可执行指令。[0124] 实施例四：[0125] 本申请实施例提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机执行指令，计算机执行指令被处理器执行时用于实现红外图像目标定位方法。[0126] 上述的计算机可读存储介质，上述可读存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器，电可擦除可编程只读存储器，可擦除可编程只读存储器，可编程只读存储器，只读存储器，磁存储器，快闪存储器，磁盘或光盘。可读存储介质可以是通用或专用计算机能够存取的任何可用介质。[0127] 可选的，将可读存储介质耦合至处理器，从而使处理器能够从该可读存储介质读取信息，且可向该可读存储介质写入信息。当然，可读存储介质也可以是处理器的组成部分。处理器和可读存储介质可以位于专用集成电路(ApplicationSpecificIntegratedCircuits，ASIC)中。当然，处理器和可读存储介质也可以作为分立组件存在于设备中。[0128] 实施例五：[0129] 本申请实施例提供了一种计算机程序产品，包括计算机程序，计算机程序被执行时实现红外图像目标定位方法。[0130] 本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD‑ROM、光学存储器等）上实施的计算机程序产品的形式。[0131] 本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。[0132] 这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。[0133] 这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。[0134] 尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。[0135] 显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

专利地区：四川

专利申请日期：2024-06-03

专利公开日期：2024-09-03

专利公告号：CN118279398B