一种基于多模态融合网络的点云目标检测方法

专利名称：一种基于多模态融合网络的点云目标检测方法

专利类型：发明专利

专利申请号：CN202411331451.3

专利申请（专利权）人：大连理工大学
权利人地址：辽宁省大连市甘井子区凌工路2号

专利发明（设计）人：马艳华,董昕元,王杰

专利摘要：一种基于多模态融合网络的点云目标检测方法，属于三维目标检测技术领域。本发明改进了点云分组方式。将体素结构化特征与点云的特征进行拼接，扩充了原始数据的特征，在输入网络架构前提供了更多的有效信息，对于每个点云信息更合理的进行表达。本发明提出的网络架构，将点云与图片的特征进行拼接，融合。可以将点云数据提供深度信息的优点，图片数据提供丰富的纹理信息，这些优点进行有效的融合，因此提升了三维物体的检测精度。可以应用于自动驾驶，水下机器人等相关领域。

主权利要求：
1.一种基于多模态融合网络的点云目标检测方法，其特征在于，步骤如下:步骤1：获取待检测目标的三维点云数据及相应的二维图片；
步骤2：对步骤1中得到的三维点云数据进行数据增强，去除噪点；
步骤3：将数据增强后的三维点云数据转换成规则的体素形式，进而将三维点云数据中三维点云特征进行扩充，将体素的特征扩充为三维点云特征，最后将三维点云特征的通道数转换为128通道，此时三维点云特征记为point_features；
步骤3.1：对数据增强后的三维点云数据根据其位置信息进行预处理裁剪，只保留相机范围内的三维点云数据，舍去相机范围外的三维点云数据；然后将预处理裁剪后的三维点云数据进行统一编码，将编码后的三维点云数据沿 轴、轴和 轴再统一划分给不同的体素；
步骤3.2：将预处理裁剪后获取到的三维点云的原始特征记为( , , , )，分别表示原始三维点云的坐标与反射强度；
步骤3.3：将体素内中心点的坐标表示为( , , )，将原始三维点云的坐标与体素内中心点的坐标的差值记为 , , ，计算方法为 , ,；
步骤3.4：计算原始三维点云到体素内中心点的距离记为 ，公式为
，将原始三维点云的坐
标与距离做差值记为 , , ，计算方法为 , , ；
步骤3.5：将体素内的每个三维点云升维至10维的特征，顺序为( , , , , ,, , )，将升维后的特征被编码为向量( )，其中， 表示为
最大非空体素数； 表示体素中包含的点云数， 表示为最终扩充的特征维度；将得到的向量经过VFE操作，其中，VFE操作包括全连接层、‌BatchNormalization、ReLU扩充为64维，最后经过卷积层将三维点云特征的通道数转换为128通道，此时三维点云特征记为point_features；
步骤4：将步骤1获取到的二维图片的特征先经过预处理，再次经过二维提取网络进行特征提取，所述的二维提取网络采用卷积神经网络中的层次化构建方法，对图片分别进行4倍、8倍、16倍、32倍下采样，获取对应的四个图片特征，通道数也相应的变成256、512、1024、
2048；将获取到的四个图片特征经过Neck层，通道数统一变为256；将获取到的四个图片特征与其中一个通道为256的图片特征作为整体，经过大小为3的卷积核将通道数变成128，统一经过卷积层转换为640通道的特征层，将640通道的特征层再次经过线性层，转换成128通道的图片特征，记为pic_features；
步骤5：步骤4得到的图片特征pic_features与步骤3得到的三维点云特征point_features维度已匹配后，将两个特征直接相加进行融合，维度不变，再次经过激活函数ReLU，将融合后的三维点云特征映射到体素中；
步骤6：利用3D稀疏卷积、子流形稀疏卷积、‌BatchNormalization和ReLU构成的残差稀疏卷积网络结构提取步骤5融合后的三维点云特征，将三维点云特征逐渐转换为2倍、4倍、8倍的下采样尺寸的三维稀疏特征；
步骤7：经过ToDense层将步骤6得到的三维稀疏特征沿 轴堆叠，得到相应的BEV俯视图；
步骤8：步骤7得到的BEV俯视图作为两组2D卷积网络的输入，经过转置卷积，最后将两组2D卷积网络获取到的两组特征进行拼接融合，得到二维融合后的网络特征；
步骤9：多检测头网络是运用三个1 1二维卷积核作用于步骤8得到的网络特征图，从而获得不同类别相对应的特征通道数，不同类别相对应的特征通道数分别是类别分类、位置回归和方向分类；
步骤10：损失函数的设计包含类别分类损失函数和位置回归损失函数；类别分类损失函数用来衡量步骤1‑9建立的目标检测模型对不同类别进行分类的准确性；位置回归损失函数再次分为角度回归损失函数和定位回归损失。
2.根据权利要求1所述的一种基于多模态融合网络的点云目标检测方法，其特征在于，所述的步骤2中，数据增强的方式包括随机旋转RandomFlip3D、缩放GlobalRotScaleTrans、过滤点云PointsRangeFilter和随机排列PointShuffle方法。
3.根据权利要求1所述的一种基于多模态融合网络的点云目标检测方法，其特征在于，所述的步骤3.1中，所述的预处理裁剪的具体做法为：将三维点云数据中的三维点云坐标转换映射到图像坐标，获取每个三维点云所对应的图像位置，定义如下：其中， 为相机的内参和外参联合信息，
为相机标准数据， 为激光雷达到相机坐标系的位姿变化矩阵，利用位姿变化矩阵的矩阵信息将三维点云坐标转换为图像坐标； 为三维点云坐标； 为每个三维点云所对应的图像位置；
然后，利用每个三维点云所对应的图像位置得到图像的边界信息，利用图像的边界信息生成三维点云掩码；将投影在三维点云范围内的三维点云掩码设置为1，将其他位置的三维点云掩码设置为0；最后将整体的三维点云数据做掩码处理，获得预处理裁剪后的三维点云数据。
4.根据权利要求1所述的一种基于多模态融合网络的点云目标检测方法，其特征在于，所述的步骤4中预处理具体为：首先对二维图片的RGB三个通道的像素值归一化处理，将归一化的像素值进行均值平移，在对应通道上分别减去对应的通道偏移值，最后将图片数据进行标准差缩放。
5.根据权利要求1所述的一种基于多模态融合网络的点云目标检测方法，其特征在于，所述的步骤8中，每组所述的2D卷积网络包括5个二维卷积层和1个二维转置卷积，每个二维卷积层和二维转置卷积后面都有BatchNormalization和ReLU；经过一组2D卷积网络的二维卷积层输出的语义特征为 ，经过另一组2D卷积网络的二维卷积层输出的空间特征为 ，其中， 为输入特征图的宽， 为输入特征图的高， 为输入特征图的通道；经过二维转置卷积后特征都变为 。
6.根据权利要求1所述的一种基于多模态融合网络的点云目标检测方法，其特征在于，所述的步骤10中，损失函数具体如下：步骤10.1：角度回归损失函数 采用SmoothL1损失函数表示，定义如下：其中， 的下标 表示预测值， 的下标 表示真实值，
表示边界框的中心坐标， 表示边界框的长、宽、高；
步骤10.2：定位回归损失函数采用交叉熵回归方式，定义如下：
其中， 表示预测值， 表
示真实值；
步骤10.3：类别分类损失函数采用FocalLoss函数，定义如下：其中， 表示样本属于真实类别概率， 和 是焦点损失
函数的超参数。 说明书 : 一种基于多模态融合网络的点云目标检测方法技术领域[0001] 本发明属于三维目标检测技术领域，具体涉及一种基于多模态融合网络的点云目标检测方法。背景技术[0002] 随着自动驾驶、遥感等技术的快速发展，三维数据例如点云的应用更加广泛，点云是一种基于三维空间中的点集合来描述物体的大致形状和特征，为环境感知可以提供更多信息，例如深度、位置，并且不受光照等天气因素影响依然描绘出物体的大致形状，相应的缺点就是其稀疏性、数量庞大、不规则性。图片可以提供丰富的色彩信息，获取图片的方式相较于获取三维数据价格相对低廉，但是没有深度等信息，不方便检测现实世界中遮挡等问题。因此，将三维数据与图片相结合的方式，结合两者的优点弥补各自的不足，并提高其检测精度。因此利用卷积神经网络设计一种基于多模态融合的点云目标检测网络具有现实意义。[0003] 现有的神经网络已经将点云作为其输入数据，克服了点云数据量大的问题，但依旧存在一些问题。如果使用传统的神经网络，例如PointPillars，SECOND网络，都是利用将不规则的点云转换成规则的体素，输入到中间网络层，得到检测结果，由于只用了点云数据，缺少了色彩等信息，并且点云自身近密远疏的特点，检测精度并不高。虽然二维图片的检测技术越来越成熟，检测精度很高，但是很难应用于三维物体，很难迁移。如何从不规则的点中提取独特的特征，并且将图片的信息进行提取，提高网络检测精度成为三维目标检测任务中的关键性问题。因此，基于多模态网络将两者自身的优点进行融合，设计新的神经网络架构解决上述问题，提高检测精度，在点云目标检测领域具有很大的意义。发明内容[0004] 针对以上问题，本发明提出一种基于多模态融合网络的点云目标检测方法，通过使用点云和对应的图片两种数据进行融合，设计新的神经网络架构解决上述问题，提高检测精度。[0005] 本发明的技术方案：[0006] 一种基于多模态融合网络的点云目标检测方法，步骤如下：[0007] 步骤1：获取待检测目标的三维点云数据及相应的二维图片。[0008] 步骤2：对步骤1中得到的三维点云数据进行数据增强，去除噪点。[0009] 进一步地，数据增强的方式包括随机旋转RandomFlip3D、缩放GlobalRotScaleTrans、过滤点云PointsRangeFilter和随机排列PointShuffle方法。[0010] 步骤3：将数据增强后的三维点云数据转换成规则的体素形式，进而将三维点云数据中三维点云特征进行扩充，将体素的特征扩充为三维点云特征，最后将三维点云特征的通道数转换为128通道，此时三维点云特征记为point_features。[0011] 步骤3.1：对数据增强后的三维点云数据根据其位置信息进行预处理裁剪，只保留相机范围内的三维点云数据，舍去相机范围外的三维点云数据。然后将预处理裁剪后的三维点云数据进行统一编码，将编码后的三维点云数据沿 轴、轴和 轴再统一划分给不同的体素。[0012] 进一步地，所述的预处理裁剪的具体做法为：将三维点云数据中的三维点云坐标转换映射到图像坐标，获取每个三维点云所对应的图像位置，定义如下：[0013][0014] 其中， 为相机的内参和外参联合信息， 为相机标准数据， 为激光雷达到相机坐标系的位姿变化矩阵，利用位姿变化矩阵的矩阵信息将三维点云坐标转换为图像坐标。 为三维点云坐标。 为每个三维点云所对应的图像位置。[0015] 然后，利用每个三维点云所对应的图像位置得到图像的边界信息，利用图像的边界信息生成三维点云掩码。将投影在三维点云范围内的三维点云掩码设置为1，将其他位置的三维点云掩码设置为0。最后将整体的三维点云数据做掩码处理，获得预处理裁剪后的三维点云数据。[0016] 步骤3.2：将预处理裁剪后获取到的三维点云的原始特征记为( , , , )，分别表示原始三维点云的坐标与反射强度。[0017] 步骤3.3：将体素内中心点的坐标表示为( , , )，将原始三维点云的坐标与体素内中心点的坐标的差值记为 , , ，计算方法为 ,, 。[0018] 步骤3.4：计算原始三维点云到体素内中心点的距离记为 ，公式为，将原始三维点云的坐标与距离做差值记为 , , ，计算方法为 , , 。[0019] 步骤3.5：将体素内的每个三维点云升维至10维的特征，顺序为( , , , ,, , , )，将升维后的特征被编码为向量( )，其中，表示为最大非空体素数。 表示体素中包含的点云数， 表示为最终扩充的特征维度；将得到的向量经过VFE操作，其中，VFE操作包括全连接层、BatchNormalization、ReLU扩充为64维，最后经过卷积层将三维点云特征的通道数转换为128通道，此时三维点云特征记为point_features。[0020] 步骤4：将步骤1获取到的二维图片的特征先经过预处理，再次经过二维提取网络进行特征提取，所述的二维提取网络采用卷积神经网络中的层次化构建方法，对图片分别进行4倍、8倍、16倍、32倍下采样，获取对应的四个图片特征，通道数也相应的变成256、512、1024、2048。将获取到的四个图片特征经过Neck层，通道数统一变为256。将获取到的四个图片特征与其中一个通道为256的图片特征作为整体，经过大小为3的卷积核将通道数变成128，统一经过卷积层转换为640通道的特征层，将640通道的特征层再次经过线性层，转换成128通道的图片特征，记为pic_features。[0021] 进一步地，所述的步骤4中预处理具体为：[0022] 首先对二维图片的RGB三个通道的像素值归一化处理，将归一化的像素值进行均值平移，在对应通道上分别减去对应的通道偏移值，最后将图片数据进行标准差缩放。[0023] 步骤5：步骤4得到的图片特征pic_features与步骤3得到的三维点云特征point_features维度已匹配后，将两个特征直接相加进行融合，维度不变，再次经过激活函数ReLU，将融合后的三维点云特征映射到体素中。[0024] 步骤6：利用3D稀疏卷积、子流形稀疏卷积、BatchNormalization和ReLU构成的残差稀疏卷积网络结构提取步骤5融合后的三维点云特征，将三维点云特征逐渐转换为2倍、4倍、8倍的下采样尺寸的三维稀疏特征。[0025] 步骤7：经过ToDense层将步骤6得到的三维稀疏特征沿 轴堆叠，得到相应的BEV俯视图。[0026] 步骤8：步骤7得到的BEV俯视图作为两组2D卷积网络的输入，经过转置卷积，最后将两组2D卷积网络获取到的两组特征进行拼接融合，得到二维融合后的网络特征。[0027] 进一步地，每组所述的2D卷积网络包括5个二维卷积层和1个二维转置卷积，每个二维卷积层和二维转置卷积后面都有BatchNormalization和ReLU。经过一组2D卷积网络的二维卷积层输出的语义特征为 ，经过另一组2D卷积网络的二维卷积层输出的空间特征为 ，其中， 为输入特征图的宽， 为输入特征图的高， 为输入特征图的通道。经过二维转置卷积后特征都变为 。[0028] 步骤9：多检测头网络是运用三个1 1二维卷积核作用于步骤8得到的网络特征图，从而获得不同类别相对应的特征通道数，不同类别相对应的特征通道数分别是类别分类、位置回归和方向分类。[0029] 步骤10：损失函数的设计包含类别分类损失函数和位置回归损失函数。类别分类损失函数用来衡量步骤1‑9建立的目标检测模型对不同类别进行分类的准确性。位置回归损失函数再次分为角度回归损失函数和定位回归损失。[0030] 进一步地，损失函数具体如下：[0031] 步骤10.1：角度回归损失函数 采用SmoothL1损失函数表示，定义如下：[0032][0033] 其中，的下标 表示预测值，的下标 表示真实值， 表示边界框的中心坐标， 表示边界框的长、宽、高。[0034] 步骤10.2：定位回归损失函数采用交叉熵回归方式，定义如下：[0035][0036] 其中， 表示预测值， 表示真实值。[0037] 步骤10.3：类别分类损失函数采用FocalLoss函数，定义如下：[0038][0039] 其中， 表示样本属于真实类别概率， 和 是焦点损失函数的超参数。[0040] 本发明的有益效果：[0041] 1.相较于现有的网络架构，本发明的架构提高了例如KITTI数据集的检测精度，并且在小目标上例如行人的检测精度也有了一定量的提升。不仅可以应用于KITTI数据集，例如现有更大的自动驾驶公共大规模数据集，例如nuSences数据集， 数据集。[0042] 2.本发明将三维点云作为输入，而且对输入的数据进行数据增强技术，对于其他网络也有很强的通用性，不仅适用于本发明的网络，还适用于其他3D视觉感知算法，例如BEV检测，三维物体分割任务。[0043] 3.本发明改进了点云分组方式。将体素结构化特征与点云的特征进行拼接，扩充了原始数据的特征，在输入网络架构前提供了更多的有效信息，对于每个点云信息更合理的进行表达。[0044] 4.本发明提出的网络架构，将点云与图片的特征进行拼接，融合。可以将点云数据提供深度信息的优点，图片数据提供丰富的纹理信息，这些优点进行有效的融合，因此提升了三维物体的检测精度。可以应用于自动驾驶，水下机器人等相关领域。附图说明[0045] 图1是本发明基于多模态融合的点云和图片的检测架构示意图；[0046] 图2是点云数据进行裁剪后可视化；[0047] 图3是一个3D稀疏卷积和两个子流形稀疏卷积构成的残差网络；[0048] 图4是二维特征图经过骨干网络示意图；[0049] 图5展示了KITTI验证集的定性结果；具体实施方式[0050] 为使本发明的技术方案更加清晰，下面结合附图和实施例对本发明进行进一步说明。[0051] 本实施例以KITTI数据集为例，其中包含7481个训练样本和7518个测试样本。训练样本分为训练集和验证集。对Car类，Cyclist类和Pedestrian类3个类进行评估。KITTI数据集根据图像平面中边界框的高度、遮挡和截断划分模型，评估难度分为简单、中等、难度。模型使用训练样本数据的80%在模型上训练，剩余的20%数据用于验证。本发明使用11召回位置计算平均均值精度，其中Car类的旋转IoU阈值为0.7，Cyclist类的旋转IoU阈值为0.5，Pedestrian类的旋转IoU阈值选择为0.5。其中，训练本发明的网络设置为batchsize为4，训练框架为PyTorch2.0.0，系统环境Ubuntu22.04，处理器IntelXeonPlatinum8260M@2.40GHz，加速卡NVIDIAGeForceRTX3090，采用设置为80epoches，采用Adam优化器，初始学习率设置为0.004，指数衰减因子为0.8，使用0.01的衰减权重， 为0.9， 为0.99。本发明基于多模态融合的点云和图片的检测架构示意图如图1所示。[0052] 步骤1：获取待检测目标的三维点云数据及相应的二维图片。这里，本发明采用的是KITTI数据集。创建KITTI三维点云数据，需要将原始数据生成包含目标标签和边界框的数据标注，同时，为KITTI数据集里面的三维点云数据生成单独的训练目标数据。并将其存储在.bin格式文件，为训练数据生成包含数据信息的文件，例如坐标位置信息，旋转角等。[0053] 步骤2：对步骤1获取到的三维点云数据做一系列的数据增强操作，去除噪点，用于提高目标检测模型的泛化能力，并降低数据采集和标记的成本。例如加入随机旋转RandomFlip3D方法，是将基准值内的三维点云数据沿 轴方向按0.5的均匀分布进行随机旋转，从而获得方位变化。加入了缩放GlobalRotScaleTrans方法，是将在基准值内使用[0.95,1.05]均匀分布的随机缩放因子进行全局缩放。这些基准值被随机采样放入原始样本的三维点云数据中，以模拟不同的场景，这类方法可以有效地增强模型的鲁棒性。运用过滤PointsRangeFilter方法在指定的范围内过滤三维点云数据，将噪点进行过滤。运用随机排列PointShuffle方法，将三维点云数据在一定范围内随机打乱，保证不影响其整体检测精度。[0054] 步骤3：将数据增强后的三维点云数据转换成规则的体素形式，进而将三维点云数据中三维点云特征进行扩充，将体素的特征扩充为三维点云特征，最后将三维点云特征的通道数转换为128通道，此时三维点云特征记为point_features。[0055] 步骤3.1：由于激光雷达采集到的数据为360°环视场景的数据，标注文件中只提供了前视视角的目标标签信息，但是环视场景下也会包含待检测的目标，但是没有标签数据会对检测网络的训练造成干扰，因此将数据增强后的三维点云数据根据其位置信息进行预处理裁剪，只保留前视视角下的点云信息，如图2所示。具体做法为：将三维点云数据中的三维点云坐标转换映射到图像坐标，获取每个三维点云所对应的图像位置。定义如下：[0056][0057] 其中， 为相机的内参和外参联合信息， 为相机标准数据， 为激光雷达到相机坐标系的位姿变化矩阵，利用位姿变化矩阵的矩阵信息将三维点云坐标转换为图像坐标。 为三维点云坐标。 为每个三维点云所对应的图像位置。[0058] 然后，利用每个三维点云所对应的图像位置得到图像的边界信息，利用图像的边界信息生成三维点云掩码。将投影在三维点云范围内的三维点云掩码设置为1，将其他位置的三维点云掩码设置为0。最后将整体的三维点云数据做掩码处理，获得预处理裁剪后的三维点云数据。[0059] 步骤3.2：将预处理裁剪后获取到的三维点云的原始特征记为( , , , )，分别表示原始三维点云的坐标与反射强度。并将三维点云数据进行裁剪划分，使所有类别的检测任务在同一个目标检测模型当中。具体做法是在3D空间沿 轴范围是70.4米到0， 轴范围是40米到‑40米，轴范围是1米到‑3米。其中，每个体素设置的大小为x轴0.05米，y轴0.05米，z轴0.1米。因此，生成体素的网格大小1408*1600*40。其中，每个体素中的最大点数设置成5。[0060] 步骤3.3：将体素内中心点的坐标表示为( , , )，将原始三维点云的坐标与体素内中心点的坐标差值记为 , , ,计算方法为 , ,。[0061] 步骤3.4：计算原始三维点云到体素内中心点的距离记为 ，公式为，将原始三维点云的坐标与距离做差值记为 , , ，计算方法为 , , 。[0062] 步骤3.5：将体素内的每个三维点云升维至10维的特征，顺序为( , , , ,, , , )，将升维后的的特征被编码为向量( )，其中，设置为16000，表示为最大非空体素数。 设置为5，体素中包含的点云数， 则表示为最终扩充的特征维度，设置为10。将向量统一经过VFE操作，其中，VFE操作包括全连接层、BatchNormalization和ReLU扩充为64维，最后经过卷积层将三维点云特征的通道数转换为128通道，此时三维点云特征记为point_features。[0063] 步骤4.1：将步骤1获取到的二维图片的特征也相应的做预处理操作，首先对图像的RGB三个通道的像素值归一化处理，即每个像素值都除以255后像素值在[0,1]范围内，将归一化的像素值进行均值平移，在对应通道上分别减去对应的通道偏移值[0.485,0.456,0.406]，最后将图片数据进行标准差缩放。将预处理操作后的图片再经过二维提取网络进行特征提取，所述的二维提取网络采用卷积神经网络中的层次化构建方法，对图片分别进行4倍、8倍、16倍、32倍下采样，获取对应的四个图片特征，通道数也相应的变成256、512、1024、2048。将获取到的四个图片特征经过Neck层，通道数统一变为256。[0064] 步骤4.2：将获取到的四个特征与一个通道为256的图像特征作为整体，经过大小为3的卷积核将通道数变成128，统一经过卷积层转换为640通道的特征层。[0065] 步骤4.3：将640通道的特征层再次经过线性层，转换成128通道的图片特征，记为pic_features等待与三维点云特征point_features进行融合。[0066] 步骤5：图片特征pic_features与三维点云特征point_features维度已匹配后，将两个特征直接相加进行融合，维度不变，再次经过激活函数ReLU，将融合后的三维点云特征映射到体素中。[0067] 步骤6：利用3D稀疏卷积、子流形稀疏卷积、BatchNormalization和ReLU共同构成残差稀疏卷积网络结构提取步骤5融合后的三维点云特征，将三维点云特征逐渐转换为2倍、4倍、8倍的下采样尺寸的三维稀疏特征，如图3所示。其中，一个3D稀疏卷积和两个子流形稀疏卷积构成一组残差网络结构。目的是提取融合后的特征，由于加入了残差结构，使网络变得更深的同时，加速网络的收敛速度。[0068] 表1残差稀疏卷积网络结构[0069][0070] 步骤7：经过ToDense层将步骤6得到的三维稀疏特征沿 轴堆叠，得到相应的BEV俯视图，即转换为2D特征图。[0071] 步骤8：步骤7得到的BEV俯视图作为两组2D卷积网络的输入，其中，每组2D卷积网络包含了5个二维卷积层和1个二维转置卷积。其中，每个二维卷积层和转置卷积后面都有BatchNormalization和ReLU，其中经过一组2D卷积网络（CNN主干网络）输出的语义特征为，经过另一组2D卷积网络的二维卷积层输出的空间特征为 ，其中， 为输入特征图的宽， 为输入特征图的高， 为输入特征图的通道。经过二维转置卷积后特征都变为 ,，最后，将两组2D卷积网络获取到的两组特征进行拼接融合，得到二维融合后的网络特征，如图4所示。[0072] 步骤9：得到了二维融合后的网络特征后，将运用三个1 1二维卷积核作用于得到的网络特征图，从而获得不同类别相对应的特征通道数，分别是类别分类、位置回归和方向分类。并使用针对其检测任务，例如行人，自行车，车分别给出不同尺寸的边界框，其中，行人与自行车的正样本的交并比(IntersectionoverUnion,IoU)的阈值0.35，车的正样本的交并比阈值为0.6，行人与自行车的负样本的交并比的阈值0.2，车的负样本的交并比阈值为0.45。[0073] 步骤10：损失函数的设计包含类别分类损失函数和位置回归损失函数。类别分类损失函数用来衡量步骤1‑9建立的目标检测模型对不同类别进行分类的准确性。其中，位置回归损失函数再次分为定位回归损失函数和角度回归损失。[0074] 步骤10.1：角度回归损失函数 采用SmoothL1Loss损失函数，定义如下：[0075][0076] 其中，的下标 表示预测值，的下标 表示真实值， 表示边界框的中心坐标， 表示边界框的长，宽，高。[0077] 步骤10.2：定位回归损失函数采用交叉熵回归方式，交叉熵用来判断实际输出与期望输出的接近程度，刻画的是实际输出与期望输出的距离。当交叉熵值越小时，两个输出越接近。定义如下：[0078][0079] 其中， 表示预测值， 表示真实值。[0080] 步骤10.3：类别分类损失函数采用FocalLoss函数，目的解决目标检测中正负样本中数量极不平衡的问题。由于在数据集中，例如KITTI场景中的三维点云数据只有极少数的真值边界框，而没有匹配到的边界框(负样本)则有60000‑80000个，负样本会淹没掉少量有助于训练的样本。定义如下:[0081][0082] 其中， 表示样本属于真实类别概率， 和 是FocalLoss的超参数。经过训练，超参数设置为 选择0.25，选择2.0。[0083] 图5展示了KITTI验证集的定性结果。从实验结果看出，改进的网络可以将目标范围内的待检测物体进行有效的标注。

专利地区：辽宁

专利申请日期：2024-09-24

专利公开日期：2024-11-29

专利公告号：CN118864824B