无人车行驶环境识别方法、装置、设备和计算机可读存储介质

专利名称：无人车行驶环境识别方法、装置、设备和计算机可读存储介质

专利类型：实用新型专利

专利申请号：CN202210316393.1

专利申请（专利权）人：智道网联科技(北京)有限公司
权利人地址：北京市东城区北三环东路36号1号楼B601

专利发明（设计）人：李宁,贾双成,朱磊,孟鹏飞

专利摘要：本申请涉及一种无人车行驶环境识别方法、装置和计算机可读存储介质。该方法包括：获取无人车行驶环境的原始图像；对原始图像进行二值化，得到原始二值化图像；将待检测图像进行至少两阶段正向处理，其中，待检测图像包括原始图像和原始二值化图像；对进行至少两阶段正向处理后的图像进行池化，得到池化后的输出图像；将输出图像进行至少两阶段反向处理；对至少两阶段正向处理中每一阶段正向处理后的图像和至少两阶段正向处理中每一阶段反向处理后的图像进行特征融合，得到融合图像；对融合图像进行预测，识别无人车行驶环境中目标物。本申请的技术方案可以提升对无人车周围环境物体的识别精度。

主权利要求：
1.一种无人车行驶环境识别方法，应用于自动驾驶，其特征在于，所述方法包括：获取无人车行驶环境的原始图像；
对所述原始图像进行二值化，得到原始二值化图像；
将待检测图像进行至少两阶段正向处理，所述待检测图像包括所述原始图像和原始二值化图像，其中包括：在N个正向处理阶段中第n个正向处理阶段，降低第（n‑1）个正向处理阶段所得待压缩图像 的分辨率并下采样所述待压缩图像 ，得到第n个正向处理阶段的待压缩图像 ，其中，2≤n≤N，且当n＝2时，以所述待检测图像作为前一个正向处理阶段得到的待压缩图像，已训练卷积模块对所述第n个正向处理阶段的待压缩图像 进行卷积操作后输出，所述已训练卷积模块输出的特征图像作为第（n+1）个正向处理阶段的待压缩图像 ；
对所述至少两阶段正向处理后的图像进行池化，得到池化后的输出图像；
将所述输出图像进行至少两阶段反向处理，其中包括：在N个反向处理阶段中第m个反向处理阶段，将第（m+1）个反向处理阶段的解压缩图像进行反卷积操作，得到第m个反向处理阶段的反卷积操作图像 ，所述m=N+1‑n，且当m＝1时，以所述输出图像作为后一个反向处理阶段得到的解压缩图，提升所述反卷积操作图像 的分辨率并上采样所述反卷积操作图像 ，将经过所述上采样所得图像作为第（m+1）个反向处理阶段的解压缩图像 ；
对所述至少两阶段正向处理中每一阶段正向处理后的图像和所述至少两阶段正向处理中每一阶段反向处理后的图像进行特征融合，得到融合图像；
对所述融合图像进行预测，识别所述无人车行驶环境中目标物。
2.根据权利要求1所述的无人车行驶环境识别方法，其特征在于，所述对所述原始图像进行二值化，得到原始二值化图像，包括：通过灰度变换均衡所述原始图像的亮度，得到预处理后待检测图像；
求解预处理后待检测图像的最优二值化阈值；
利用所述最优二值化阈值对所述预处理后待检测图进行全局二值化得到所述原始二值化图像。
3.根据权利要求2所述的无人车行驶环境识别方法，其特征在于，所述求解预处理后待检测图像的最优二值化阈值，包括：统计所述预处理后待检测图像的图像灰度分布信息，得到所述预处理后待检测图像的灰度最大值和灰度最小值；
根据预设灰度范围度量、所述灰度最大值和所述灰度最小值，计算所述预处理后待检测图像的最优二值化阈值。
4.根据权利要求1所述的无人车行驶环境识别方法，其特征在于，所述对所述至少两阶段正向处理中每一阶段正向处理后的图像和所述至少两阶段正向处理中每一阶段反向处理后的图像进行特征融合，得到融合图像，包括：获取所述待压缩图像 中各个第一像素点所对应的第一像素特征以及获取所述解压缩图像 中各个第二像素点所对应的第二像素特征；
将所述待压缩图像 中各个第一像素点所对应的第一像素特征与所述解压缩图像中各个第二像素点所对应的第二像素特征进行融合。
5.根据权利要求4所述的无人车行驶环境识别方法，其特征在于，所述获取所述待压缩图像 中各个第一像素点所对应的第一像素特征，包括：对所述待压缩图像 中各个第一像素点进行特征提取，得到各个所述第一像素点所对应的第一提取特征；将第一目标像素特征对应的感兴趣特征与所述第一像素点对应的第一提取特征进行融合，得到所述第一像素点所对应的第一像素特征。
6.根据权利要求4所述的无人车行驶环境识别方法，其特征在于，所述获取所述解压缩图像 中各个第二像素点所对应的第二像素特征，包括：从所述第二像素点对应的第二提取特征中确定第二目标像素特征；将所述第二目标像素特征对应的感兴趣特征与所述第二像素点对应的第二提取特征进行融合，得到所述解压缩图像 中各个第二像素点所对应的第二像素特征。
7.根据权利要求1至6任意一项所述的无人车行驶环境识别方法，其特征在于，所述方法还包括：在对所述原始图像进行二值化，得到原始二值化图像之前，对卷积模块和预测模块进行训练，分别得到已训练卷积模块和已训练预测模块。
8.一种无人车行驶环境识别装置，应用于自动驾驶，其特征在于，所述装置包括：获取模块，用于获取无人车行驶环境的原始图像；
二值化模块，用于对所述原始图像进行二值化，得到原始二值化图像；
正向处理模块，用于将待检测图像进行至少两阶段正向处理，所述待检测图像包括所述原始图像和原始二值化图像，其中包括：在N个正向处理阶段中第n个正向处理阶段，降低第（n‑1）个正向处理阶段所得待压缩图像 的分辨率并下采样所述待压缩图像 ，得到第n个正向处理阶段的待压缩图像 ，其中，2≤n≤N，且当n＝2时，以所述待检测图像作为前一个正向处理阶段得到的待压缩图像，已训练卷积模块对所述第n个正向处理阶段的待压缩图像 进行卷积操作后输出，所述已训练卷积模块输出的特征图像作为第（n+1）个正向处理阶段的待压缩图像 ；
池化模块，用于对所述进行至少两阶段正向处理后的图像进行池化，得到池化后的输出图像；
反向处理模块，用于将所述输出图像进行至少两阶段反向处理，其中包括：在N个反向处理阶段中第m个反向处理阶段，将第（m+1）个反向处理阶段的解压缩图像进行反卷积操作，得到第m个反向处理阶段的反卷积操作图像 ，所述m=N+1‑n，且当m＝1时，以所述输出图像作为后一个反向处理阶段得到的解压缩图，提升所述反卷积操作图像 的分辨率并上采样所述反卷积操作图像 ，将经过所述上采样所得图像作为第（m+1）个反向处理阶段的解压缩图像 ；
融合模块，用于对所述至少两阶段正向处理中每一阶段正向处理后的图像和所述至少两阶段正向处理中每一阶段反向处理后的图像进行特征融合，得到融合图像；
预测模块，用于对所述融合图像进行预测，识别所述无人车行驶环境中目标物。
9.一种电子设备，其特征在于，包括：
处理器；以及
存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如权利要求1至7中任意一项所述的方法。
10.一种计算机可读存储介质，其特征在于：其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如权利要求1至7中任意一项所述的方法。 说明书 : 无人车行驶环境识别方法、装置、设备和计算机可读存储介质技术领域[0001] 本申请涉及自动驾驶领域，尤其涉及无人车行驶环境识别方法、装置、设备和计算机可读存储介质。背景技术[0002] 随着技术的发展、成本的降低以及相关法规、政策的落地，无人驾驶已经逐渐进入实用阶段，无人车日益普及到人们的出行活动中。无人车部署了摄像头、激光雷达等视觉传感器。依靠这些视觉传感器，无人车才能识别行驶环境，保障无人车的行驶安全。相关技术中，对无人车行驶环境的识别一般是从视觉传感器获取到无人车行驶环境的原始图像后，经一些人工智能模块（例如，各种深度学习网络或者卷积神经网络等）处理，识别出原始图像中的路牌、车道线或其他路面标识。然而，无人车行驶环境识别方法中，从神经网络输出的图像是经过放大后直接输入至预测模块，而图像的放大导致很多信息的遗漏，如此，从预测模块输出的图像实际上很难识别出路牌、车道线或其他路面标识。发明内容[0003] 为解决或部分解决相关技术中存在的问题，本申请提供一种无人车行驶环境识别方法、装置、设备和计算机可读存储介质，可以提升对无人车周围环境物体的识别精度。[0004] 本申请第一方面提供一种无人车行驶环境识别方法，应用于自动驾驶，包括：[0005] 获取无人车行驶环境的原始图像；[0006] 对所述原始图像进行二值化，得到原始二值化图像；[0007] 将待检测图像进行至少两阶段正向处理，所述待检测图像包括所述原始图像和原始二值化图像；[0008] 对所述进行至少两阶段正向处理后的图像进行池化，得到池化后的输出图像；[0009] 将所述输出图像进行至少两阶段反向处理；[0010] 对所述至少两阶段正向处理中每一阶段正向处理后的图像和所述至少两阶段正向处理中每一阶段反向处理后的图像进行特征融合，得到融合图像；[0011] 对所述融合图像进行预测，识别所述无人车行驶环境中目标物。[0012] 本申请第二方面提供一种无人车行驶环境识别装置，应用于自动驾驶，包括：[0013] 获取模块，用于获取无人车行驶环境的原始图像；[0014] 二值化模块，用于对所述原始图像进行二值化，得到原始二值化图像；[0015] 正向处理模块，用于将待检测图像进行至少两阶段正向处理，所述待检测图像包括所述原始图像和原始二值化图像；[0016] 池化模块，用于对所述进行至少两阶段正向处理后的图像进行池化，得到池化后的输出图像；[0017] 反向处理模块，用于将所述输出图像进行至少两阶段反向处理；[0018] 融合模块，用于对所述至少两阶段正向处理中每一阶段正向处理后的图像和所述至少两阶段正向处理中每一阶段反向处理后的图像进行特征融合，得到融合图像；[0019] 预测模块，用于对所述融合图像进行预测，识别所述无人车行驶环境中目标物。[0020] 本申请第三方面提供一种电子设备，包括：[0021] 处理器；以及[0022] 存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如上所述的方法。[0023] 本申请第四方面提供一种计算机可读存储介质，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如上所述的方法。[0024] 本申请提供的技术方案可以包括以下有益效果：在将待检测图像进行至少两阶段正向处理和池化后的输出图像进行至少两阶段反向处理后，由于对这些至少两阶段正向处理中每一阶段正向处理后的图像和至少两阶段正向处理中每一阶段反向处理后的图像进行特征融合，使得在将待检测图像进行至少两阶段正向处理时损失的特征信息得到弥补，因此，相对于相关技术将池化后的输出图像直接进行预测，本申请的技术方案提升了对无人车周围环境目标物的识别精度。[0025] 应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。附图说明[0026] 通过结合附图对本申请示例性实施方式进行更详细地描述，本申请的上述以及其它目的、特征和优势将变得更加明显，其中，在本申请示例性实施方式中，相同的参考标号通常代表相同部件。[0027] 图1是本申请实施例示出的无人车行驶环境识别方法的流程示意图；[0028] 图2是本申请实施例示出的将待检测图像进行至少两阶段正向处理、对至少两阶段正向处理后的图像进行池化以及将输出图像进行至少两阶段反向处理时所用网络结构图；[0029] 图3是本申请实施例示出的无人车行驶环境识别装置的结构示意图；[0030] 图4是本申请实施例示出的电子设备的结构示意图。具体实施方式[0031] 下面将参照附图更详细地描述本申请的实施方式。虽然附图中显示了本申请的实施方式，然而应该理解，可以以各种形式实现本申请而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本申请更加透彻和完整，并且能够将本申请的范围完整地传达给本领域的技术人员。[0032] 在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。[0033] 应当理解，尽管在本申请可能采用术语“第一”、“第二”、“第三”等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。[0034] 无人驾驶已经逐渐进入实用阶段，无人车日益普及到人们的出行活动中。无人车部署了摄像头、激光雷达等视觉传感器。依靠这些视觉传感器，无人车才能识别行驶环境，保障无人车的行驶安全。相关技术中，对无人车行驶环境的识别一般是从视觉传感器获取到无人车行驶环境的原始图像后，经一些人工智能模块（例如，各种深度学习网络或者卷积神经网络等）处理，识别出原始图像中的路牌、车道线或其他路面标识。然而，无人车行驶环境识别方法中，从神经网络输出的图像是经过放大后直接输入至预测模块，而图像的放大导致很多信息的遗漏，如此，从预测模块输出的图像实际上很难识别出路牌、车道线或其他路面标识。[0035] 针对上述问题，本申请实施例提供一种无人车行驶环境识别方法，提升对无人车周围环境物体的识别精度。[0036] 以下结合附图详细描述本申请实施例的技术方案。[0037] 参见图1，是本申请实施例示出的无人车行驶环境识别方法的流程示意图，该方法应用于自动驾驶，主要包括步骤S101至步骤S107，说明如下：[0038] 步骤S101：获取无人车行驶环境的原始图像。[0039] 在自动驾驶领域，无人车也称为无人驾驶车辆、自动驾驶车辆或者智能驾驶车辆，是指装备了各种传感设备，在计算机程序的控制下，无需人类手动操控即可启停和行驶的各种汽车。当无人车部署了摄像头、激光雷达等视觉传感器时，可以从这些视觉传感器获取无人车行驶环境的原始图像。[0040] 步骤S102：对原始图像进行二值化，得到原始二值化图像。[0041] 图像二值化是在进行目标识别或分类（尤其是二分类）中最为常见的环节，将256个亮度等级的灰度图像通过适当的阈值选取而获得仍然可以反映图像整体和局部特征。在数字图像处理中，图像的二值化有利于图像的进一步处理，使图像变得简单，而且数据量减小，能凸显出感兴趣的目标的轮廓，而所有灰度大于或等于阈值的像素被判定为属于特定物体，其灰度值为255表示，否则，这些像素点被排除在物体区域以外，灰度值为0，表示背景或者例外的物体区域。另一方面，由于在后续预测阶段需要使用到二值化图像，因此，此处对原始图像进行二值化，得到原始二值化图像。作为本申请一个实施例，对原始图像进行二值化，得到原始二值化图像可以通过如下步骤S1011至步骤S1013实现：[0042] 步骤S1011：通过灰度变换均衡原始图像的亮度，得到预处理后待检测图像。[0043] 一般而言，从摄像头、激光雷达等视觉传感器获取到的原始图像是彩色图像。本申请实施例中，可以通过灰度变换，均衡原始图像的亮度，得到预处理后待检测图像。[0044] 步骤S1012：求解预处理后待检测图像的最优二值化阈值。[0045] 具体地，可以通过对预处理后待检测图像进行遍历，统计这些预处理后待检测图像的图像灰度分布信息，得到预处理后待检测图像的灰度最大值和灰度最小值，根据预设灰度范围度量、灰度最大值和灰度最小值，计算预处理后待检测图像的最优二值化阈值。[0046] 步骤S1013：利用最优二值化阈值对预处理后待检测图进行全局二值化得到原始二值化图像。[0047] 具体地，将预处理后待检测图像中灰度值大于等于最优二值化阈值的像素点的灰度值记为1（或255），将预处理后待检测图像中灰度值小于最优二值化阈值的像素点的灰度值记为0，最终得到预处理后待检测图像的二值图像作为原始二值化图像。[0048] 需要说明的是，为了使得原始二值化图像更加光滑并消除噪声，在上述实施例中，还可以通过腐蚀操作断开原始二值化图像中各连通域间的狭窄连接，使原始二值化图像中所有连通域的轮廓变得光滑，滤除原始二值化图像中所有噪声；然后通过膨胀操作使各个连通域边界扩大，恢复连通域中被腐蚀操作扩大的孔洞。[0049] 步骤S103：将待检测图像进行至少两阶段正向处理，其中，待检测图像包括原始图像和原始二值化图像。[0050] 具体地，将待检测图像进行至少两阶段正向处理可以是：在N个正向处理阶段中第n个正向处理阶段，降低第（n‑1）个正向处理阶段所得待压缩图像 的分辨率并下采样该待压缩图像 （上述降低分辨率和下采样操作可由图2的压缩模块完成），得到第n个正向处理阶段的待压缩图像 ；已训练卷积模块对第n个正向处理阶段的待压缩图像 进行卷积操作后输出，已训练卷积模块输出的特征图像作为第（n+1）个正向处理阶段的待压缩图像 ；上述实施例中，2≤n≤N，且当n＝2时，以待检测图像作为前一个正向处理阶段得到的待压缩图像。需要说明的是，之所以在已训练卷积模块对第n个正向处理阶段的待压缩图像 进行卷积操作之前，采用降低图像分辨率和下采样的操作，是考虑到经过降低图像分辨率和下采样后的图像，其在进行卷积操作时需要处理的参数量更少，因此能够节省计算资源并提升处理的实时性。另外，考虑到相比于常规卷积神经网络，深度可分离卷积神经网络具有更少的参数，意味着无论是在训练阶段还是在目标识别阶段，一定程度上可以提高计算速度或实时性，因此，上述已训练卷积模块可以是对深度可分离卷积神经网络训练后获得的卷积模块。[0051] 步骤S104：对至少两阶段正向处理后的图像进行池化，得到池化后的输出图像。[0052] 在将待检测图像进行至少两阶段正向处理后，可以对至少两阶段正向处理后的图像进行池化，得到池化后的输出图像。在一般的卷积神经网络结构中，在卷积层后面通常连接着全连接，全连接层的特征数是固定的，所以在网络输入时会固定输入的大小。但在现实中，输入的图像尺寸总是不能满足输入时要求的大小。通常的手法就是对图像进行裁剪（crop）和/或拉伸（warp），然而，通过裁剪和/或拉伸导致图像的纵横比和输入图像的尺寸被改变即扭曲原图像。因此，在本申请实施例中，在对至少两阶段正向处理后的图像进行池化时，可以采用空间金字塔池化（SpatialPyramidPooling，SPP）层对至少两阶段正向处理后的图像进行池化，如此，无论已训练卷积模块（卷积层）输出的尺寸是如何，池化后的输出图像都是同一尺寸的，并且可以使用多个池化窗口（poolingwindow），使用同一图像不同尺寸作为输入时得到同样长度的池化特征。[0053] 步骤S105：将输出图像进行至少两阶段反向处理。[0054] 相应于前述将待检测图像进行至少两阶段正向处理可以是在N个正向处理阶段中第n个正向处理阶段，降低第（n‑1）个正向处理阶段所得待压缩图像 的分辨率并下采样该待压缩图像 ，得到第n个正向处理阶段的待压缩图像 ；已训练卷积模块对第n个正向处理阶段的待压缩图像 进行卷积操作后输出，已训练卷积模块输出的特征图像作为第（n+1）个正向处理阶段的待压缩图像 的实施例，在本申请一个实施例中，将输出图像进行至少两阶段反向处理可以是：在N个反向处理阶段中第m个反向处理阶段，将第（m+1）个反向处理阶段的解压缩图像进行反卷积操作，得到第m个反向处理阶段的反卷积操作图像 （上述反卷积操作可由图2的反卷积模块完成）；提升反卷积操作图像 的分辨率并上采样反卷积操作图像 ，将经过上采样所得图像作为第（m+1）个反向处理阶段的解压缩图像 （上述提升分辨率和上采样操作可由图2的解压缩模块完成）；上述实施例中，m=N+1‑n，且当m＝1时，以池化后的输出图像作为后一个反向处理阶段得到的解压缩图。需要说明的是，m与n的这种关联性（m=N+1‑n），一方面说明正向处理阶段和反向处理阶段的阶段数一样，另一方面说明，正向处理阶段的最后一个阶段刚好对应于反向处理阶段的第一个阶段。[0055] 如图2所示，是将待检测图像进行至少两阶段正向处理、对至少两阶段正向处理后的图像进行池化以及将输出图像进行至少两阶段反向处理时所用网络结构图。[0056] 步骤S106：对至少两阶段正向处理中每一阶段正向处理后的图像和至少两阶段正向处理中每一阶段反向处理后的图像进行特征融合，得到融合图像。[0057] 与相关技术从神经网络的输出层输出的图像经过反卷积和放大后直接输入预测模块进行目标物的识别不同，在本申请实施例中，是对至少两阶段正向处理中每一阶段正向处理后的图像和至少两阶段正向处理中每一阶段反向处理后的图像进行特征融合，得到融合图像，入图2所示。需要说明的是，此处的特征融合是像素级别的特征融合。具体地，以第n个正向处理阶段的已训练卷积模块输出的待压缩图像 和第m个反向处理阶段输出的解压缩图像 为例，步骤S106的实现可以是：获取待压缩图像 中各个第一像素点所对应的第一像素特征以及获取解压缩图像 中各个第二像素点所对应的第二像素特征；将待压缩图像 中各个第一像素点所对应的第一像素特征与解压缩图像 中各个第二像素点所对应的第二像素特征进行融合。上述实施例中，关键是待压缩图像中各个第一像素点所对应的第一像素特征以及解压缩图像 中各个第二像素点所对应的第二像素特征的获取，以下分别进行详细说明：[0058] 首先是获取待压缩图像 中各个第一像素点所对应的第一像素特征，具体可以是对待压缩图像 中各个第一像素点进行特征提取，得到各个第一像素点所对应的第一提取特征；将第一目标像素特征对应的感兴趣特征与第一像素点对应的第一提取特征进行融合，得到第一像素点所对应的第一像素特征。此处，第一目标像素特征和第一目标像素特征对应的感兴趣特征可由如下方式获取：即从上述第一像素点对应的第一提取特征中，确定第一像素点对极像素点所对应的第一提取特征，作为第一目标像素特征；基于第一像素点对应的第一像素特征与第一目标像素特征得到第一提取特征相似度，基于第一提取特征相似度得到第一目标像素特征对应的第一提取特征感兴趣度；基于第一提取特征感兴趣度对第一目标像素特征进行特征感兴趣处理，得到第一目标像素特征对应的感兴趣特征。[0059] 其次是获取解压缩图像 中各个第二像素点所对应的第二像素特征，具体可以是从第二像素点对应的第二提取特征中确定第二目标像素特征；将第二目标像素特征对应的感兴趣特征与第二像素点对应的第二提取特征进行融合，得到解压缩图像 中各个第二像素点所对应的第二像素特征。类似地，此处，第二目标像素特征和第二目标像素特征对应的感兴趣特征可由如下方式获取：从第二像素点对应的第二提取特征中确定第二像素点的对极像素点所对应的第二提取特征作为第二目标像素特征，基于第二像素点对应的第二像素特征与第二目标像素特征得到第二提取特征相似度，基于第二提取特征相似度得到第二目标像素特征对应的第二提取特征感兴趣度；基于第二提取特征感兴趣度对第二目标像素特征进行特征感兴趣处理，得到第二目标像素特征对应的感兴趣特征。[0060] 在获取各个第一像素点所对应的第一像素特征以及各个第二像素点所对应的第二像素特征后，可以将待压缩图像 中各个第一像素点所对应的第一像素特征与解压缩图像 中各个第二像素点所对应的第二像素特征进行融合。需要说明的是，上述实施例中，无论是将第一目标像素特征对应的感兴趣特征与第一像素点对应的第一提取特征进行融合、将第二目标像素特征对应的感兴趣特征与第二像素点对应的第二提取特征进行融合、还是将待压缩图像 中各个第一像素点所对应的第一像素特征与解压缩图像中各个第二像素点所对应的第二像素特征进行融合，其过程都是通过一个数据表示多于一个数据，并包含这多于一个数据表达的信息；融合具体可以是组合、拼接或者按权重加和等。在一些实施例中，可以将一种像素特征与另一种像素特征在对应特征通道的特征值进行相加，得到像素点对应的融合像素特征。举例说明，假设第一目标像素特征对应的感兴趣特征为（ ， ,，……， ），第一像素点对应的第一提取特征为（ ， ,，……， ），则将第一目标像素特征对应的感兴趣特征与第一像素点对应的第一提取特征进行融合，得到第一像素点所对应的第一像素特征可以为（ + ， + ，……， + ），其中，、 、……、 为第一像素点对应的第一提取特征中元素 ， ，……， 对应的权重。[0061] 步骤S107：对融合图像进行预测，识别无人车行驶环境中目标物。[0062] 可以采用已训练预测模块对融合图像进行预测，识别无人车行驶环境中目标物，例如车道线、路牌等交通标识物或者无人车周边其他物体。[0063] 上述试试例中，在对原始图像进行二值化，得到原始二值化图像之前，对卷积模块和预测模块进行训练，分别得到已训练卷积模块和已训练预测模块。训练所用网络结构如图2所示，可以将获取无人车行驶环境的原始图像及其二值化后的原始二值化图像作为训练集对卷积模块和预测模块进行训练，分别得到已训练卷积模块和已训练预测模块。[0064] 从上述图1示例的无人车行驶环境识别方法可知，在将待检测图像进行至少两阶段正向处理和池化后的输出图像进行至少两阶段反向处理后，由于对这些至少两阶段正向处理中每一阶段正向处理后的图像和至少两阶段正向处理中每一阶段反向处理后的图像进行特征融合，使得在将待检测图像进行至少两阶段正向处理时损失的特征信息得到弥补，因此，相对于相关技术将池化后的输出图像直接进行预测，本申请的技术方案提升了对无人车周围环境目标物的识别精度。[0065] 与前述应用功能实现方法实施例相对应，本申请还提供了一种无人车行驶环境识别装置、电子设备及相应的实施例。[0066] 参见图3，是本申请实施例示出的无人车行驶环境识别装置的结构示意图。为了便于说明，仅示出了与本申请实施例相关的部分。图3示例的无人车行驶环境识别装置可应用于自动驾驶，该装置主要包括获取模块301、二值化模块302、正向处理模块303、池化模块304、反向处理模块305和融合模块306，其中：[0067] 获取模块301，用于获取无人车行驶环境的原始图像；[0068] 二值化模块302，用于对原始图像进行二值化，得到原始二值化图像；[0069] 正向处理模块303，用于将待检测图像进行至少两阶段正向处理，其中，待检测图像包括原始图像和原始二值化图像；[0070] 池化模块304，用于对进行至少两阶段正向处理后的图像进行池化，得到池化后的输出图像；[0071] 反向处理模块305，用于将输出图像进行至少两阶段反向处理；[0072] 融合模块306，用于对至少两阶段正向处理中每一阶段正向处理后的图像和至少两阶段正向处理中每一阶段反向处理后的图像进行特征融合，得到融合图像；[0073] 预测模块307，用于对融合图像进行预测，识别无人车行驶环境中目标物。[0074] 关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不再做详细阐述说明。[0075] 图4是本申请实施例示出的电子设备的结构示意图。[0076] 参见图4，电子设备400包括存储器410和处理器420。[0077] 处理器420可以是中央处理单元（CentralProcessingUnit，CPU），还可以是其他通用处理器、数字信号处理器（DigitalSignalProcessor，DSP）、专用集成电路（ApplicationSpecificIntegratedCircuit，ASIC）、现场可编程门阵列（Field‑ProgrammableGateArray，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。[0078] 存储器410可以包括各种类型的存储单元，例如系统内存、只读存储器（ROM）和永久存储装置。其中，ROM可以存储处理器420或者计算机的其他模块需要的静态数据或者指令。永久存储装置可以是可读写的存储装置。永久存储装置可以是即使计算机断电后也不会失去存储的指令和数据的非易失性存储设备。在一些实施方式中，永久性存储装置采用大容量存储装置（例如磁或光盘、闪存）作为永久存储装置。另外一些实施方式中，永久性存储装置可以是可移除的存储设备（例如软盘、光驱）。系统内存可以是可读写存储设备或者易失性可读写存储设备，例如动态随机访问内存。系统内存可以存储一些或者所有处理器在运行时需要的指令和数据。此外，存储器410可以包括任意计算机可读存储媒介的组合，包括各种类型的半导体存储芯片（例如DRAM，SRAM，SDRAM，闪存，可编程只读存储器），磁盘和/或光盘也可以采用。在一些实施方式中，存储器410可以包括可读和/或写的可移除的存储设备，例如激光唱片（CD）、只读数字多功能光盘（例如DVD‑ROM，双层DVD‑ROM）、只读蓝光光盘、超密度光盘、闪存卡（例如SD卡、minSD卡、Micro‑SD卡等）、磁性软盘等。计算机可读存储媒介不包含载波和通过无线或有线传输的瞬间电子信号。[0079] 存储器410上存储有可执行代码，当可执行代码被处理器420处理时，可以使处理器420执行上文述及的方法中的部分或全部。[0080] 此外，根据本申请的方法还可以实现为一种计算机程序或计算机程序产品，该计算机程序或计算机程序产品包括用于执行本申请的上述方法中部分或全部步骤的计算机程序代码指令。[0081] 或者，本申请还可以实施为一种计算机可读存储介质（或非暂时性机器可读存储介质或机器可读存储介质），其上存储有可执行代码（或计算机程序或计算机指令代码），当可执行代码（或计算机程序或计算机指令代码）被电子设备（或服务器等）的处理器执行时，使处理器执行根据本申请的上述方法的各个步骤的部分或全部。[0082] 以上已经描述了本申请的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其他普通技术人员能理解本文披露的各实施例。

专利地区：北京

专利申请日期：2022-03-29

专利公开日期：2024-07-26

专利公告号：CN114782907B