割草机地面感知方法、装置、设备及存储介质

专利名称：割草机地面感知方法、装置、设备及存储介质

专利类型：发明专利

专利申请号：CN202410224591.4

专利申请（专利权）人：锐驰激光(深圳)有限公司
权利人地址：广东省深圳市南山区粤海街道麻岭社区科研路9号比克科技大厦601L

专利发明（设计）人：周士博,黄占阳

专利摘要：本发明涉及智能割草机技术领域，公开了一种割草机地面感知方法、装置、设备及存储介质，该方法包括：基于多视几何对草地地面图像进行深度估计获得地面深度图像；通过草地地面图像对割草机的惯性传感数据进行时频域处理，获得割草机的相机尺度；对地面深度图像和相机尺度进行点云估计，获得地面深度信息；将地面深度信息与草地的环境地图进行融合，获得平面度三维感知曲线。由于本发明先对草地进行深度估计获得地面深度图像，然后再根据相机尺度对地面深度图像进行修正，以构建草地的平面度三维感知曲线，避免了传统的RGBD传感器高强光下深度失效影响导航与避障的问题，从而可基于平面度三维感知曲线，极大提升割草机草地作业地面感知精度。

主权利要求：
1.一种割草机地面感知方法，其特征在于，所述割草机地面感知方法包括：
基于多视几何对割草机所在草地的草地地面图像进行深度估计，获得所述草地地面图像对应的地面深度图像；
通过所述草地地面图像对所述割草机的惯性传感数据进行时频域处理，获得所述割草机的相机的相机尺度；
对所述地面深度图像和所述相机尺度进行点云估计，获得所述草地地面图像对应的地面深度信息；
将所述地面深度信息与所述草地对应的环境地图进行融合，获得所述草地的平面度三维感知曲线；
其中，所述通过所述草地地面图像对所述割草机的惯性传感数据进行时频域处理，获得所述割草机的相机的相机尺度，包括：获取所述割草机的惯性传感设备的惯性传感数据，所述惯性传感数据包括由所述割草机内部的IMU惯性传感器设备采集的陀螺仪数据；提取所述草地地面图像对应的相机传感数据；提取所述陀螺仪数据的陀螺仪时间和陀螺仪读角速度，并提取所述相机传感数据的相机视觉角速度时间和相机视觉角速度；对所述陀螺仪时间和所述相机视觉角速度时间求最小平方差，获得最优时间偏移量；将所述陀螺仪时间与所述相机视觉角速度时间中的最小值加所述最优时间偏移量，获得同步时间参数；对所述陀螺仪读角速度和所述相机视觉角速度进行频域同步，获得同步角速度参数，频域同步的求解方式为：；
其中： 表示IMU惯性传感器设备的IMU坐标系到所述相机的相机坐标系的旋转矩阵，为所述相机坐标系下的陀螺仪零偏， 为最优时间偏移量， 表示相机视觉角速度，表示陀螺仪读角速度，表示时间；
根据所述同步角速度参数和所述同步时间参数对所述相机进行尺度估计，获得所述相机的相机尺度；
其中，所述对所述地面深度图像和所述相机尺度进行点云估计，获得所述草地地面图像对应的地面深度信息，包括：对所述地面深度图像进行点云处理，获得所述地面深度图像对应的三维空间体素；根据所述相机尺度对所述三维空间体素进行坐标转换，获得图像坐标值；通过截断有符号距离场对所述图像坐标值进行截断，求解体素中心到体素表面的距离的截断值，每个体素的截断值包括距离和权重；取三维空间体素在全局坐标系下的坐标(x,y,z)，根据所述相机的相机位姿，利用相机变换矩阵将所述坐标 (x,y,z)从全局坐标系转换到相机坐标系，得到坐标V(x,y,z)；根据所述相机的内参矩阵将所述坐标V(x,y,z)转换到图像坐标系，得到图像坐标(u,v)；比较所述图像坐标(u,v)的深度值，若所述深度值不为0，则比较图像坐标(u,v)与坐标V(x,y,z)的大小，并根据比较结果更新三维空间体素的距离和权重；根据更新后的距离和权重确定所述草地地面图像对应的地面深度信息。
2.如权利要求1所述的割草机地面感知方法，其特征在于，所述基于多视几何对割草机所在草地的草地地面图像进行深度估计，获得所述草地地面图像对应的地面深度图像，包括：通过割草机的相机获取割草机所在草地的草地地面图像；
基于多视几何对所述草地地面图像进行图像处理，获得所述草地地面图像对应的基本成像模型；
通过三角形相似原理对所述基本成像模型进行视差处理，获得所述草地地面图像对应的地面深度图像。
3.如权利要求2所述的割草机地面感知方法，其特征在于，所述通过三角形相似原理对所述基本成像模型进行视差处理，获得所述草地地面图像对应的地面深度图像，包括：通过三角形相似原理对所述基本成像模型进行视差处理，获得所述草地地面图像对应的地面视差数据；
获取所述相机的相机参数，所述相机参数包括基线参数和焦距参数；
按预设深度公式对所述地面视差数据、所述基线参数和所述焦距参数进行深度估计，获得所述草地地面图像对应的地面深度图像。
4.如权利要求1所述的割草机地面感知方法，其特征在于，所述根据所述同步参数对所述相机进行尺度估计，获得所述相机的相机尺度，包括：通过傅里叶变换，根据所述同步时间参数将时域中的所述陀螺仪读角速度和所述相机视觉角速度变换到频域中；
最小化变换到频域中的陀螺仪读角速度和相机视觉角速度的幅值，获得最小化幅值；
根据所述最小化幅值对所述同步角速度参数进行尺度估计，获得所述相机的相机尺度。
5.一种割草机地面感知装置，其特征在于，所述装置应用于如权利要求1至4任一项所述的割草机地面感知方法，所述装置包括：深度估计模块，用于基于多视几何对割草机所在草地的草地地面图像进行深度估计，获得所述草地地面图像对应的地面深度图像；
时频域处理模块，用于通过所述草地地面图像对所述割草机的惯性传感数据进行时频域处理，获得所述割草机的相机的相机尺度；
深度修正模块，用于对所述地面深度图像和所述相机尺度进行点云估计，获得所述草地地面图像对应的地面深度信息；
三维曲线模块，用于将所述地面深度信息与所述草地对应的环境地图进行融合，获得所述草地的平面度三维感知曲线。
6.一种割草机地面感知设备，其特征在于，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的割草机地面感知程序，所述割草机地面感知程序配置为实现如权利要求1至4中任一项所述的割草机地面感知方法的步骤。
7.一种存储介质，其特征在于，所述存储介质上存储有割草机地面感知程序，所述割草机地面感知程序被处理器执行时实现如权利要求1至4任一项所述的割草机地面感知方法的步骤。 说明书 : 割草机地面感知方法、装置、设备及存储介质技术领域[0001] 本发明涉及智能割草机技术领域，尤其涉及一种割草机地面感知方法、装置、设备及存储介质。背景技术[0002] 随着科学技术的发展，割草机器人能够在无人员参与的情况下按照规划的路径自主的进行割草工作，被广泛应用于家庭庭院草坪的维护、大型草地的修剪等场景，给人们的生产生活提供了极大的便利。而割草机器人在户外作业时，感知环境的方式与人类感知环境的方式存在很大的差异。人类通过各种感官来感知周围的环境，包括视觉、听觉、嗅觉、味觉和触觉等。而割草机器人通过不同的传感器来感知环境，割草机器人的眼睛则是图像传感器，尤其TOF、结构光等能感知物理深度的RGBD传感设备被大量应用于机器人产品。割草机器人可通过RGBD传感器获取周围环境的图像信息，然后通过图像处理技术识别和理解图像中的内容，如地面、障碍物、植物等，最后完成物体识别、障碍度判断、路径规划等一系列功能。[0003] 但是现有的RGBD传感器，在室外区域普遍受到光照影响，尤其是逆光及高强光条件下这些RGBD传感器会难以感知草地地面信息导致难以正常输出有效的深度信息，从而影响割草机器人避障与导航性能。[0004] 上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。发明内容[0005] 本发明的主要目的在于提供了一种割草机地面感知方法、装置、设备及存储介质，旨在解决现有的RGBD传感器，由于受到强光照影响难以感知草地地面的有效深度信息，从而影响割草机器人避障与导航性能的技术问题。[0006] 为实现上述目的，本发明提供了一种割草机地面感知方法，所述方法包括以下步骤：[0007] 基于多视几何对割草机所在草地的草地地面图像进行深度估计，获得所述草地地面图像对应的地面深度图像；[0008] 通过所述草地地面图像对所述割草机的惯性传感数据进行时频域处理，获得所述割草机的相机的相机尺度；[0009] 对所述地面深度图像和所述相机尺度进行点云估计，获得所述草地地面图像对应的地面深度信息；[0010] 将所述地面深度信息与所述草地对应的环境地图进行融合，获得所述草地的平面度三维感知曲线。[0011] 可选地，所述基于多视几何对割草机所在草地的草地地面图像进行深度估计，获得所述草地地面图像对应的地面深度图像，包括：[0012] 通过割草机的相机获取割草机所在草地的草地地面图像；[0013] 基于多视几何对所述草地地面图像进行图像处理，获得所述草地地面图像对应的基本成像模型；[0014] 通过三角形相似原理对所述基本成像模型进行视差处理，获得所述草地地面图像对应的地面深度图像。[0015] 可选地，所述通过三角形相似原理对所述基本成像模型进行视差处理，获得所述草地地面图像对应的地面深度图像，包括：[0016] 通过三角形相似原理对所述基本成像模型进行视差处理，获得所述草地地面图像对应的地面视差数据；[0017] 获取所述相机的相机参数，所述相机参数包括基线参数和焦距参数；[0018] 按预设深度公式对所述地面视差数据、所述基线参数和所述焦距参数进行深度估计，获得所述草地地面图像对应的地面深度图像。[0019] 可选地，所述通过所述草地地面图像对所述割草机的惯性传感数据进行时频域处理，获得所述割草机的相机的相机尺度，包括：[0020] 获取所述割草机的惯性传感设备的惯性传感数据，所述惯性传感数据包括陀螺仪数据；[0021] 提取所述草地地面图像对应的相机传感数据；[0022] 对所述陀螺仪数据和所述相机传感数据进行时频域同步，获得同步参数；[0023] 根据所述同步参数对所述相机进行尺度估计，获得所述相机的相机尺度。[0024] 可选地，所述同步参数包括同步时间参数和同步角速度参数，所述对所述陀螺仪数据和所述相机传感数据进行时频域同步，获得同步参数，包括：[0025] 提取所述陀螺仪数据的陀螺仪时间和陀螺仪读角速度，并提取所述相机传感数据的相机视觉角速度时间和相机视觉角速度；[0026] 对所述陀螺仪时间和所述相机视觉角速度时间进行时域同步，获得同步时间参数；[0027] 对所述陀螺仪读角速度和所述相机视觉角速度进行频域同步，获得同步角速度参数。[0028] 可选地，所述根据所述同步参数对所述相机进行尺度估计，获得所述相机的相机尺度，包括：[0029] 通过傅里叶变换，根据所述同步时间参数将时域中的所述陀螺仪读角速度和所述相机视觉角速度变换到频域中；[0030] 最小化变换到频域中的陀螺仪读角速度和相机视觉角速度的幅值，获得最小化幅值；[0031] 根据所述最小化幅值对所述同步角速度参数进行尺度估计，获得所述相机的相机尺度。[0032] 可选地，所述对所述地面深度图像和所述相机尺度进行点云估计，获得所述草地地面图像对应的地面深度信息，包括：[0033] 对所述地面深度图像进行点云处理，获得所述地面深度图像对应的三维空间体素；[0034] 根据所述相机尺度对所述三维空间体素进行坐标转换，获得图像坐标值；[0035] 通过截断有符号距离场对所述图像坐标值进行截断，获得每个三维空间体素对应的距离值；[0036] 根据所述距离值确定所述草地地面图像对应的地面深度信息。[0037] 此外，为实现上述目的，本发明还提出一种割草机地面感知装置，所述装置包括：[0038] 深度估计模块，用于基于多视几何对割草机所在草地的草地地面图像进行深度估计，获得所述草地地面图像对应的地面深度图像；[0039] 时频域处理模块，用于通过所述草地地面图像对所述割草机的惯性传感数据进行时频域处理，获得所述割草机的相机的相机尺度；[0040] 深度修正模块，用于对所述地面深度图像和所述相机尺度进行点云估计，获得所述草地地面图像对应的地面深度信息；[0041] 三维曲线模块，用于将所述地面深度信息与所述草地对应的环境地图进行融合，获得所述草地的平面度三维感知曲线。[0042] 此外，为实现上述目的，本发明还提出一种割草机地面感知设备，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的割草机地面感知程序，所述割草机地面感知程序配置为实现如上文所述的割草机地面感知方法的步骤。[0043] 此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有割草机地面感知程序，所述割草机地面感知程序被处理器执行时实现如上文所述的割草机地面感知方法的步骤。[0044] 本发明首先基于多视几何对割草机所在草地的草地地面图像进行深度估计，获得所述草地地面图像对应的地面深度图像；然后通过所述草地地面图像对所述割草机的惯性传感数据进行时频域处理，获得所述割草机的相机的相机尺度；接着对所述地面深度图像和所述相机尺度进行点云估计，获得所述草地地面图像对应的地面深度信息；最后将所述地面深度信息与所述草地对应的环境地图进行融合，获得所述草地的平面度三维感知曲线。由于本发明首先基于草地地面图像对草地进行深度估计获得地面深度图像，然后再根据相机尺度对地面深度图像进行修正，以构建草地的平面度三维感知曲线，避免了传统的RGBD传感器逆光及高强光条件下深度失效影响到的导航与避障问题，从而可基于平面度三维感知曲线，极大提升割草机草地作业地面感知精度。附图说明[0045] 图1是本发明实施例方案涉及的硬件运行环境的割草机地面感知设备的结构示意图；[0046] 图2为本发明割草机地面感知方法第一实施例的流程示意图；[0047] 图3为本发明割草机地面感知方法第二实施例的流程示意图；[0048] 图4为本发明割草机地面感知方法第二实施例中对草地进行深度估计的流程示意图；[0049] 图5为本发明割草机地面感知方法第二实施例中通过三角形相似原理进行视差处理的场景示意图；[0050] 图6为本发明割草机地面感知方法第三实施例的流程示意图；[0051] 图7为本发明割草机地面感知方法第三实施例中对地面深度图像进行校准的流程示意图；[0052] 图8为本发明割草机地面感知装置第一实施例的结构框图。[0053] 本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。具体实施方式[0054] 应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。[0055] 参照图1，图1为本发明实施例方案涉及的硬件运行环境的割草机地面感知设备的结构示意图。[0056] 如图1所示，该割草机地面感知设备可以包括：处理器1001，例如中央处理器（CentralProcessingUnit，CPU），通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏（Display）、输入单元比如键盘（Keyboard），可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口（如无线保真（Wireless‑Fidelity，Wi‑Fi）接口）。存储器1005可以是高速的随机存取存储器（RandomAccessMemory，RAM），也可以是稳定的非易失性存储器（Non‑VolatileMemory，NVM），例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。[0057] 本领域技术人员可以理解，图1中示出的结构并不构成对割草机地面感知设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。[0058] 如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及割草机地面感知程序。[0059] 在图1所示的割草机地面感知设备中，网络接口1004主要用于与网络服务器进行数据通信；用户接口1003主要用于与用户进行数据交互；本发明割草机地面感知设备中的处理器1001、存储器1005可以设置在割草机地面感知设备中，所述割草机地面感知设备通过处理器1001调用存储器1005中存储的割草机地面感知程序，并执行本发明实施例提供的割草机地面感知方法。[0060] 本发明实施例提供了一种割草机地面感知方法，参照图2，图2为本发明割草机地面感知方法第一实施例的流程示意图。[0061] 为克服上述问题，本发明提出的一种割草机地面感知方法，基于三个方面解决RGBD传感器失效带来的深度信息缺失及影响到的后序避障与导航功能。[0062] 本实施例中，所述割草机地面感知方法包括以下步骤：[0063] 步骤S10：基于多视几何对割草机所在草地的草地地面图像进行深度估计，获得所述草地地面图像对应的地面深度图像。[0064] 需要说明的是，本实施例方法的执行主体可以是具有深度估计、时频域处理以及地面感知功能的计算服务设备，例如智能割草机，扫地机器人等，还可以是能够实现相同或相似功能的其他电子设备，例如上述割草机地面感知设备，本实施例对此不加以限制。本实施例割草机地面感知设备设置于割草机内部，通过对割草机所处草地地面进行感知，以避免传统的RGBD传感器逆光及高强光条件下深度失效影响到的导航与避障问题，提升割草机草地作业地面感知精度。此处以上述割草机地面感知设备（简称感知设备）对本实施例和下述各实施例进行具体说明。[0065] 可理解的是，割草机是一种能够自动修剪草坪的机器人设备，割草机内部可搭载相机以及IMU模组等内置的传感器设备，通过相机以及IMU模组可进行外部的环境检测，并在预定的区域内自主移动，使用剃刀或刀片切割草坪。[0066] 应理解的是，多视几何是利用割草机的多个视角或摄像机之间的几何关系，推断图像中物体的深度的技术。利用多视几何的技术，可从多个视角获取草地地面图的深度信息。[0067] 可理解的是，草地地面图像是割草机通过相机拍摄或获取的草地表面的图像。[0068] 需要说明的是，地面深度图像是通过多视几何对草地地面图像进行深度估计，来推断草地地面的深度信息获得的图像。具体的，可通过三角形相似原理以及相机内部参数，例如焦距等参数，来推算得到草地地面图像中各像素点之间的深度，获得地面深度图像。[0069] 在具体实现中，割草机在通过相机拍摄获得所处草地的草地地面图像后，第一方面，感知设备首先可基于多视几何草地地面图像进行深度估计，具体的，可通过三角形相似原理以及相机内部参数，例如焦距等参数，来推算得到草地地面图像中各像素点之间的深度，获得地面深度图像。[0070] 步骤S20：通过所述草地地面图像对所述割草机的惯性传感数据进行时频域处理，获得所述割草机的相机的相机尺度。[0071] 需要说明的是，惯性传感数据是由割草机内部的IMU惯性传感器设备采集到原始测量数据。其中，IMU惯性测量设备，是一种集成了多个惯性传感器的设备，能够测量物体运动状态的传感器，包括陀螺仪和加速度计。[0072] 具体的，惯性传感数据可由IMU设备采集到的陀螺仪和加速度计的原始测量数据组成。通过惯性传感数据，可实时获取割草机的运动状态，从而实现对割草机的运动跟踪，以提高割草机的地面感知功能。[0073] 可理解的是，相机尺度是割草机的相机图像中物体大小与实际物体大小之间的比例关系。通过相机的内部参数，可将物体在现实中的尺寸映射到相机像素坐标系中，以进行精确的深度估计。[0074] 步骤S30：对所述地面深度图像和所述相机尺度进行点云估计，获得所述草地地面图像对应的地面深度信息。[0075] 需要说明的是，对地面深度图像和相机尺度进行点云估计是指利用相机获取的深度图像以及相机的内参和外参信息，将其转化为稠密的点云数据，从而确定草地地面图像对应的地面深度信息。[0076] 在具体实现中，第二方面，在获得地面深度图像后，还需对其进行校准。此时感知设备可通过所述草地地面图像对所述割草机的惯性传感数据进行时频域处理，通过引入的惯性传感数据获取相机的相机尺度，以进行精确的深度估计。然后对所述地面深度图像和所述相机尺度进行点云估计，将其转化为稠密的点云数据，从而确定草地地面图像对应的地面深度信息。[0077] 步骤S40：将所述地面深度信息与所述草地对应的环境地图进行融合，获得所述草地的平面度三维感知曲线。[0078] 需要说明的是，环境地图是对割草机所在草地的空间和地理信息进行建模和表示的地图模型。割草机通过收集和整合传感器数据、地理信息和其他相关数据，将草地环境中的物体、结构、特征等信息以可视化的方式呈现出来。通过建立环境地图，以实现割草机的精确定位、路径规划等功能。[0079] 可理解的是，平面度三维感知曲线是在草地的三维空间中描述地面深度的曲线。通过平面度三维感知曲线，割草机可避免了传统的RGBD传感器逆光及高强光条件下深度失效影响到的导航与避障问题，从而极大提升割草机草地作业地面感知精度。[0080] 在具体实现中，第三方面，在校准获得地面深度信息后。感知设备可通过收集和整合传感器数据、地理信息和其他相关数据，将草地环境中的物体、结构、特征等信息以可视化的方式呈现出来，建立环境地图。然后将所述地面深度信息与所述草地对应的环境地图进行融合，得到完整的平面度三维感知曲线。[0081] 本实施例割草机在通过相机拍摄获得所处草地的草地地面图像后，基于三个方面解决RGBD传感器失效带来的深度信息缺失及影响到的后序避障与导航功能。第一方面，感知设备首先可基于多视几何草地地面图像进行深度估计，具体的，可通过三角形相似原理以及相机内部参数，例如焦距等参数，来推算得到草地地面图像中各像素点之间的深度，获得地面深度图像。第二方面，在获得地面深度图像后，还需对其进行校准。此时感知设备可通过所述草地地面图像对所述割草机的惯性传感数据进行时频域处理，通过引入的惯性传感数据获取相机的相机尺度，以进行精确的深度估计。然后对所述地面深度图像和所述相机尺度进行点云估计，将其转化为稠密的点云数据，从而确定草地地面图像对应的地面深度信息。第三方面，在校准获得地面深度信息后。感知设备可通过收集和整合传感器数据、地理信息和其他相关数据，将草地环境中的物体、结构、特征等信息以可视化的方式呈现出来，建立环境地图。最后将所述地面深度信息与所述草地对应的环境地图进行融合，得到完整的平面度三维感知曲线。由于本实施例首先基于草地地面图像对草地进行深度估计获得地面深度图像，然后再根据相机尺度对地面深度图像进行修正，以构建草地的平面度三维感知曲线，避免了传统的RGBD传感器逆光及高强光条件下深度失效影响到的导航与避障问题，从而可基于平面度三维感知曲线，极大提升割草机草地作业地面感知精度。[0082] 参考图2和图3，图3为本发明割草机地面感知方法第二实施例的流程示意图。[0083] 基于上述第一实施例，在本实施例中，所述步骤S10包括：[0084] 步骤S11：通过割草机的相机获取割草机所在草地的草地地面图像。[0085] 步骤S12：基于多视几何对所述草地地面图像进行图像处理，获得所述草地地面图像对应的基本成像模型。[0086] 需要说明的是，基本成像模型是用于描述草地地面图像中割草机相机与草地地面深度关系的简化模型。[0087] 步骤S13：通过三角形相似原理对所述基本成像模型进行视差处理，获得所述草地地面图像对应的地面深度图像。[0088] 需要说明的是，三角形相似原理是通过两个三角形在形状上相似的性质进行数据推导的原理。例如AAA相似定理、AA相似定理、SAS相似定理等三角形相似原理。通过三角形相似原理测量和计算草地地面图像对应的地面深度。[0089] 可理解的是，视差处理的过程是基于割草机的多相机的视差效应，通过比较多相机不同角度所观察到的图像之间的差异来推断草地地面深度。[0090] 在实际实现中，参考图4，图4为本发明割草机地面感知方法第二实施例中对草地进行深度估计的流程示意图。割草机的相机在获取草地的草地地面图像后，将图像输入至感知设备。然后感知设备对地面图像进行一系列初步处理，包括匹配代价计算、代价聚合、视差计算和视差优化等步骤。其中，通过匹配代价计算和代价聚合可计算和确定图像中每个像素的视差值。然后基于多视几何对所述草地地面图像进行图像处理，获得用于描述草地地面图像中割草机相机与草地地面深度关系的基本成像模型。最后通过三角形相似原理对所述基本成像模型进行视差计算和视差优化，通过三角形相似原理测量和计算草地地面图像对应的地面深度。最后输出所述草地地面图像对应的地面深度图像。从而可通过视差处理，获得精确的地面深度图像。[0091] 进一步地，本实施例中在步骤S13包括：通过三角形相似原理对所述基本成像模型进行视差处理，获得所述草地地面图像对应的地面视差数据；获取所述相机的相机参数，所述相机参数包括基线参数和焦距参数；按预设深度公式对所述地面视差数据、所述基线参数和所述焦距参数进行深度估计，获得所述草地地面图像对应的地面深度图像。[0092] 需要说明的是，地面视差数据是通过三角形相似原理对所述基本成像模型进行视差处理，获得的相机与地面之间的视差信息而得到的数据。[0093] 可理解的是，基线参数是双目相机（例如立体摄像头）的两个摄像头之间的距离。例如双目摄像头通过左右两个摄像头同时拍摄不同视角的图像，基线参数即为这两个摄像头的间距。基线参数的大小对立体视觉的效果有重要影响，较大的基线参数可以获取更多的深度信息。[0094] 应理解的是，焦距参数是描述相机镜头成像能力的重要指标，表示相机的焦距大小。焦距参数决定了相机成像的视场大小、景深范围和图像畸变情况等。通过基线参数和焦距参数，可对相机的成像进行深度估计，从而提高地面深度图像的准确性。[0095] 需要说明的是，预设深度公式是感知设备预先设置的公式，以焦距参数f、基线参数b、地面视差数据d及地面深度z为例进行说明。参考图5，图5为本发明割草机地面感知方法第二实施例中通过三角形相似原理进行视差处理的场景示意图。具体的，各参数之间的关系如下所示：[0096] ；[0097] ；[0098] 在实际实现中，基于多视几何对草地地面进行深度估计，其基本成像模型如图5所示。相机L和相机R之间的距离为双目相机的基线参数b，两者的焦距参数为f，与草地地面的深度为z。如图像平面所示，基于成像模型及三角形相似原理，以X‑Z坐标系推算得到焦距参数f、基线参数b、地面视差数据d及地面深度z之间的关系如上式所示，其中，xl、xr、x‑b是以P=（x,z）为三角形顶点通过三角形相似原理进行推算确定的边长。由于相机b、f为相机内部特性，所以可得到地面视差数据d，即可根据公式z=(b*f)/d获得深度信息，最后根据深度信息确定所述草地地面图像对应的地面深度图像。[0099] 本实施例割草机的相机在获取草地的草地地面图像后，将图像输入至感知设备。然后感知设备对地面图像进行一系列初步处理，包括匹配代价计算、代价聚合、视差计算和视差优化等步骤。其中，通过匹配代价计算和代价聚合可计算和确定图像中每个像素的视差值。然后基于多视几何对所述草地地面图像进行图像处理，获得用于描述草地地面图像中割草机相机与草地地面深度关系的基本成像模型。最后通过三角形相似原理对所述基本成像模型进行视差计算和视差优化，通过三角形相似原理测量和计算草地地面图像对应的地面深度。最后输出所述草地地面图像对应的地面深度图像。从而可通过视差处理，获得精确的地面深度图像。[0100] 参考图2和图6，图6为本发明割草机地面感知方法第三实施例的流程示意图。[0101] 基于上述各实施例，在本实施例中，所述步骤S20包括：[0102] 步骤S21：获取所述割草机的惯性传感设备的惯性传感数据，所述惯性传感数据包括陀螺仪数据。[0103] 需要说明的是，陀螺仪数据是指陀螺仪传感器获取到的关于旋转和角速度的测量值，包括陀螺仪读角速度以及陀螺仪时间。[0104] 步骤S22：提取所述草地地面图像对应的相机传感数据。[0105] 需要说明的是，相机传感数据是指割草机的相机通过slam技术获取到图像信息时相关的测量数据，包括相机的视觉的角速度及时间。[0106] 步骤S23：对所述陀螺仪数据和所述相机传感数据进行时频域同步，获得同步参数。[0107] 需要说明的是，由于割草机的相机与IMU传感器获取的数据分别在两个不同的坐标系，因此，需要分别对陀螺仪时间与相机的视觉的角速度时间进行时域同步，得到同步后的时间。然后需要对陀螺仪读角速度以及相机的视觉的角速度进行频域同步，最后在同步后的频域中估计相机的尺度。[0108] 步骤S24：根据所述同步参数对所述相机进行尺度估计，获得所述相机的相机尺度。[0109] 在具体实现中，感知设备可获取所述割草机的惯性传感设备的惯性传感数据，包括陀螺仪读角速度以及陀螺仪时间；然后提取所述草地地面图像对应的相机传感数据；包括相机的视觉的角速度及时间。由于割草机的相机与IMU传感器获取的数据分别在两个不同的坐标系，因此，需要分别对陀螺仪时间与相机的视觉的角速度时间进行时域同步，得到同步后的时间。然后对陀螺仪读角速度以及相机的视觉的角速度进行频域同步，最后在同步后的频域中对所述相机进行尺度估计，获得所述相机的相机尺度。[0110] 进一步地，所述同步参数包括同步时间参数和同步角速度参数，本实施例中在步骤S23包括：提取所述陀螺仪数据的陀螺仪时间和陀螺仪读角速度，并提取所述相机传感数据的相机视觉角速度时间和相机视觉角速度；对所述陀螺仪时间和所述相机视觉角速度时间进行时域同步，获得同步时间参数；对所述陀螺仪读角速度和所述相机视觉角速度进行频域同步，获得同步角速度参数。[0111] 需要说明的是，陀螺仪时间是陀螺仪传感器测量、记录和报告数据的时间信息，表示陀螺仪传感器在草地行进时测量到相关数据的时间戳。[0112] 可理解的是，陀螺仪读角速度是在草地行进时陀螺仪传感器记录的旋转的角速度。[0113] 在实际实现中，可引入惯性传感数据获取相机的尺度信息。具体的，可将IMU的陀螺仪数据与slam获取的相机传感数据进行时频域对齐，然后对估计的深度和带有尺度信息的相机位姿进行融合，得到校准后的地面深度。处理流程参考图7，图7为本发明割草机地面感知方法第三实施例中对地面深度图像进行校准的流程示意图。[0114] 其中，时域同步是求解IMU数据与相机最小时间偏移的过程。具体的，可对IMU的陀螺仪时间与slam得到的角速度时间求最小平方差，即为最优时间偏移量，然后将陀螺仪时间与slam角速度时间中的较小值加上偏移量，得到同步后的时间。[0115] 频域同步是由于视觉的角速度和陀螺仪读角速度分别在两个不同的坐标系，需要同步视觉和IMU的参数，其求解方式如下所示：[0116] ；[0117] 其中： 表示IMU坐标系到相机坐标系的旋转矩阵， 为在相机坐标系下的陀螺仪零偏， 为最优的时间戳偏移量， 表示视觉的角速度， 表示IMU的角速度，表示时间。[0118] 最后，可在同步后的频域中对所述相机进行尺度估计，获得所述相机的相机尺度。[0119] 进一步地，本实施例中在步骤S24包括：通过傅里叶变换，根据所述同步时间参数将时域中的所述陀螺仪读角速度和所述相机视觉角速度变换到频域中；最小化变换到频域中的陀螺仪读角速度和相机视觉角速度的幅值，获得最小化幅值；根据所述最小化幅值对所述同步角速度参数进行尺度估计，获得所述相机的相机尺度。[0120] 需要说明的是，傅里叶变换（FourierTransform）是一种数学工具，用于将一个函数或信号（在时域上表示）分解成一组频域上的正弦和余弦函数（频率分量）的叠加。通过傅里叶变换可将时域中的所述陀螺仪读角速度和所述相机视觉角速度变换到频域中。[0121] 在实际实现中，感知设备在完成频域同步后，可在频域中估计相机的尺度。具体的，可先通过傅里叶变换将时域中的相机坐标系下的相机视觉角速度和IMU的陀螺仪读角速度变换到频域中，具体如下所示：[0122] ；[0123] 其中，s表示相机的初始尺度因子； 表示加速度计的零偏， 为相机坐标系下的基于视觉的加速度在频域上的表示； 为相机坐标系下的基于IMU的加速度在频域上的表示， 、 分别表示相机坐标系下视觉与IMU的加速度， 表示IMU坐标系到相机坐标系的旋转矩阵， 表示重力加速度。[0124] 然后通过最小化视觉和IMU加速度的幅值，在频域中估算相机尺度，具体如下所示：[0125] ；[0126] 进一步地，本实施例中在步骤S30包括：对所述地面深度图像进行点云处理，获得所述地面深度图像对应的三维空间体素；根据所述相机尺度对所述三维空间体素进行坐标转换，获得图像坐标值；通过截断有符号距离场对所述图像坐标值进行截断，获得每个三维空间体素对应的距离值；根据所述距离值确定所述草地地面图像对应的地面深度信息。[0127] 需要说明的是，三维空间体素是指三维空间中的体积元素。可将地面深度图转换为体素，以进行点云处理，获得地面深度信息。[0128] 可理解的是，截断有符号距离场（TruncatedSignedDistanceField，TSDF）是一种用于表示三维空间中物体边界的数据结构。其中，有符号距离场（SignedDistanceField，SDF）表示每个点到物体表面的有向距离。正的距离表示点在物体外部，负的距离表示点在物体内部，而零则表示点位于物体表面上。通过截断有符号距离场可融合多个视角的地面深度图，支持快速的体素数据操作。[0129] 在实际实现中，如图7所示，感知设备可先对所述地面深度图像进行点云处理，获得所述地面深度图像对应的三维空间体素。然后结合TSDF理论进行点云估计，求解体素中心到表面的距离的截断值，每个体素都对应修正后的距离D和权重W。在获取第i帧点云后，具体过程如下所示：[0130] （1）取体素在全局坐标系下的坐标 (x,y,z)，然后根据slam带有尺度信息的相机位姿,利用相机变换矩阵将其从全局坐标系转换到相机坐标系，得到V(x,y,z)。[0131] （2）根据相机的内参矩阵转换到图像坐标系，得到一个图像坐标(u,v)。[0132] （3）如果第i帧深度图像D(u,v)处的深度值不为0，则比较D(u,v)与体素相机坐标V(x,y,z)的大小，如果D(u,v)>V(x,y,z)，说明此体素离相机更近，在物体估计表面的外部。反之，说明此体素离相机更远，在估计表面的内部。[0133] （4）最后根据（3）中的结果更新此体素中距离值D和权重W。[0134] 根据上述距离值D和权重W确定所述草地地面图像对应的地面深度信息，最后将视觉与IMU对齐后的位姿存于地图中，得到每条轨迹的位姿曲线，在工作区域构建环境地图后覆盖可得到完整的平面度三维感知曲线。从而解决了RGBD传感器逆光及高强光条件下深度失效及影响到的导航与避障问题，同时基于平面度三维感知曲线，极大提升了草地作业地面感知精度。[0135] 本实施例感知设备可获取所述割草机的惯性传感设备的惯性传感数据，包括陀螺仪读角速度以及陀螺仪时间；然后提取所述草地地面图像对应的相机传感数据；包括相机的视觉的角速度及时间。由于割草机的相机与IMU传感器获取的数据分别在两个不同的坐标系，因此，需要分别对陀螺仪时间与相机的视觉的角速度时间进行时域同步，得到同步后的时间。然后对陀螺仪读角速度以及相机的视觉的角速度进行频域同步，接着在同步后的频域中对所述相机进行尺度估计，获得所述相机的相机尺度。再对所述地面深度图像进行点云处理，获得所述地面深度图像对应的三维空间体素。然后结合TSDF理论进行点云估计，求解体素中心到表面的距离的截断值，每个体素都对应修正后的距离D和权重W。在获取第i帧点云后，可根据上述过程更新体素中距离值D和权重W。并根据上述距离值D和权重W确定所述草地地面图像对应的地面深度信息，最后将视觉与IMU对齐后的位姿存于地图中，得到每条轨迹的位姿曲线，在工作区域构建环境地图后覆盖可得到完整的平面度三维感知曲线。从而解决了RGBD传感器逆光及高强光条件下深度失效及影响到的导航与避障问题，同时基于平面度三维感知曲线，极大提升了草地作业地面感知精度。[0136] 此外，本发明实施例还提出一种存储介质，所述存储介质上存储有割草机地面感知程序，所述割草机地面感知程序被处理器执行时实现如上文所述的割草机地面感知方法的步骤。[0137] 参照图8，图8为本发明割草机地面感知装置第一实施例的结构框图。[0138] 如图8所示，本发明实施例提出的割草机地面感知装置包括：[0139] 深度估计模块801，用于基于多视几何对割草机所在草地的草地地面图像进行深度估计，获得所述草地地面图像对应的地面深度图像；[0140] 时频域处理模块802，用于通过所述草地地面图像对所述割草机的惯性传感数据进行时频域处理，获得所述割草机的相机的相机尺度；[0141] 深度修正模块803，用于对所述地面深度图像和所述相机尺度进行点云估计，获得所述草地地面图像对应的地面深度信息；[0142] 三维曲线模块804，用于将所述地面深度信息与所述草地对应的环境地图进行融合，获得所述草地的平面度三维感知曲线。[0143] 本实施例割草机在通过相机拍摄获得所处草地的草地地面图像后，基于三个方面解决RGBD传感器失效带来的深度信息缺失及影响到的后序避障与导航功能。第一方面，感知设备首先可基于多视几何草地地面图像进行深度估计，具体的，可通过三角形相似原理以及相机内部参数，例如焦距等参数，来推算得到草地地面图像中各像素点之间的深度，获得地面深度图像。第二方面，在获得地面深度图像后，还需对其进行校准。此时感知设备可通过所述草地地面图像对所述割草机的惯性传感数据进行时频域处理，通过引入的惯性传感数据获取相机的相机尺度，以进行精确的深度估计。然后对所述地面深度图像和所述相机尺度进行点云估计，将其转化为稠密的点云数据，从而确定草地地面图像对应的地面深度信息。第三方面，在校准获得地面深度信息后。感知设备可通过收集和整合传感器数据、地理信息和其他相关数据，将草地环境中的物体、结构、特征等信息以可视化的方式呈现出来，建立环境地图。最后将所述地面深度信息与所述草地对应的环境地图进行融合，得到完整的平面度三维感知曲线。由于本实施例首先基于草地地面图像对草地进行深度估计获得地面深度图像，然后再根据相机尺度对地面深度图像进行修正，以构建草地的平面度三维感知曲线，避免了传统的RGBD传感器逆光及高强光条件下深度失效影响到的导航与避障问题，从而可基于平面度三维感知曲线，极大提升割草机草地作业地面感知精度。[0144] 基于本发明上述割草机地面感知装置第一实施例，提出本发明割草机地面感知装置的第二实施例。[0145] 在本实施例中，所述深度估计模块801，还用于通过割草机的相机获取割草机所在草地的草地地面图像；基于多视几何对所述草地地面图像进行图像处理，获得所述草地地面图像对应的基本成像模型；通过三角形相似原理对所述基本成像模型进行视差处理，获得所述草地地面图像对应的地面深度图像。[0146] 进一步地，所述深度估计模块801，还用于通过三角形相似原理对所述基本成像模型进行视差处理，获得所述草地地面图像对应的地面视差数据；获取所述相机的相机参数，所述相机参数包括基线参数和焦距参数；按预设深度公式对所述地面视差数据、所述基线参数和所述焦距参数进行深度估计，获得所述草地地面图像对应的地面深度图像。[0147] 进一步地，所述时频域处理模块802，还用于获取所述割草机的惯性传感设备的惯性传感数据，所述惯性传感数据包括陀螺仪数据；提取所述草地地面图像对应的相机传感数据；对所述陀螺仪数据和所述相机传感数据进行时频域同步，获得同步参数；根据所述同步参数对所述相机进行尺度估计，获得所述相机的相机尺度。[0148] 进一步地，所述同步参数包括同步时间参数和同步角速度参数，所述时频域处理模块802，还用于提取所述陀螺仪数据的陀螺仪时间和陀螺仪读角速度，并提取所述相机传感数据的相机视觉角速度时间和相机视觉角速度；对所述陀螺仪时间和所述相机视觉角速度时间进行时域同步，获得同步时间参数；对所述陀螺仪读角速度和所述相机视觉角速度进行频域同步，获得同步角速度参数。[0149] 进一步地，所述时频域处理模块802，还用于通过傅里叶变换，根据所述同步时间参数将时域中的所述陀螺仪读角速度和所述相机视觉角速度变换到频域中；最小化变换到频域中的陀螺仪读角速度和相机视觉角速度的幅值，获得最小化幅值；根据所述最小化幅值对所述同步角速度参数进行尺度估计，获得所述相机的相机尺度。[0150] 进一步地，所述深度修正模块803，还用于对所述地面深度图像进行点云处理，获得所述地面深度图像对应的三维空间体素；根据所述相机尺度对所述三维空间体素进行坐标转换，获得图像坐标值；通过截断有符号距离场对所述图像坐标值进行截断，获得每个三维空间体素对应的距离值；根据所述距离值确定所述草地地面图像对应的地面深度信息。[0151] 本发明割草机地面感知装置的其他实施例或具体实现方式可参照上述各方法实施例，此处不再赘述。[0152] 需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。[0153] 上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。[0154] 通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质（如只读存储器/随机存取存储器、磁碟、光盘）中，包括若干指令用以使得一台终端设备（可以是手机，计算机，服务器，或者网络设备等）执行本发明各个实施例所述的方法。[0155] 以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

专利地区：广东

专利申请日期：2024-02-29

专利公开日期：2024-05-28

专利公告号：CN117804449B