火车厢翻车机卸料智能机器人自动清车系统及其方法

专利名称：火车厢翻车机卸料智能机器人自动清车系统及其方法

专利类型：发明专利

专利申请号：CN202410878244.3

专利申请（专利权）人：山东海大机器人科技有限公司
权利人地址：山东省日照市高新区高新六路177号C10

专利发明（设计）人：杨纪富,田洪芳,陈伟,刘登基,孙鹏,田文昊

专利摘要：本发明公开了车厢翻车机卸料智能机器人自动清车系统及其方法，主要涉及智能机器人领域。该系统包括：视觉引导系统、六轴机器人和自动供水系统；所述视觉引导系统安装于所述六轴机器人的端部；所述自动供水系统包括水枪、保温水箱、调节水泵、水位控制器和供水控制器，其中，所述供水控制器可通信地连接于所述视觉引导系统，其可以利用计算机视觉技术和人工智能技术，对由视觉引导系统采集的残余物料和车厢内障碍物的分布状态图像进行关于残余物料的状态分析，以根据车厢内实际的残余物料分布状态特征信息来完成清车作业。

主权利要求：
1.一种火车厢翻车机卸料智能机器人自动清车系统，其特征在于，包括：视觉引导系统、六轴机器人和自动供水系统；
所述视觉引导系统安装于所述六轴机器人的端部；
所述自动供水系统包括水枪、保温水箱、调节水泵、水位控制器和供水控制器，其中，所述供水控制器可通信地连接于所述视觉引导系统，并基于所述视觉引导系统所采集的信息进行出水压力自适应调整；
所述供水控制器，包括：
图像采集模块，用于获取由视觉引导系统采集的残余物料分布状态图像；
状态特征提取模块，用于对所述残余物料分布状态图像进行物料状态特征提取以得到多个残余物料状态语义特征向量；
嵌入融合编码模块，用于对所述多个残余物料状态语义特征向量进行位置信息嵌入融合以得到多个位置嵌入残余物料状态语义特征向量；以及水压推荐模块，用于基于所述多个位置嵌入残余物料状态语义特征向量的残余物料全局状态信息来确定推荐水压值。
2.根据权利要求1所述的火车厢翻车机卸料智能机器人自动清车系统，其特征在于，所述状态特征提取模块，包括：感兴趣区域提取单元，用于提取所述残余物料分布状态图像的残余物料感兴趣区域以得到多个残余物料感兴趣区域图像；以及图像特征提取单元，用于利用深度学习网络模型对所述多个残余物料感兴趣区域图像进行图像特征提取以得到所述多个残余物料状态语义特征向量。
3.根据权利要求2所述的火车厢翻车机卸料智能机器人自动清车系统，其特征在于，所述感兴趣区域提取单元，用于：将所述残余物料分布状态图像通过基于R‑CNN网络的残余物料感兴趣区域提取器以得到所述多个残余物料感兴趣区域图像。
4.根据权利要求3所述的火车厢翻车机卸料智能机器人自动清车系统，其特征在于，所述图像特征提取单元，用于：将所述多个残余物料感兴趣区域图像通过基于卷积神经网络模型的残余物料状态特征提取器以得到所述多个残余物料状态语义特征向量。
5.根据权利要求4所述的火车厢翻车机卸料智能机器人自动清车系统，其特征在于，所述嵌入融合编码模块，包括：编码单元，用于提取所述多个残余物料感兴趣区域图像在所述残余物料分布状态图像中的位置信息，并分别对所述位置信息进行编码以得到多个感兴趣区域位置信息编码特征向量；以及融合单元，用于使用位置信息嵌入融合模块对所述多个残余物料状态语义特征向量和所述多个感兴趣区域位置信息编码特征向量进行处理以得到所述多个位置嵌入残余物料状态语义特征向量。
6.根据权利要求5所述的火车厢翻车机卸料智能机器人自动清车系统，其特征在于，所述融合单元，用于：将各个所述感兴趣区域位置信息编码特征向量拼接在对应的所述残余物料状态语义特征向量的末尾以得到所述多个位置嵌入残余物料状态语义特征向量。
7.根据权利要求6所述的火车厢翻车机卸料智能机器人自动清车系统，其特征在于，所述水压推荐模块，包括：注意力整合单元，用于将所述多个位置嵌入残余物料状态语义特征向量通过基于概率的注意力整合模型以得到残余物料全局分布状态特征向量；
水压推荐单元，用于将所述残余物料全局分布状态特征向量通过基于解码器的水压推荐器以得到解码值，所述解码值用于表示所述推荐水压值。
8.根据权利要求7所述的火车厢翻车机卸料智能机器人自动清车系统，其特征在于，所述注意力整合单元，用于：以如下注意力整合公式对所述多个位置嵌入残余物料状态语义特征向量进行处理以得到所述残余物料全局分布状态特征向量；其中，所述注意力整合公式为：H＝Concat[a1h1；h2；···；aihi；···；atht]其中，ei为第i个注意力打分系数，ek为第k个注意力打分系数，hi为所述多个位置嵌入残余物料状态语义特征向量中第i个位置嵌入残余物料状态语义特征向量，ht为第t个位置嵌入残余物料状态语义特征向量，Wi为第i个权重系数矩阵， 为第i个权重系数向量，Bi为第i个偏置向量，tanh(·)表示双曲正切函数处理，exp(·)表示以e为底的指数函数处理，ai为第i个注意力权重系数，at为第t个注意力权重系数，t为所述多个位置嵌入残余物料状态语义特征向量的长度，Concat[·；·]表示级联函数，H为所述残余物料全局分布状态特征向量。
9.一种用于如权利要求1至8任一项所述的火车厢翻车机卸料智能机器人自动清车系统的火车厢翻车机卸料智能机器人自动清车方法，其特征在于，包括：获取由视觉引导系统采集的残余物料分布状态图像；
对所述残余物料分布状态图像进行物料状态特征提取以得到多个残余物料状态语义特征向量；
对所述多个残余物料状态语义特征向量进行位置信息嵌入融合以得到多个位置嵌入残余物料状态语义特征向量；以及基于所述多个位置嵌入残余物料状态语义特征向量的残余物料全局状态信息来确定推荐水压值。 说明书 : 火车厢翻车机卸料智能机器人自动清车系统及其方法技术领域[0001] 本申请涉及智能机器人领域，且更为具体地，涉及一种火车厢翻车机卸料智能机器人自动清车系统及其方法。背景技术[0002] 铁路火车煤炭运输以其运输效率高、长距离大批量运输成本低、节能环保等优势，作为大宗煤炭运输的主要方式。翻车机卸车方式是火车运输到货后一种方便快捷的卸车方式，其主要用来翻卸铁路通用敞口车厢装载的煤炭、矿石等松散物料。但是由于物料湿度、运输过程的颠簸等原因，车厢底部四角及车厢内壁极易形成板结。也就是，在翻卸过程中，物料会残留在车厢的侧壁上，不能顺利卸出。[0003] 为了解决这个问题，目前采用的方式是人工清扫。但是，由于车厢多，工作量大，清理效率低，这种方式的卸车清扫效率较为低下。同时，人工清扫的方式还存在安全隐患。因此，期待一种火车厢翻车机卸料智能机器人自动清车系统及其方法。发明内容[0004] 为了解决上述技术问题，提出了本申请。本申请提供了一种火车厢翻车机卸料智能机器人自动清车系统及其方法，其可以利用计算机视觉技术和人工智能技术，对由视觉引导系统采集的残余物料分布状态图像进行关于残余物料的状态分析，以根据车厢内实际的残余物料分布状态特征信息来自适应地调整出水压力值。[0005] 根据本申请的一个方面，提供了一种火车厢翻车机卸料智能机器人自动清车系统，其包括：视觉引导系统、六轴机器人和自动供水系统；[0006] 所述视觉引导系统安装于所述六轴机器人的端部；[0007] 所述自动供水系统包括水枪、保温水箱、调节水泵、水位控制器和供水控制器，其中，所述供水控制器可通信地连接于所述视觉引导系统，并基于所述视觉引导系统所采集的信息进行出水压力自适应调整。[0008] 在上述的火车厢翻车机卸料智能机器人自动清车系统中，所述供水控制器，包括：[0009] 图像采集模块，用于获取由视觉引导系统采集的残余物料分布状态图像；[0010] 状态特征提取模块，用于对所述残余物料分布状态图像进行物料状态特征提取以得到多个残余物料状态语义特征向量；[0011] 嵌入融合编码模块，用于对所述多个残余物料状态语义特征向量进行位置信息嵌入融合以得到多个位置嵌入残余物料状态语义特征向量；以及[0012] 水压推荐模块，用于基于所述多个位置嵌入残余物料状态语义特征向量的残余物料全局状态信息来确定推荐水压值。[0013] 在上述的火车厢翻车机卸料智能机器人自动清车系统中，所述状态特征提取模块，包括：[0014] 感兴趣区域提取单元，用于提取所述残余物料分布状态图像的残余物料感兴趣区域以得到多个残余物料感兴趣区域图像；以及[0015] 图像特征提取单元，用于利用深度学习网络模型对所述多个残余物料感兴趣区域图像进行图像特征提取以得到所述多个残余物料状态语义特征向量。[0016] 在上述的火车厢翻车机卸料智能机器人自动清车系统中，所述感兴趣区域提取单元，用于：[0017] 将所述残余物料分布状态图像通过基于R‑CNN网络的残余物料感兴趣区域提取器以得到所述多个残余物料感兴趣区域图像。[0018] 在上述的火车厢翻车机卸料智能机器人自动清车系统中，所述图像特征提取单元，用于：[0019] 将所述多个残余物料感兴趣区域图像通过基于卷积神经网络模型的残余物料状态特征提取器以得到所述多个残余物料状态语义特征向量。[0020] 在上述的火车厢翻车机卸料智能机器人自动清车系统中，所述嵌入融合编码模块，包括：[0021] 编码单元，用于提取所述多个残余物料感兴趣区域图像在所述残余物料分布状态图像中的位置信息，并分别对所述位置信息进行编码以得到多个感兴趣区域位置信息编码特征向量；以及[0022] 融合单元，用于使用位置信息嵌入融合模块对所述多个残余物料状态语义特征向量和所述多个感兴趣区域位置信息编码特征向量进行处理以得到所述多个位置嵌入残余物料状态语义特征向量。[0023] 在上述的火车厢翻车机卸料智能机器人自动清车系统中，所述融合单元，用于：[0024] 将各个所述感兴趣区域位置信息编码特征向量拼接在对应的所述残余物料状态语义特征向量的末尾以得到所述多个位置嵌入残余物料状态语义特征向量。[0025] 在上述的火车厢翻车机卸料智能机器人自动清车系统中，所述水压推荐模块，包括：[0026] 注意力整合单元，用于将所述多个位置嵌入残余物料状态语义特征向量通过基于概率的注意力整合模型以得到残余物料全局分布状态特征向量；[0027] 水压推荐单元，用于将所述残余物料全局分布状态特征向量通过基于解码器的水压推荐器以得到解码值，所述解码值用于表示所述推荐水压值。[0028] 在上述的火车厢翻车机卸料智能机器人自动清车系统中，所述注意力整合单元，用于：[0029] 以如下注意力整合公式对所述多个位置嵌入残余物料状态语义特征向量进行处理以得到所述残余物料全局分布状态特征向量；其中，所述注意力整合公式为：[0030] ；[0031] 其中， 为第个注意力打分系数， 为第 个注意力打分系数， 为所述多个位置嵌入残余物料状态语义特征向量中第 个位置嵌入残余物料状态语义特征向量， 为第 个位置嵌入残余物料状态语义特征向量， 为第 个权重系数矩阵，为第 个权重系数向量， 为第 个偏置向量， 表示双曲正切函数处理，表示以e为底的指数函数处理， 为第 个注意力权重系数， 为第 个注意力权重系数， 为所述多个位置嵌入残余物料状态语义特征向量的长度， 表示级联函数， 为所述残余物料全局分布状态特征向量。[0032] 根据本申请的另一个方面，提供了一种火车厢翻车机卸料智能机器人自动清车方法，其包括：[0033] 获取由视觉引导系统采集的残余物料分布状态图像；[0034] 对所述残余物料分布状态图像进行物料状态特征提取以得到多个残余物料状态语义特征向量；[0035] 对所述多个残余物料状态语义特征向量进行位置信息嵌入融合以得到多个位置嵌入残余物料状态语义特征向量；以及[0036] 基于所述多个位置嵌入残余物料状态语义特征向量的残余物料全局状态信息来确定推荐水压值。[0037] 与现有技术相比，本申请提供的火车厢翻车机卸料智能机器人自动清车系统及其方法，该系统包括：视觉引导系统、六轴机器人和自动供水系统；所述视觉引导系统安装于所述六轴机器人的端部；所述自动供水系统包括水枪、保温水箱、调节水泵、水位控制器和供水控制器，其中，所述供水控制器可通信地连接于所述视觉引导系统，并基于所述视觉引导系统所采集的信息进行出水压力自适应调整。这样，可以根据车厢内实际的残余物料分布状态特征信息来自适应地调整出水压力值，从而满足不同的清洁需求。附图说明[0038] 为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，以下附图并未刻意按实际尺寸等比例缩放绘制，重点在于示出本申请的主旨。[0039] 图1为根据本申请实施例的火车厢翻车机卸料智能机器人自动清车系统中的所述供水控制器的框图示意图。[0040] 图2为根据本申请实施例的火车厢翻车机卸料智能机器人自动清车系统中的所述状态特征提取模块的框图示意图。[0041] 图3为根据本申请实施例的火车厢翻车机卸料智能机器人自动清车系统中的所述嵌入融合编码模块的框图示意图。[0042] 图4为根据本申请实施例的火车厢翻车机卸料智能机器人自动清车系统中的所述水压推荐模块的框图示意图。[0043] 图5为根据本申请实施例的火车厢翻车机卸料智能机器人自动清车方法的流程图。[0044] 图6为根据本申请实施例的火车厢翻车机卸料智能机器人自动清车系统的应用场景图。具体实施方式[0045] 下面将结合附图对本申请实施例中的技术方案进行清楚、完整地描述，显而易见地，所描述的实施例仅仅是本申请的部分实施例，而不是全部的实施例。基于本申请实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，也属于本申请保护的范围。[0046] 如本申请和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其他的步骤或元素。[0047] 虽然本申请对根据本申请的实施例的系统中的某些模块做出了各种引用，然而，任何数量的不同模块可以被使用并运行在用户终端和/或服务器上。所述模块仅是说明性的，并且所述系统和方法的不同方面可以使用不同模块。[0048] 本申请中使用了流程图用来说明根据本申请的实施例的系统所执行的操作。应当理解的是，前面或下面操作不一定按照顺序来精确地执行。相反，根据需要，可以按照倒序或同时处理各种步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。[0049] 下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。[0050] 由于车厢多、工作量大、清理效率低，人工清扫的这种方式存在卸车清扫效率较为低下的问题。同时，人工清扫的方式还存在安全隐患。本申请提供了一种火车厢翻车机卸料智能机器人自动清车系统，其具体包括：视觉引导系统、六轴机器人和自动供水系统；其中，所述视觉引导系统安装于所述六轴机器人的端部；所述自动供水系统包括水枪、保温水箱、调节水泵、水位控制器和供水控制器。更具体地，所述供水控制器可通信地连接于所述视觉引导系统，并基于所述视觉引导系统所采集的信息进行出水压力自适应调整。[0051] 应可以理解，在清车过程中，对出水压力进行调整和控制是非常重要的。这是因为火车车厢内运输的物料是多样的，这导致车厢内可能存在不同类型和程度的污垢。针对这些不同污垢存在不同的清洁需求，而不同的清洁需求则需要不同的出水压力来配合进行污垢的清扫。例如，去除顽固的污垢可能需要较高的水压以确保清洁效果。然而，过高的水压可能会损坏火车厢表面。此外，过高的水压也可能意味着大量水资源会被浪费。目前，智能清车系统通常采用固定的出水压力来进行清车工作，这可能会导致污垢无法有效去除、损坏车厢表面和浪费水资源等问题。[0052] 针对上述技术问题，本申请的技术构思是：利用计算机视觉技术和人工智能技术，对由视觉引导系统采集的残余物料分布状态图像进行关于残余物料的状态分析，以根据车厢内实际的残余物料分布状态特征信息来自适应地调整出水压力值，从而满足不同的清洁需求。[0053] 基于此，图1为根据本申请实施例的火车厢翻车机卸料智能机器人自动清车系统中的所述供水控制器的框图示意图。如图1所示，根据本申请实施例的火车厢翻车机卸料智能机器人自动清车系统，所述供水控制器100，包括：图像采集模块110，用于获取由视觉引导系统采集的残余物料分布状态图像；状态特征提取模块120，用于对所述残余物料分布状态图像进行物料状态特征提取以得到多个残余物料状态语义特征向量；嵌入融合编码模块130，用于对所述多个残余物料状态语义特征向量进行位置信息嵌入融合以得到多个位置嵌入残余物料状态语义特征向量；以及，水压推荐模块140，用于基于所述多个位置嵌入残余物料状态语义特征向量的残余物料全局状态信息来确定推荐水压值。[0054] 具体地，在本申请的技术方案中，所述供水控制器的具体编码过程，包括：首先，获取由视觉引导系统采集的残余物料分布状态图像。其中，所述视觉引导系统，包括视觉传感器，其中，视觉传感器是一种能够感知和捕获视觉信息的传感器设备，例如摄像头，通常用于获取周围环境的图像数据。这样，通过视觉传感器来采集所述残余物料分布状态图像，可以提供车厢内的残余物料分布情况，为后续清洁作业提供准确的数据支持。图像采集模块还可以用于获取由视觉引导系统采集的车厢内障碍物分布状态图像，该自动清车系统可以根据车厢内障碍物分布状态图像，确定机器人的工作路径和范围。[0055] 考虑到在对车厢内的残余物料分布情况进行分析并基于实时的分布状况进行出水水压值的调整控制时，应该更着重关注于所述残余物料分布状态图像中的残余物料区域，而对周围的无用背景信息减少过多的关注度。因此，在本申请的技术方案中将所述残余物料分布状态图像通过基于R‑CNN网络的残余物料感兴趣区域提取器以得到多个残余物料感兴趣区域图像。其中，R‑CNN（Region‑basedConvolutionalNeuralNetwork）是一种经典的目标检测算法，其通过在图像中选择并滑动候选区域，从而实现对图像中可能包含目标物体的区域进行定位和框选。[0056] 接着，将所述多个残余物料感兴趣区域图像通过基于卷积神经网络模型的残余物料状态特征提取器以得到多个残余物料状态语义特征向量。其中，卷积神经网络（ConvolutionalNeuralNetwork，CNN）是一种深度学习模型，专门用于处理具有网格状拓扑结构的数据，如图像和视频。CNN通过卷积层、池化层和激活层等组件，能够有效地学习图像中的特征，并在图像分类、目标检测等任务中取得很好的表现。在本申请的技术方案中，由卷积神经网络模型来搭建所述残余物料状态特征提取器，以通过多层卷积和池化操作自动学习各个所述残余物料感兴趣区域图像中的抽象特征，包括边缘、纹理、形状等信息。[0057] 相应地，如图2所示，所述状态特征提取模块120，包括：感兴趣区域提取单元121，用于提取所述残余物料分布状态图像的残余物料感兴趣区域以得到多个残余物料感兴趣区域图像；以及，图像特征提取单元122，用于利用深度学习网络模型对所述多个残余物料感兴趣区域图像进行图像特征提取以得到所述多个残余物料状态语义特征向量。[0058] 其中，在一个示例中，所述感兴趣区域提取单元121，用于：将所述残余物料分布状态图像通过基于R‑CNN网络的残余物料感兴趣区域提取器以得到所述多个残余物料感兴趣区域图像。[0059] 其中，在一个示例中，所述图像特征提取单元122，用于：将所述多个残余物料感兴趣区域图像通过基于卷积神经网络模型的残余物料状态特征提取器以得到所述多个残余物料状态语义特征向量。[0060] 与此同时，提取所述多个残余物料感兴趣区域图像在所述残余物料分布状态图像中的位置信息，并分别对所述位置信息进行编码以得到多个感兴趣区域位置信息编码特征向量。其中，提取各个局部残余物料感兴趣区域图像的位置信息可以对残余物料分布状态图像中的残余物料进行定位，以了解各个局部残余物料感兴趣区域图像之间的空间布局关系，从而能够更加全面地对残余物料的分布状况进行描述和刻画。在本申请的技术方案中，将位置信息进行编码得到各个感兴趣区域位置信息编码特征向量可以将位置信息和各个局部的残余物料感兴趣区域图像的图像语义表示具有相同的表示方式和形式，便于后续的特征融合和分析。[0061] 随后，使用位置信息嵌入融合模块对所述多个残余物料状态语义特征向量和所述多个感兴趣区域位置信息编码特征向量进行处理以得到多个位置嵌入残余物料状态语义特征向量。这样，通过位置信息的进一步嵌入，可以使得各个所述位置嵌入残余物料状态语义特征向量能够将残余物料状态的语义特征与位置信息结合起来，从而增强对残余物料分布状况的空间感知能力，使得模型能全面地理解残余物料的状态信息和空间分布结构。[0062] 相应地，如图3所示，所述嵌入融合编码模块130，包括：编码单元131，用于提取所述多个残余物料感兴趣区域图像在所述残余物料分布状态图像中的位置信息，并分别对所述位置信息进行编码以得到多个感兴趣区域位置信息编码特征向量；以及，融合单元132，用于使用位置信息嵌入融合模块对所述多个残余物料状态语义特征向量和所述多个感兴趣区域位置信息编码特征向量进行处理以得到所述多个位置嵌入残余物料状态语义特征向量。[0063] 其中，在一个示例中，所述融合单元132，用于：将各个所述感兴趣区域位置信息编码特征向量拼接在对应的所述残余物料状态语义特征向量的末尾以得到所述多个位置嵌入残余物料状态语义特征向量。[0064] 值得一提的是，位置信息嵌入融合模块是一种计算机视觉模块，用于将图像中感兴趣区域的位置信息嵌入到图像的语义特征中。位置信息嵌入融合模块通过将位置信息与语义特征相结合，可以提高模型对图像中对象的位置和形状的理解。这对于以下任务特别有用：位置信息嵌入融合模块通常包含两个组件：编码单元：提取感兴趣区域在图像中的位置信息，并将其编码为特征向量；融合单元：将位置信息特征向量与图像的语义特征向量融合，以创建新的位置嵌入语义特征向量。融合单元可以采用不同的方法，例如：将位置信息特征向量拼接在语义特征向量的末尾；使用注意力机制将位置信息特征向量加权到语义特征向量中。通过将位置信息嵌入到语义特征中，模型可以更好地理解图像中对象的形状和位置，从而提高目标检测和分割任务的精度。[0065] 进一步地，将所述多个位置嵌入残余物料状态语义特征向量通过基于概率的注意力整合模型以得到残余物料全局分布状态特征向量。也就是，通过所述注意力整合模型来获取所述多个位置嵌入残余物料状态语义特征向量中的全时空自相关性，捕捉数据中的长期依赖关系和空间动态分布特征。其中，注意力整合模型的本质是一种权重概率分布机制，即对重要的内容分配更大的权重，对其他内容减少权重。这样的机制更专注于找到输入数据中与当前数据显著相关的有用信息，发觉各个位置嵌入残余物料状态语义特征向量之间的自相关性。这里，注意力整合模型能够学习所述多个位置嵌入残余物料状态语义特征向量中各个位置嵌入残余物料状态语义特征向量与整体的残余物料状态信息之间的依赖关系和重要程度，并基于这种依赖关系和重要程度有选择地强调其中更具代表性的区域信息，从而形成对残余物料的全局分布状态的表达和刻画。继而，将所述残余物料全局分布状态特征向量通过基于解码器的水压推荐器以得到解码值，所述解码值用于表示推荐水压值。[0066] 相应地，如图4所示，所述水压推荐模块140，包括：注意力整合单元141，用于将所述多个位置嵌入残余物料状态语义特征向量通过基于概率的注意力整合模型以得到残余物料全局分布状态特征向量；以及，水压推荐单元142，用于将所述残余物料全局分布状态特征向量通过基于解码器的水压推荐器以得到解码值，所述解码值用于表示所述推荐水压值。[0067] 其中，在一个示例中，所述注意力整合单元141，用于：以如下注意力整合公式对所述多个位置嵌入残余物料状态语义特征向量进行处理以得到所述残余物料全局分布状态特征向量；其中，所述注意力整合公式为：[0068] ；[0069] 其中， 为第 个注意力打分系数， 为第 个注意力打分系数， 为所述多个位置嵌入残余物料状态语义特征向量中第 个位置嵌入残余物料状态语义特征向量， 为第 个位置嵌入残余物料状态语义特征向量， 为第 个权重系数矩阵，为第 个权重系数向量， 为第 个偏置向量， 表示双曲正切函数处理，表示以e为底的指数函数处理， 为第个注意力权重系数， 为第 个注意力权重系数， 为所述多个位置嵌入残余物料状态语义特征向量的长度， 表示级联函数， 为所述残余物料全局分布状态特征向量。[0070] 在上述技术方案中，所述多个位置嵌入残余物料状态语义特征向量中的各个位置嵌入残余物料状态语义特征向量表示包含残余物料感兴趣区域图像在所述残余物料分布状态图像的位置编码信息和所述残余物料分布状态图像的图像语义特征的融合特征表示。由此，将所述多个位置嵌入残余物料状态语义特征向量通过基于概率的注意力整合模型后，得到的所述残余物料全局分布状态特征向量在基于各个残余物料感兴趣区域图像的包含位置编码信息的图像特征分布进行加权融合的同时，也会使得所述残余物料全局分布状态特征向量偏离所述多个位置嵌入残余物料状态语义特征向量的局部图像空间域内局部‑全局关联特征，这使得所述残余物料全局分布状态特征向量的全局特征分布存在特征分布聚合性不足的问题，从而影响其通过基于解码器的水压推荐器的解码收敛效率，即影响解码训练的效率和解码结果的准确性。[0071] 在一个优选实施例中，将所述残余物料全局分布状态特征向量通过基于解码器的水压推荐器以得到解码值，具体包括：将所述残余物料全局分布状态特征向量与所述残余物料全局分布状态特征向量的长度点乘后，再与所述残余物料全局分布状态特征向量的一范数进行点减以获得残余物料全局分布状态全语义表示向量；将所述残余物料全局分布状态特征向量与所述残余物料全局分布状态特征向量的长度的平方根点乘后，再与所述残余物料全局分布状态特征向量的二范数进行点减以获得残余物料全局分布状态半语义表示向量；分别计算所述残余物料全局分布状态全语义表示向量和所述残余物料全局分布状态半语义表示向量的每个特征值的绝对值的平方根以获得残余物料全局分布状态全语义调制向量和残余物料全局分布状态半语义调制向量；分别计算所述残余物料全局分布状态全语义调制向量和所述残余物料全局分布状态半语义调制向量的每个特征值的以2为底的对数值以得到残余物料全局分布状态交互全语义信息向量和残余物料全局分布状态交互半语义信息向量；以作为超参数的加权系数计算所述残余物料全局分布状态全语义信息向量和所述残余物料全局分布状态半语义信息向量的加权和以得到优化的残余物料全局分布状态特征向量；将所述优化的残余物料全局分布状态特征向量通过所述基于解码器的水压推荐器以得到所述解码值。[0072] 基于此，本申请针对所述残余物料全局分布状态特征向量作为特征集合，其中以所述残余物料全局分布状态特征向量的特征值为单位的变化语义表示，为了动态聚合所述残余物料全局分布状态特征向量的不同变化语义构成的语义集合整体而不忽略单独的语义变化信息，将所述残余物料全局分布状态特征向量的单独特征与所述残余物料全局分布状态特征向量的向量尺度的集合表达作为全幅和半幅特征表示，并将所述残余物料全局分布状态特征向量的特征集合的整体语义的不同维度的低秩范数通过负相关计算来作为相位并进行幅值‑相位信息表示调制，以动态调节所述残余物料全局分布状态特征向量的语义信息变化关系，从而提升所述残余物料全局分布状态特征向量的特征集合整体的语义信息表达聚合性，改进所述残余物料全局分布状态特征向量通过基于解码器的水压推荐器进行解码时的解码收敛效率。[0073] 在本申请的一个实施例中，所述视觉引导系统还可以自动识别车厢尺寸，自动分配机器人工作区域，并根据残余物料的残留量控制出水或出气时长以及机器人的运行速度等，以达到节能效果，并能自动设别车厢内障碍，并合理避让。[0074] 综上，基于本申请实施例的火车厢翻车机卸料智能机器人自动清车系统被阐明，其可以根据车厢内实际的残余物料分布状态特征信息来自适应地调整出水压力值，从而满足不同的清洁需求。[0075] 如上所述，根据本申请实施例的基于本申请实施例的火车厢翻车机卸料智能机器人自动清车系统可以实现在各种终端设备中，例如具有基于本申请实施例的火车厢翻车机卸料智能机器人自动清车算法的服务器等。在一个示例中，基于本申请实施例的火车厢翻车机卸料智能机器人自动清车系统可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该基于本申请实施例的火车厢翻车机卸料智能机器人自动清车系统可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该基于本申请实施例的火车厢翻车机卸料智能机器人自动清车系统同样可以是该终端设备的众多硬件模块之一。[0076] 替换地，在另一示例中，该基于本申请实施例的火车厢翻车机卸料智能机器人自动清车系统与该终端设备也可以是分立的设备，并且该火车厢翻车机卸料智能机器人自动清车系统可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。[0077] 图5为根据本申请实施例的火车厢翻车机卸料智能机器人自动清车方法的流程图。如图5所示，根据本申请实施例的火车厢翻车机卸料智能机器人自动清车方法，其包括：S110，获取由视觉引导系统采集的残余物料、车厢内障碍物分布状态图像；S120，对所述残余物料分布状态图像进行物料状态特征提取以得到多个残余物料状态语义特征向量；S130，对所述多个残余物料状态语义特征向量进行位置信息嵌入融合以得到多个位置嵌入残余物料状态语义特征向量；以及，S140，基于所述多个位置嵌入残余物料状态语义特征向量的残余物料全局状态信息来确定推荐水压值、机器人的工作路径和范围。[0078] 这里，本领域技术人员可以理解，上述火车厢翻车机卸料智能机器人自动清车方法中的各个步骤的具体操作已经在上面参考图1到图4的火车厢翻车机卸料智能机器人自动清车系统的描述中得到了详细介绍，并因此，将省略其重复描述。[0079] 图6为根据本申请实施例的火车厢翻车机卸料智能机器人自动清车系统的应用场景图。如图6所示，在该应用场景中，首先，获取由视觉引导系统采集的残余物料分布状态图像（例如，图6中所示意的D），然后，将所述残余物料分布状态图像输入至部署有火车厢翻车机卸料智能机器人自动清车算法的服务器（例如，图6中所示意的S）中，其中，所述服务器能够使用所述火车厢翻车机卸料智能机器人自动清车算法对所述残余物料分布状态图像进行处理以得到用于表示所述推荐水压值的解码值。[0080] 进一步地，在本申请的另一个示例中，还公开了一种基于AI控制的火车厢翻车卸料余煤自动清理系统，其包括六轴机器人、自动供水系统、AI控制系统，所述的六轴机器人设置在翻车机前横梁上作为清理系统主动力，所述机器人的末端安装供水系统的水枪和AI视觉扫描仪，所述水枪与供水系统连接、单枪单控与机器人协同控制，所述AI视觉扫描仪通过机器人动作自动扫描车厢余煤及车厢内障碍物情况。其中，在机器人末端安装供水系统的水枪和AI视觉扫描仪。[0081] 进一步地，所述六轴机器人作为清理过程中的执行机构，设置在翻车机前横梁上，单套系统设置3台机器人；自动供水系统包括保温水箱、调速水泵、水位控制器、水枪、自动供水控制系统等组成；水枪为单枪单控形式，与机器人协同控制。[0082] 进一步地，AI控制系统作为整个系统的中枢，包括AI视觉扫描仪和软件算法，AI视觉扫描仪采用3D视觉引导系统，搭配自主研发的结构光技术和混合光场控制技术，快速面阵扫描火车厢车厢，获取车厢内剩余物料及车厢内障碍物色彩完整的三维点云图，通过视觉点云解析算法，运用自学习方法，准确识别物料和障碍物，依此自动规划机器人清理路线，真正实现余煤自动清理作业。[0083] 通过该基于AI技术的火车厢翻车卸料余煤自动清理系统，可以自动识别车厢内障碍物并指导机器人进行合理的学习避让，自动识别火车车厢的规格型号，合理分配各机器人的清扫作业范围，自动扫描车厢内余煤的位置及数量，合理的规划清理路径，真正实现替代人工对火车厢翻车卸料后的煤炭卸车及车厢清扫，从而减小作业人员的劳动强度，提高煤炭的卸载速度。[0084] 根据本申请的另一方面，还提供了一种非易失性的计算机可读存储介质，其上存储有计算机可读的指令，当利用计算机执行所述指令时可以执行如前所述的方法。[0085] 技术中的程序部分可以被认为是以可执行的代码和/或相关数据的形式而存在的“产品”或“制品”，通过计算机可读的介质所参与或实现的。有形的、永久的储存介质可以包括任何计算机、处理器、或类似设备或相关的模块所用到的内存或存储器。例如，各种半导体存储器、磁带驱动器、磁盘驱动器或者类似任何能够为软件提供存储功能的设备。[0086] 本申请使用了特定词语来描述本申请的实施例。如“第一/第二实施例”、“一实施例”、和/或“一些实施例”意指与本申请至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一替代性实施例”并不一定是指同一实施例。此外，本申请的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。[0087] 此外，本领域技术人员可以理解，本申请的各方面可以通过若干具有可专利性的种类或情况进行说明和描述，包括任何新的和有用的工序、机器、产品或物质的组合，或对他们的任何新的和有用的改进。相应地，本申请的各个方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“系统”。此外，本申请的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品，该产品包括计算机可读程序编码。[0088] 除非另有定义，这里使用的所有术语(包括技术和科学术语)具有与本申请所属领域的普通技术人员共同理解的相同含义。还应当理解，诸如在通常字典里定义的那些术语应当被解释为具有与它们在相关技术的上下文中的含义相一致的含义，而不应用理想化或极度形式化的意义来解释，除非这里明确地这样定义。[0089] 上面是对本申请的说明，而不应被认为是对其的限制。尽管描述了本申请的若干示例性实施例，但本领域技术人员将容易地理解，在不背离本申请的新颖教学和优点的前提下可以对示例性实施例进行许多修改。因此，所有这些修改都意图包含在权利要求书所限定的本申请范围内。应当理解，上面是对本申请的说明，而不应被认为是限于所公开的特定实施例，并且对所公开的实施例以及其他实施例的修改意图包含在所附权利要求书的范围内。本申请由权利要求书及其等效物限定。

专利地区：山东

专利申请日期：2024-07-02

专利公开日期：2024-11-05

专利公告号：CN118458413B