火车厢冻煤自动卸车清理系统及其方法实用新型专利

专利名称：火车厢冻煤自动卸车清理系统及其方法

专利类型：实用新型专利

专利申请号：CN202410750028.0

专利申请（专利权）人：山东海大机器人科技有限公司
权利人地址：山东省日照市高新区高新六路177号C10

专利发明（设计）人：田洪芳,杨纪富,陈伟,娄云,刘登基,王雁

专利摘要：一种火车厢冻煤自动卸车清理系统及其方法，其包括：沿着铁路车辆行驶方向设置的钢轨；可移动地安装于所述钢轨的移动龙门平台；在所述移动龙门平台安装升降机构，其中，所述升降机构包括冻煤破碎系统升降机构和清扫回收系统升降机构；在所述冻煤破碎系统升降机构中安装冻煤破碎系统，其中，所述冻煤破碎系统包括破碎机、视觉引导系统，移动龙门平台上设置控制系统，使用所述视觉引导系统识别车辆内冻煤的状态信息，使用所述控制系统控制所述破碎机。利用视觉引导系统采集的冻煤图像，以学习和捕捉所述冻煤图像的关于煤炭状态的多尺度特征表示，从而基于这种多尺度的冻煤状态特征表示智能化地解码还原出初始振动频率的推荐值。

主权利要求：
1.一种火车厢冻煤自动卸车清理系统，其特征在于，包括：
沿着铁路车辆行驶方向设置的钢轨；
可移动地安装于所述钢轨的移动龙门平台；
安装于所述移动龙门平台的升降机构，其中，所述升降机构包括冻煤破碎系统升降机构和清扫回收系统升降机构；以及安装于所述冻煤破碎系统升降机构的冻煤破碎系统，其中，所述冻煤破碎系统包括破碎机、视觉引导系统，移动龙门平台上设置控制系统，所述视觉引导系统用于识别车辆内冻煤的状态信息，所述控制系统用于控制所述破碎机；
所述移动龙门平台采用组装框架结构，所述移动龙门平台的底部的两侧分别设置行走机构，所述移动龙门平台的底部铺设所述钢轨，其中，所述行走机构采用同步控制方式；
所述破碎机采用液压马达驱动激振，其中，所述破碎机实时调整所述液压马达的转速进行振动频率的调整，达到冻煤的共振频率以完成所述冻煤的破碎；
所述控制系统，还包括初始振动频率控制器；
其中，所述初始振动频率控制器，包括：
冻煤图像获取模块，用于获取由所述视觉引导系统采集的冻煤图像；
多尺度特征提取模块，用于对所述冻煤图像进行多尺度特征提取以得到煤炭状态多尺度特征图；
局部特征显著模块，用于将所述煤炭状态多尺度特征图通过基于卷积核注意力机制的局部特征显著器以得到显著化煤炭状态多尺度特征图；以及初始振动频率的推荐值确定模块，用于基于所述显著化煤炭状态多尺度特征图来确定初始振动频率的推荐值。
2.根据权利要求1所述的火车厢冻煤自动卸车清理系统，其特征在于，所述多尺度特征提取模块，包括：浅层和深层特征提取单元，用于分别对所述冻煤图像进行浅层特征提取和深层特征提取以得到冻煤状态浅层特征图和冻煤状态深层特征图；以及特征融合注意力引导单元，用于将所述冻煤状态浅层特征图和所述冻煤状态深层特征图通过特征融合注意力引导网络以得到所述煤炭状态多尺度特征图。
3.根据权利要求2所述的火车厢冻煤自动卸车清理系统，其特征在于，所述浅层和深层特征提取单元，用于：将所述冻煤图像通过基于第一卷积神经网络模型的冻煤浅层特征提取器以得到所述冻煤状态浅层特征图；以及将所述冻煤状态浅层特征图通过基于第二卷积神经网络模型的冻煤深层特征提取器以得到所述冻煤状态深层特征图。
4.根据权利要求3所述的火车厢冻煤自动卸车清理系统，其特征在于，所述特征融合注意力引导单元，用于：对所述冻煤状态深层特征图进行沿通道维度的全局平均池化以得到注意力特征向量；
将所述注意力特征向量通过全连接层以得到注意力编码特征向量；
以所述注意力编码特征向量中各个特征值作为权重对所述冻煤状态浅层特征图进行加权相乘以得到注意力调整特征图；以及将所述注意力调整特征图和所述冻煤状态深层特征图进行按位置相加处理以得到所述煤炭状态多尺度特征图。
5.根据权利要求4所述的火车厢冻煤自动卸车清理系统，其特征在于，所述局部特征显著模块，包括：非线性卷积操作单元，用于将所述煤炭状态多尺度特征图通过多尺度卷积核组进行非线性卷积操作以得到第一非线性卷积特征图、第二非线性卷积特征图、第三非线性卷积特征图和第四非线性卷积特征图；
全局表示处理单元，用于以如下全局表示公式对所述第一非线性卷积特征图、所述第二非线性卷积特征图、所述第三非线性卷积特征图和所述第四非线性卷积特征图进行处理以得到全局表征特征向量；其中，所述全局表示公式为：其中，U1、U2、U3和U4分别为所述第一非线性卷积特征图、所述第二非线性卷积特征图、所述第三非线性卷积特征图和所述第四非线性卷积特征图，U为多尺度非线性卷积融合特征图， 表示级联处理，Sc表示所述全局表征特征向量中第c个特征值，Fgp(Uc)表示对所述多尺度非线性卷积融合特征图中第c个特征矩阵进行全局均值池化处理，H和W分别为所述多尺度非线性卷积融合特征图中第c个特征矩阵的高度和宽度，Uc(i，j)为所述多尺度非线性卷积融合特征图中第c个特征矩阵中(i，j)位置处的特征值；
激活处理单元，用于对所述全局表征特征向量进行激活处理以得到浓缩全局表征特征向量；
注意力权重施加单元，用于以如下注意力权重施加公式对所述第一非线性卷积特征图、所述第二非线性卷积特征图、所述第三非线性卷积特征图、所述第四非线性卷积特征图和所述浓缩全局表征特征向量进行处理以得到所述显著化煤炭状态多尺度特征图；其中，所述注意力权重施加公式为：ac+bc+cc+dc＝1
其中，ac、bc、cc、dc分别表示所述第一非线性卷积特征图U1、所述第二非线性卷积特征图U2、所述第三非线性卷积特征图U3和所述第四非线性卷积特征图U4的权重概率向量，Acz表示所述浓缩全局表征特征向量中与所述第一非线性卷积特征图对应的c通道的向量元素，Bcz、Ccz和Dcz则分别表示所述浓缩全局表征特征向量中与所述第二非线性卷积特征图、所述第三非线性卷积特征图和所述第四非线性卷积特征图对应的c通道的向量元素，Fc为所述显著化煤炭状态多尺度特征图， 表示级联处理。
6.根据权利要求5所述的火车厢冻煤自动卸车清理系统，其特征在于，所述初始振动频率的推荐值确定模块，用于：将所述显著化煤炭状态多尺度特征图通过基于解码器的初始振动频率推荐器以得到解码值，所述解码值用于表示初始振动频率的推荐值。
7.一种用于如权利要求1至6任一项所述的火车厢冻煤自动卸车清理系统的火车厢冻煤自动卸车清理方法，其特征在于，包括：沿着铁路车辆行驶方向设置钢轨；
在所述钢轨可移动地安装移动龙门平台；
在所述移动龙门平台安装升降机构，其中，所述升降机构包括冻煤破碎系统升降机构和清扫回收系统升降机构；
在所述冻煤破碎系统升降机构安装冻煤破碎系统，其中，所述冻煤破碎系统包括破碎机、视觉引导系统，移动龙门平台上设置控制系统，使用所述视觉引导系统识别车辆内冻煤的状态信息，使用所述控制系统控制所述破碎机；
其中，所述控制系统还包括初始振动频率控制器，使用所述初始振动频率控制器获取由所述视觉引导系统采集的冻煤图像；对所述冻煤图像进行多尺度特征提取以得到煤炭状态多尺度特征图；将所述煤炭状态多尺度特征图通过基于卷积核注意力机制的局部特征显著器以得到显著化煤炭状态多尺度特征图；以及，基于所述显著化煤炭状态多尺度特征图来确定初始振动频率的推荐值。 说明书 : 火车厢冻煤自动卸车清理系统及其方法技术领域[0001] 本申请涉及智能化卸车清理技术领域，并且更具体地，涉及一种火车厢冻煤自动卸车清理系统及其方法。背景技术[0002] 铁路火车煤炭运输由于其本身的运输效率高、长距离大批量运输成本低、节能环保等优势。为了防止煤尘在长途运输途中以及装车时向四周扩散，通常需要向煤炭上喷水进行抑尘。但是在冬季，由于天气寒冷，火车运输的过程中煤料发生冻结是一个常见且难以解决的问题。特别是火车底部及贴近车厢位置的煤料在接卸过程中结冰，从而使车厢内部的煤炭无法顺利卸载和清理。[0003] 为保证车厢内部的煤炭能够顺利卸出以及完成车厢残余物料的清理，需要靠人工进行破冰。例如，操作人员通过使用钢钎等工具对冻结的煤炭进行破冰。但是，这种人工破冰的方式，作业人员劳动强度大，工作环境恶劣，严重影响了煤炭的卸载和清理速度。[0004] 因此，期待一种优化的火车厢冻煤自动卸车清理系统及其方法。发明内容[0005] 为了解决上述技术问题，提出了本申请。本申请提供了一种火车厢冻煤自动卸车清理系统及其方法，其包括：沿着铁轨行进方向设置钢轨；在所述钢轨可移动地安装移动龙门平台；在所述移动龙门平台安装升降机构，其中，所述升降机构包括平台升降机构和清扫回收系统升降机构；在所述清扫回收系统升降机构安装清扫回收系统，其中，所述清扫回收系统包括破碎机、视觉引导系统和控制系统，使用所述视觉引导系统识别车辆内冻煤的状态信息，使用所述控制系统控制所述破碎机。这样，利用视觉引导系统采集的冻煤图像，结合智能化算法对其进行多尺度的特征挖掘和融合，以学习和捕捉所述冻煤图像的关于煤炭状态的多尺度特征表示，从而基于这种多尺度的冻煤状态特征表示智能化地解码还原出初始振动频率的推荐值。[0006] 第一方面，提供了一种火车厢冻煤自动卸车清理系统，其包括：[0007] 沿着铁路车辆行驶方向设置的钢轨；[0008] 可移动地安装于所述钢轨的移动龙门平台；[0009] 安装于所述移动龙门平台的升降机构，其中，所述升降机构包括冻煤破碎系统升降机构和清扫回收系统升降机构；以及[0010] 安装于所述冻煤破碎系统升降机构的冻煤破碎系统，其中，所述冻煤破碎系统包括破碎机、视觉引导系统，移动龙门平台上设置控制系统，所述视觉引导系统用于识别车辆内冻煤的状态信息，所述控制系统用于控制所述破碎机。[0011] 在上述火车厢冻煤自动卸车清理系统中，所述移动龙门平台采用组装框架结构，所述移动龙门平台的底部的两侧分别设置行走机构，所述移动龙门平台的底部铺设所述钢轨，其中，所述行走机构采用同步控制方式。[0012] 在上述火车厢冻煤自动卸车清理系统中，所述破碎机采用液压马达驱动激振，其中，所述破碎机实时调整所述液压马达的转速进行振动频率的调整，达到冻煤的共振频率以完成所述冻煤的破碎。[0013] 在上述火车厢冻煤自动卸车清理系统中，所述控制系统，还包括初始振动频率控制器；其中，所述初始振动频率控制器，包括：冻煤图像获取模块，用于获取由所述视觉引导系统采集的冻煤图像；多尺度特征提取模块，用于对所述冻煤图像进行多尺度特征提取以得到煤炭状态多尺度特征图；局部特征显著模块，用于将所述煤炭状态多尺度特征图通过基于卷积核注意力机制的局部特征显著器以得到显著化煤炭状态多尺度特征图；以及，初始振动频率的推荐值确定模块，用于基于所述显著化煤炭状态多尺度特征图来确定初始振动频率的推荐值。[0014] 在上述火车厢冻煤自动卸车清理系统中，所述多尺度特征提取模块，包括：浅层和深层特征提取单元，用于分别对所述冻煤图像进行浅层特征提取和深层特征提取以得到冻煤状态浅层特征图和冻煤状态深层特征图；以及，特征融合注意力引导单元，用于将所述冻煤状态浅层特征图和所述冻煤状态深层特征图通过特征融合注意力引导网络以得到所述煤炭状态多尺度特征图。[0015] 在上述火车厢冻煤自动卸车清理系统中，所述浅层和深层特征提取单元，用于：将所述冻煤图像通过基于第一卷积神经网络模型的冻煤浅层特征提取器以得到所述冻煤状态浅层特征图；以及，将所述冻煤状态浅层特征图通过基于第二卷积神经网络模型的冻煤深层特征提取器以得到所述冻煤状态深层特征图。[0016] 在上述火车厢冻煤自动卸车清理系统中，所述特征融合注意力引导单元，用于：对所述冻煤状态深层特征图进行沿通道维度的全局平均池化以得到注意力特征向量；将所述注意力特征向量通过全连接层以得到注意力编码特征向量；以所述注意力编码特征向量中各个特征值作为权重对所述冻煤状态浅层特征图进行加权相乘以得到注意力调整特征图；以及，将所述注意力调整特征图和所述冻煤状态深层特征图进行按位置相加处理以得到所述煤炭状态多尺度特征图。[0017] 在上述火车厢冻煤自动卸车清理系统中，所述局部特征显著模块，包括：非线性卷积操作单元，用于将所述煤炭状态多尺度特征图通过多尺度卷积核组进行非线性卷积操作以得到第一非线性卷积特征图、第二非线性卷积特征图、第三非线性卷积特征图和第四非线性卷积特征图；全局表示处理单元，用于以如下全局表示公式对所述第一非线性卷积特征图、所述第二非线性卷积特征图、所述第三非线性卷积特征图和所述第四非线性卷积特征图进行处理以得到全局表征特征向量；其中，所述全局表示公式为：[0018] ；[0019] ；[0020] 其中， 、、和 分别为所述第一非线性卷积特征图、所述第二非线性卷积特征图、所述第三非线性卷积特征图和所述第四非线性卷积特征图， 为多尺度非线性卷积融合特征图， 表示级联处理， 表示所述全局表征特征向量中第 个特征值， 表示对所述多尺度非线性卷积融合特征图中第 个特征矩阵进行全局均值池化处理， 和分别为所述多尺度非线性卷积融合特征图中第 个特征矩阵的高度和宽度， 为所述多尺度非线性卷积融合特征图中第 个特征矩阵中 位置处的特征值；激活处理单元，用于对所述全局表征特征向量进行激活处理以得到浓缩全局表征特征向量；注意力权重施加单元，用于以如下注意力权重施加公式对所述第一非线性卷积特征图、所述第二非线性卷积特征图、所述第三非线性卷积特征图、所述第四非线性卷积特征图和所述浓缩全局表征特征向量进行处理以得到所述显著化煤炭状态多尺度特征图；其中，所述注意力权重施加公式为：[0021] ；[0022] ；[0023] ；[0024] ；[0025] ；[0026] ；[0027] 其中，、 、 、 分别表示所述第一非线性卷积特征图 、所述第二非线性卷积特征图 、所述第三非线性卷积特征图 和所述第四非线性卷积特征图 的权重概率向量，表示所述浓缩全局表征特征向量中与所述第一非线性卷积特征图对应的 通道的向量元素， 、 和 则分别表示所述浓缩全局表征特征向量中与所述第二非线性卷积特征图、所述第三非线性卷积特征图和所述第四非线性卷积特征图对应的 通道的向量元素， 为所述显著化煤炭状态多尺度特征图， 表示级联处理。[0028] 在上述火车厢冻煤自动卸车清理系统中，所述初始振动频率的推荐值确定模块，用于：将所述显著化煤炭状态多尺度特征图通过基于解码器的初始振动频率推荐器以得到解码值，所述解码值用于表示初始振动频率的推荐值。[0029] 第二方面，提供了一种火车厢冻煤自动卸车清理方法，其包括：[0030] 沿着铁路车辆行驶方向设置钢轨；[0031] 在所述钢轨可移动地安装移动龙门平台；[0032] 在所述移动龙门平台安装升降机构，其中，所述升降机构包括冻煤破碎系统升降机构和清扫回收系统升降机构；[0033] 在所述冻煤破碎系统升降机构安装冻煤破碎系统，其中，所述冻煤破碎系统包括破碎机、视觉引导系统，移动龙门平台上设置控制系统，使用所述视觉引导系统识别车辆内冻煤的状态信息，使用所述控制系统控制所述破碎机；[0034] 其中，所述控制系统还包括初始振动频率控制器，使用所述初始振动频率控制器获取由所述视觉引导系统采集的冻煤图像；对所述冻煤图像进行多尺度特征提取以得到煤炭状态多尺度特征图；将所述煤炭状态多尺度特征图通过基于卷积核注意力机制的局部特征显著器以得到显著化煤炭状态多尺度特征图；以及，基于所述显著化煤炭状态多尺度特征图来确定初始振动频率的推荐值。[0035] 与现有技术相比，本申请提供的火车厢冻煤自动卸车清理系统及其方法，其包括：沿着铁路车辆行驶方向设置钢轨；在所述钢轨可移动地安装移动龙门平台；在所述移动龙门平台安装升降机构，其中，所述升降机构包括冻煤破碎系统升降机构和清扫回收系统升降机构；在所述冻煤破碎系统升降机构安装冻煤破碎系统，其中，所述冻煤破碎系统包括破碎机、视觉引导系统，移动龙门平台上设置控制系统，使用所述视觉引导系统识别车辆内冻煤的状态信息，使用所述控制系统控制所述破碎机。这样，利用视觉引导系统采集的冻煤图像，结合智能化算法对其进行多尺度的特征挖掘和融合，以学习和捕捉所述冻煤图像的关于煤炭状态的多尺度特征表示，从而基于这种多尺度的冻煤状态特征表示智能化地解码还原出初始振动频率的推荐值。附图说明[0036] 为了更清楚地说明本申请实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。[0037] 图1为根据本申请实施例的火车厢冻煤自动卸车清理系统的结构示意图。[0038] 图2为根据本申请实施例的火车厢冻煤自动卸车清理系统中所述初始振动频率控制器的框图。[0039] 图3为根据本申请实施例的火车厢冻煤自动卸车清理方法的流程图。[0040] 图4为根据本申请实施例的火车厢冻煤自动卸车清理系统的应用场景图。具体实施方式[0041] 下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。[0042] 除非另有说明，本申请实施例所使用的所有技术和科学术语与本申请的技术领域的技术人员通常理解的含义相同。本申请中所使用的术语只是为了描述具体的实施例的目的，不是旨在限制本申请的范围。[0043] 在本申请实施例记载中，需要说明的是，除非另有说明和限定，术语“连接”应做广义理解，例如，可以是电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。[0044] 需要说明的是，本申请实施例所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序。应该理解“第一\第二\第三”区分的对象在适当情况下可以互换，以使这里描述的本申请的实施例可以除了在这里图示或描述的那些以外的顺序实施。[0045] 在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。[0046] 铁路火车煤炭运输由于其本身的运输效率高、长距离大批量运输成本低，节能环保方面具有突出的优势，是目前我国以及世界上大多数国家煤炭运输的主要方式，在冬季，由于天气寒冷，长途运输加之煤炭在装车以及运输时为防止煤尘扩散需要向煤炭上喷水抑尘。在火车运输的过程中煤料发生冻结时一个常见且难以解决的问题，由于一些地区因地理环境的影响，导致在火车运输煤料的过程中，虽然火车上部冻煤现象不太严重，但车底及贴近车厢位置的煤在接卸过程中结冰严重，从而使车厢内部的煤炭无法顺利自卸。[0047] 为保证车厢内部的煤炭顺利卸出，需要靠人工进行破冰，使用钢钎等工具对冻结的煤炭进行破冰，作业人员劳动强度大，工作环境恶略，严重影响了煤炭的卸载速度。因此，如何提供一种火车冻煤破除装置及方法是本领域技术人员急需解决的技术问题。[0048] 本申请的目的是提供一种火车厢冻煤自动卸车装置，代替人工对火车厢内冻结的煤炭进行破冻、卸车以及车厢清扫，从而减小作业人员的劳动强度，提高煤炭的卸载速度。[0049] 在本申请的一个实施例中，图1为根据本申请实施例的火车厢冻煤自动卸车清理系统的结构示意图。如图1所示，根据本申请实施例的火车厢冻煤自动卸车清理系统100，包括：沿着铁路车辆行驶方向设置的钢轨1；可移动地安装于所述钢轨1的移动龙门平台2；安装于所述移动龙门平台2的升降机构3，其中，所述升降机构3包括冻煤破碎系统升降机构31和清扫回收系统升降机构32；以及，安装于所述冻煤破碎系统升降机构31的冻煤破碎系统4，其中，所述冻煤破碎系统4包括破碎机41、视觉引导系统42，移动龙门平台上设置控制系统43，所述视觉引导系统42用于识别车辆内冻煤的状态信息，所述控制系统43用于控制所述破碎机41。[0050] 在本申请的一个具体实施例中，所述移动龙门平台采用组装框架结构，所述移动龙门平台的底部的两侧分别设置行走机构，所述移动龙门平台的底部铺设所述钢轨，其中，所述行走机构采用同步控制方式。[0051] 在本申请的一个具体实施例中，所述破碎机采用液压马达驱动激振，其中，所述破碎机实时调整所述液压马达的转速进行振动频率的调整，达到冻煤的共振频率以完成所述冻煤的破碎。[0052] 这样，可自动识别车厢内冻煤的位置、高度、堆积形状等信息，自动引导破碎机对冻煤进行振动破碎，系统控制破碎机的进给和移动，并对位移量进行实时修正，确保破碎的完整及不损伤车厢，清扫回收系统完成对冻煤破碎后，车厢内物料的回收和车辆的清扫。[0053] 应可以理解，本申请的有益效果包括：[0054] 1 .本申请设有移动龙门平台、升降装置、冻煤破碎装置、煤炭回收、清理装置等组成，升降装置分别带动冻煤破碎装置和煤炭回收、清理装置，实现对冻煤的破碎、回收及火车厢清扫。从而通过使用本申请可代替人工进行破冻，从而减小作业人员的劳动强度，提高煤炭的卸载速度。[0055] 2 .破碎装置可自动识别车厢内冻煤的位置、高度、堆积形状等信息，自动引导破碎机对冻煤进行振动破碎，系统控制破碎机的进给和移动，并对位移量进行实时修正，确保破碎的完整及不损伤车厢。[0056] 但是，考虑到在所述破碎机的实际应用过程中，若不对初始的振动频率进行预设，通过调整所述液压马达的转速来控制振动频率以达到冻煤的共振频率是一个漫长的试错过程。这会大大降低卸车和清理的效率。因此在实际的应用过程中，通常会对初始的振动频率进行预设，而设置振动频率的初始预设值则依赖于操作人员的经验和主观性。由于操作人员主观性存在不一致，且操作人员的经验水平也高低不一，会导致对初始的振动频率的预设结果产生不一致性，增加振动频率的调试时间。[0057] 针对上述技术问题，本申请还提供另外一种实施例。在此实施例中，本申请的技术构思为：在所述控制系统中引入人工智能技术和图像处理技术以完成初始振动频率控制器的部署。具体地，在所述初始振动频率控制器中，利用视觉引导系统采集的冻煤图像，结合智能化算法对其进行多尺度的特征挖掘和融合，以学习和捕捉所述冻煤图像的关于煤炭状态的多尺度特征表示，从而基于这种多尺度的冻煤状态特征表示智能化地解码还原出初始振动频率的推荐值。[0058] 图2为根据本申请实施例的火车厢冻煤自动卸车清理系统中所述初始振动频率控制器的框图。如图2所示，所述控制系统43，还包括初始振动频率控制器431；其中，所述初始振动频率控制器431，包括：冻煤图像获取模块4311，用于获取由所述视觉引导系统采集的冻煤图像；多尺度特征提取模块4312，用于对所述冻煤图像进行多尺度特征提取以得到煤炭状态多尺度特征图；局部特征显著模块4313，用于将所述煤炭状态多尺度特征图通过基于卷积核注意力机制的局部特征显著器以得到显著化煤炭状态多尺度特征图；以及，初始振动频率的推荐值确定模块4314，用于基于所述显著化煤炭状态多尺度特征图来确定初始振动频率的推荐值。[0059] 基于此，在本申请的技术方案中，所述初始振动频率控制器的具体编码过程，包括：首先，获取由所述视觉引导系统采集的冻煤图像。其中，通过所述视觉引导系统采集所述冻煤图像能够监测和反映火车厢内部煤炭的状态，包括结冰情况和堆积情况等。应可以理解，不同煤炭的性质和结构可能存在差异，例如密度、湿度、颗粒大小等，这些因素会影响煤炭的振动共振频率。同时，冻煤状态可能受到结冰的影响，结冰程度不同会改变煤炭的刚度和振动特性，从而影响煤炭的振动频率。此外，煤炭在火车厢内的堆积情况不同，可能导致振动传递的效果不同。例如，堆积松散的煤炭与紧密堆积的煤炭在振动响应上会有所不同，因此煤炭的堆积情况也会影响振动共振频率。因此，利用冻煤图像中所蕴含的冻煤状态信息，可以用于判断煤炭的状态并进一步确定初始的振动频率，以使得初始的振动频率较为接近共振频率，降低振动频率的调试时间。[0060] 在本申请的一个具体实施例中，所述多尺度特征提取模块，包括：浅层和深层特征提取单元，用于分别对所述冻煤图像进行浅层特征提取和深层特征提取以得到冻煤状态浅层特征图和冻煤状态深层特征图；以及，特征融合注意力引导单元，用于将所述冻煤状态浅层特征图和所述冻煤状态深层特征图通过特征融合注意力引导网络以得到所述煤炭状态多尺度特征图。[0061] 然后，将所述冻煤图像通过基于第一卷积神经网络模型的冻煤浅层特征提取器以得到冻煤状态浅层特征图；并将所述冻煤状态浅层特征图通过基于第二卷积神经网络模型的冻煤深层特征提取器以得到冻煤状态深层特征图。其中，卷积神经网络（ConvolutionalNeuralNetwork，CNN）是一种深度学习神经网络，专门用于处理具有类似网格结构的数据，如图像。CNN通常包含卷积层、池化层和激活层等组件，通过学习图像中的特征来实现图像分类、目标检测等任务。这里，利用卷积神经网络模型来分别提取所述冻煤图像的浅层特征信息和深层特征信息可以分别利用浅层特征和深层特征来充分表达所述冻煤图像的多尺度状态特征。具体来说，所述冻煤图像的浅层特征，如边缘、纹理等信息可以表示冻煤的堆积形态和煤炭分布区域；所述冻煤图像的深层特征则可以表示所述冻煤图像中更加抽象的图像语义信息，例如冻煤的物理状态信息。[0062] 在本申请的一个具体实施例中，所述浅层和深层特征提取单元，用于：将所述冻煤图像通过基于第一卷积神经网络模型的冻煤浅层特征提取器以得到所述冻煤状态浅层特征图；以及，将所述冻煤状态浅层特征图通过基于第二卷积神经网络模型的冻煤深层特征提取器以得到所述冻煤状态深层特征图。[0063] 接着，将所述冻煤状态浅层特征图和所述冻煤状态深层特征图通过特征融合注意力引导网络以得到煤炭状态多尺度特征图。也就是，通过所述特征融合注意力引导网络来融合具有不同侧重点和不同深度的特征信息，并引入注意力机制以增强对重要特征的关注。具体来说，所述特征融合注意力引导网络的具体实现过程是将作为高层次特征的所述冻煤状态深层特征图在通道维度上进行全局平均池化，此时高维特征图会被压缩变成向量表示，这个向量表示具有所述冻煤状态深层特征图的全局感受野。再将此向量表示作为注意力信息与所述冻煤状态浅层特征图进行融合，以指导所述冻煤状态浅层特征图中的浅层信息还原语义类别信息，从而得到所述煤炭状态多尺度特征图。这样以后，所述煤炭状态多尺度特征图会具有更为丰富的特征表示。[0064] 在本申请的一个具体实施例中，所述特征融合注意力引导单元，用于：对所述冻煤状态深层特征图进行沿通道维度的全局平均池化以得到注意力特征向量；将所述注意力特征向量通过全连接层以得到注意力编码特征向量；以所述注意力编码特征向量中各个特征值作为权重对所述冻煤状态浅层特征图进行加权相乘以得到注意力调整特征图；以及，将所述注意力调整特征图和所述冻煤状态深层特征图进行按位置相加处理以得到所述煤炭状态多尺度特征图。[0065] 随后，将所述煤炭状态多尺度特征图通过基于卷积核注意力机制的局部特征显著器以得到显著化煤炭状态多尺度特征图。其中，所述基于卷积核注意力机制的局部特征显著器将所述煤炭状态多尺度特征图通过多尺度卷积核组进行非线性卷积操作以提取所述煤炭状态多尺度特征图中不同局部空间邻域内的关联特征，提高特征的表达能力和区分度。之后，同时考虑通道和卷积核两个方面的重要程度，通过权重信息来指导网络给具有不同尺寸的卷积核分配不同的关注度。通过这样的方式来提取有用特征的卷积核所捕获的特征分布，忽略无用背景特征或噪声的卷积核的目标信息。进一步地，将所述显著化煤炭状态多尺度特征图通过基于解码器的初始振动频率推荐器以得到解码值，所述解码值用于表示初始振动频率的推荐值。[0066] 在本申请的一个具体实施例中，所述局部特征显著模块，包括：非线性卷积操作单元，用于将所述煤炭状态多尺度特征图通过多尺度卷积核组进行非线性卷积操作以得到第一非线性卷积特征图、第二非线性卷积特征图、第三非线性卷积特征图和第四非线性卷积特征图；全局表示处理单元，用于以如下全局表示公式对所述第一非线性卷积特征图、所述第二非线性卷积特征图、所述第三非线性卷积特征图和所述第四非线性卷积特征图进行处理以得到全局表征特征向量；其中，所述全局表示公式为：[0067] ；[0068] ；[0069] 其中，、、和 分别为所述第一非线性卷积特征图、所述第二非线性卷积特征图、所述第三非线性卷积特征图和所述第四非线性卷积特征图，为多尺度非线性卷积融合特征图， 表示级联处理， 表示所述全局表征特征向量中第 个特征值， 表示对所述多尺度非线性卷积融合特征图中第 个特征矩阵进行全局均值池化处理， 和 分别为所述多尺度非线性卷积融合特征图中第 个特征矩阵的高度和宽度， 为所述多尺度非线性卷积融合特征图中第 个特征矩阵中 位置处的特征值；激活处理单元，用于对所述全局表征特征向量进行激活处理以得到浓缩全局表征特征向量；注意力权重施加单元，用于以如下注意力权重施加公式对所述第一非线性卷积特征图、所述第二非线性卷积特征图、所述第三非线性卷积特征图、所述第四非线性卷积特征图和所述浓缩全局表征特征向量进行处理以得到所述显著化煤炭状态多尺度特征图；其中，所述注意力权重施加公式为：[0070] ；[0071] ；[0072] ；[0073] ；[0074] ；[0075] ；[0076] 其中，、 、 、 分别表示所述第一非线性卷积特征图 、所述第二非线性卷积特征图 、所述第三非线性卷积特征图 和所述第四非线性卷积特征图 的权重概率向量，表示所述浓缩全局表征特征向量中与所述第一非线性卷积特征图对应的 通道的向量元素， 、 和 则分别表示所述浓缩全局表征特征向量中与所述第二非线性卷积特征图、所述第三非线性卷积特征图和所述第四非线性卷积特征图对应的 通道的向量元素，为所述显著化煤炭状态多尺度特征图， 表示级联处理。[0077] 进一步地，所述初始振动频率的推荐值确定模块，用于：将所述显著化煤炭状态多尺度特征图通过基于解码器的初始振动频率推荐器以得到解码值，所述解码值用于表示初始振动频率的推荐值。[0078] 在本申请的技术方案中，所述冻煤状态浅层特征图和所述冻煤状态深层特征图的特征矩阵分别表达所述冻煤图像的基于不同卷积编码深度的图像语义特征，而其各个特征矩阵之间遵循所述基于第一卷积神经网络模型的冻煤浅层特征提取器和所述基于第二卷积神经网络模型的冻深层特征提取器的通道分布，由此，将所述冻煤状态浅层特征图和所述冻煤状态深层特征图通过特征融合注意力引导网络进行融合后，考虑到所述冻煤状态浅层特征图和所述冻煤状态深层特征图各自对应的图像语义空间特征分布不一致性，所述煤炭状态多尺度特征图也会存在通道维度下的各个特征矩阵之间的特征矩阵整体空间特征分布差异性，这种特征矩阵整体空间特征分布差异性在所述基于卷积核注意力机制的局部特征显著器的作用下还会被进一步放大，从而引起局部溢出特征，影响所述所述显著化煤炭状态多尺度特征图通过基于解码器的初始振动频率推荐器得到的解码结果的准确性。[0079] 相应地，在本申请一个优选实施例中，将所述显著化煤炭状态多尺度特征图通过基于解码器的初始振动频率推荐器以得到解码值包括以下步骤：将所述显著化煤炭状态多尺度特征图展开为显著化煤炭状态多尺度特征向量；计算所述显著化煤炭状态多尺度特征向量的自均值表示矩阵和自方差表示矩阵，其中，所述自均值表示矩阵的每个位置的值是所述显著化煤炭状态多尺度特征向量的分别与位置坐标对应的两个位置的一对特征值的均值，且所述自方差表示矩阵的每个位置的值是所述显著化煤炭状态多尺度特征向量的分别与位置坐标对应的两个位置的一对特征值的方差；将所述显著化煤炭状态多尺度特征向量的转置向量与所述自均值表示矩阵进行矩阵相乘以获得第一显著化煤炭状态多尺度特征中间向量并将自方差表示矩阵与所述显著化煤炭状态多尺度特征向量进行矩阵相乘以获得第二显著化煤炭状态多尺度特征中间向量，其中所述显著化煤炭状态多尺度特征向量为列向量；计算所述第一显著化煤炭状态多尺度特征中间向量与所述第二显著化煤炭状态多尺度特征中间向量的转置向量的点加之和以获得第三显著化煤炭状态多尺度特征中间向量；计算所述自均值表示矩阵和所述自方差表示矩阵的矩阵乘积，并将所述显著化煤炭状态多尺度特征向量的转置向量与所述矩阵乘积进行矩阵相乘以获得第四显著化煤炭状态多尺度特征中间向量；计算所述第三显著化煤炭状态多尺度特征中间向量与所述第四显著化煤炭状态多尺度特征中间向量的转置向量的点加之和以得到校正的显著化煤炭状态多尺度特征向量；以及，将所述校正的显著化煤炭状态多尺度特征向量通过所述基于解码器的初始振动频率推荐器以得到所述解码值。[0080] 基于此，通过将用于所述显著化煤炭状态多尺度特征图展开得到的显著化煤炭状态多尺度特征向量的特征值粒度局部分布的组聚合统计评估的所述多模态负载语义推理和表示矩阵和所述多模态负载语义推理差表示矩阵来作为所述显著化煤炭状态多尺度特征向量的检索式和响应式分布增强，并构建所述显著化煤炭状态多尺度特征向量的基于组聚合的和‑差特征分布开放域下的无参考分布检索式响应框架，来通过响应叠加避免所述显著化煤炭状态多尺度特征向量的局部溢出特征导致的分布响应冗余，以实现所述显著化煤炭状态多尺度特征向量到目标解码回归域的响应自聚合统计相关的忠实性约束，提升所述显著化煤炭状态多尺度特征向量通过基于解码器的初始振动频率推荐器得到的解码值的准确性。[0081] 综上，基于本申请实施例的火车厢冻煤自动卸车清理系统100被阐明，其在所述控制系统中引入人工智能技术和图像处理技术以完成初始振动频率控制器的部署。具体地，在所述初始振动频率控制器中，利用视觉引导系统采集的冻煤图像，结合智能化算法对其进行多尺度的特征挖掘和融合，以学习和捕捉所述冻煤图像的关于煤炭状态的多尺度特征表示，从而基于这种多尺度的冻煤状态特征表示智能化地解码还原出初始振动频率的推荐值。[0082] 如上所述，根据本申请实施例的火车厢冻煤自动卸车清理系统100可以实现在各种终端设备中，例如用于火车厢冻煤自动卸车清理的服务器等。在一个示例中，根据本申请实施例的火车厢冻煤自动卸车清理系统100可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该火车厢冻煤自动卸车清理系统100可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该火车厢冻煤自动卸车清理系统100同样可以是该终端设备的众多硬件模块之一。[0083] 替换地，在另一示例中，该火车厢冻煤自动卸车清理系统100与该终端设备也可以是分立的设备，并且该火车厢冻煤自动卸车清理系统100可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。[0084] 在本申请的一个实施例中，图3为根据本申请实施例的火车厢冻煤自动卸车清理方法的流程图。如图3所示，所述火车厢冻煤自动卸车清理方法，包括：210，沿着铁路车辆行驶方向设置钢轨；220，在所述钢轨可移动地安装移动龙门平台；230，在所述移动龙门平台安装升降机构，其中，所述升降机构包括冻煤破碎系统升降机构和清扫回收系统升降机构；240，在所述冻煤破碎系统升降机构安装冻煤破碎系统，其中，所述冻煤破碎系统包括破碎机、视觉引导系统，移动龙门平台上设置控制系统，使用所述视觉引导系统识别车辆内冻煤的状态信息，使用所述控制系统控制所述破碎机；其中，所述控制系统还包括初始振动频率控制器，250，使用所述初始振动频率控制器获取由所述视觉引导系统采集的冻煤图像；260，对所述冻煤图像进行多尺度特征提取以得到煤炭状态多尺度特征图；270，将所述煤炭状态多尺度特征图通过基于卷积核注意力机制的局部特征显著器以得到显著化煤炭状态多尺度特征图；以及，280，基于所述显著化煤炭状态多尺度特征图来确定初始振动频率的推荐值。[0085] 本领域技术人员可以理解，上述火车厢冻煤自动卸车清理方法中的各个步骤的具体操作已经在上面参考图1到图2的火车厢冻煤自动卸车清理系统的描述中得到了详细介绍，并因此，将省略其重复描述。[0086] 图4为根据本申请实施例的火车厢冻煤自动卸车清理系统的应用场景图。如图4所示，在该应用场景中，首先，获取由所述视觉引导系统采集的冻煤图像（例如，如图4中所示意的C）；然后，将获取的冻煤图像输入至部署有火车厢冻煤自动卸车清理算法的服务器（例如，如图4中所示意的S）中，其中所述服务器能够基于火车厢冻煤自动卸车清理算法对所述冻煤图像进行处理，以确定初始振动频率的推荐值。[0087] 以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。[0088] 提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。[0089] 最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。[0090] 为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

专利地区：山东

专利申请日期：2024-06-12

专利公开日期：2024-11-05

专利公告号：CN118529515B