一种基于UNet网络的传送带跑偏检测方法

专利名称：一种基于UNet网络的传送带跑偏检测方法

专利类型：发明专利

专利申请号：CN202210223340.5

专利申请（专利权）人：南京北路软件技术有限公司
权利人地址：江苏省南京市江宁区滨江经济开发区宝象路50号

专利发明（设计）人：赵黄健,张大伟,金宇航,丁丁,沈康

专利摘要：本发明公开了一种基于UNet网络的传送带跑偏检测方法，包括以下步骤：录制不同场景下的传送带运行视频，抽帧提取样本图像，样本数据经过清洗，预处理后，使用软件标注传动带区域，按比例随机划分训练集、验证集和测试集，构建UNet网络，输入训练集和验证集进行训练，多次迭代后，取损失值最小的一组作为最优模型检测实时视频，分割出传送带区域，后处理拟合传送带边界线，与设置的安全区域比较，判断是否发生跑偏现象，系统根据检测结果触发报警设备，并保存跑偏视频。本发明检测速度快，鲁棒性强，能在各种复杂环境中精确识别传送带区域，操作简单，减少了人力和时间成本。

主权利要求：
1.一种基于UNet网络的传送带跑偏检测方法，其特征在于，包括以下步骤：S1：摄像仪收集不同场景的传送带运行视频，抽帧获取样本集；
S2：对样本集进行数据清洗，计算样本图像和基准图像的结构相似度，剔除相似的图像；
S3：对样本集进行预处理和标注，按比例生成训练集、验证集和测试集；
S4：UNet网络加入若干残差网络模块，构建新的UNet网络，将训练集和验证集输入网络进行训练，经过若干次迭代，获得最优权重和检测模型；
S5：设置安全区域；使用模型检测现场视频并分割传送带区域，拟合区域边界线；根据边界线和安全区域位置比较，判断传送带是否跑偏，并将相应结果绘制在码流中，具体步骤如下：在前端配置界面绘制安全区域，启动模型检测，分割出传送带掩膜；通过canny算法提取掩膜轮廓，再使用多边形逼近算法将轮廓拟合成直线，以传送带长度方向直线为边界线；
记录边界线位置，与安全区域比较，如果左侧边界线在安全区域外，表示传送带左偏，如果右侧边界线在安全区域外，表示传送带右偏；边界线均在安全区内，表示正常运行；检测结果绘制在码流中，推送到前端并实时显示；
S6：当传送带跑偏时，检测系统开始计时；如果跑偏的持续时间超过设定值t1，则保存跑偏视频并触发报警模块。
2.根据权利要求1所述的基于UNet网络的传送带跑偏检测方法，其特征在于，S2的具体步骤如下：选取样本集中的一张图像作为基准图像，遍历样本集其他图像，计算每张图像传送带区域y与基准图像传送带区域x的结构相似度SSIM，公式如下：
2 2
其中μx，μy分别为x、y的平均灰度，δx，δy分布为x、y的对比度，c1＝(k1L) ,c2＝(k2L) 是用来维持稳定的常数，k1＝0.01，k2＝0.03,L是像素值的动态范围；
若SSIM大于设定值，则从样本集剔除y，否则保留y；遍历结束后，再以y作为基准，重新遍历，判断是否存在相似图像；依此类推。
3.根据权利要求1所述的基于UNet网络的传送带跑偏检测方法，其特征在于，S3的具体步骤如下：将样本图像的大小调整为512*512像素；
使用对比度受限直方图均衡算法增强图像对比度；
标注传送带区域，按照7:2:1的比例划分训练集、验证集和测试集。
4.根据权利要求1所述的基于UNet网络的传送带跑偏检测方法，其特征在于，S4的具体步骤如下：在UNet网络下采样第四层加入若干残差网络模块，构建新的UNet网络；
将训练集和验证集输入新的UNet网络进行训练，采用损失函数(TverskyLoss)作为网络评价指标，计算公式如下：其中A是预测结果，B是真实结果，α和β为超参数；
设置总训练epochs和初始学习率，每个epoch训练完都代入验证集计算验证集的loss值，一旦模型表现不再提升，将学习率降低2倍；
保存损失函数T(A,B)值最低的权值文件为训练获得的最优的权重参数及对应的最优模型。
5.根据权利要求1所述的基于UNet网络的传送带跑偏检测方法，其特征在于，S6还包括以下步骤：若跑偏的传送带在某一时刻回归正常运行状态，检测系统开始计时，直至持续时间大于设定值t2，则解除报警。 说明书 : 一种基于UNet网络的传送带跑偏检测方法技术领域[0001] 本发明属于传送带检测技术领域，尤其涉及一种基于UNet网络的传送带跑偏检测方法。背景技术[0002] 带式输送机是煤矿开采运输中重要的运输工具，传送带则是输送机中的核心部件，在整个煤炭生产环节中占据至关重要的地位。输送带在传动过程中，容易出现跑偏问题，如果不及时发现纠正，会造成煤炭外洒，影响开采效率，严重时甚至会引发火灾危及人身安全，因此加强跑偏检测和预警对煤炭生产安全具有重要意义。[0003] 近来随着工业相机的快速发展，跑偏检测由原来的人工巡检、光、波、磁感应器逐渐过渡到机器视觉技术。通过相机配合特定光源拍摄传送带图像，采用传统的阈值分割，边缘提取等算法来分析是否发生跑偏。这种方法需要根据不同场景调节参数，对使用人员的要求较高。发明内容[0004] 为了解决现有技术的不足，本发明提供了一种基于UNet网络的传送带跑偏检测方法，通过直接分割传送带区域，拟合边界线和安全区域比较，能够快速检测传送带是否跑偏，且准确率高。[0005] 为解决上述问题，本发明采用以下技术方案：[0006] 一种基于UNet网络的传送带跑偏检测方法，包括以下步骤：[0007] S1：摄像仪收集不同场景的传送带运行视频，抽帧获取样本集；[0008] S2：对样本集进行数据清洗，计算样本图像和基准图像的结构相似度，剔除相似的图像；[0009] S3：对样本集进行预处理和标注，按比例生成训练集、验证集和测试集；[0010] S4：UNet网络加入若干残差网络模块，构建新的UNet网络，将训练集和验证集输入网络进行训练，经过若干次迭代，获得最优权重和检测模型；[0011] S5：设置安全区域；使用模型检测现场视频并分割传送带区域，拟合区域边界线；根据边界线和安全区域位置比较，判断传送带是否跑偏，并将相应结果绘制在码流中；[0012] S6：当传送带跑偏时，检测系统开始计时；如果跑偏的持续时间超过设定值t1，则保存跑偏视频并触发报警模块。[0013] 进一步地，S2的具体步骤如下：选取样本集中的一张图像作为基准图像，遍历样本集其他图像，计算每张图像传送带区域y与基准图像传送带区域x的结构相似度SSIM，公式如下：[0014][0015] 其中μx，μy分别为x、y的平均灰度，δx，δy分布为x、y的对比度，c1＝(k1L)2,c2＝(k2L2) 是用来维持稳定的常数，k1＝0.01，k2＝0.03,L是像素值的动态范围。[0016] 若SSIM大于设定值，则从样本集剔除y，否则保留y；遍历结束后，再以y作为基准，重新遍历，判断是否存在相似图像；依此类推。[0017] 进一步地，S3的具体步骤如下：[0018] 将样本图像的大小调整为512*512像素；[0019] 使用对比度受限直方图均衡算法增强图像对比度；[0020] 标注传送带区域，按照7:2:1的比例划分训练集、验证集和测试集。[0021] 进一步地，S4的具体步骤如下：[0022] 在UNet网络下采样第四层加入若干残差网络模块，构建新的UNet网络；[0023] 将训练集和验证集输入新的UNet网络进行训练，采用损失函数(TverskyLoss)作为网络评价指标，计算公式如下：[0024][0025] 其中A是预测结果，B是真实结果，α和β为超参数；[0026] 设置总训练epochs和初始学习率，每个epoch训练完都代入验证集计算验证集的loss值，一旦模型表现不再提升，将学习率降低2倍；[0027] 保存损失函数T(A,B)值最低的权值文件为训练获得的最优的权重参数及对应的最优模型。[0028] 进一步地，S5的具体步骤如下：[0029] 在前端配置界面绘制安全区域，启动模型检测，分割出传送带掩膜；[0030] 通过canny算法提取掩膜轮廓，再使用多边形逼近算法将轮廓拟合成直线，以传送带长度方向直线为边界线；[0031] 记录边界线位置，与安全区域比较，如果左侧边界线在安全区域外，表示传送带左偏，如果右侧边界线在安全区域外，表示传送带右偏；边界线均在安全区内，表示正常运行；[0032] 检测结果绘制在码流中，推送到前端并实时显示。[0033] 进一步地，S6还包括以下步骤：若跑偏的传送带在某一时刻回归正常运行状态，检测系统开始计时，直至持续时间大于设定值t2，则解除报警。[0034] 本发明通过训练后的UNet网络模型，直接分割传送带区域，拟合边界线与划定的安全区域比较，判断是否跑偏。具体而言，UNet通过神经网络提取图像中传送带区域的高级特征，网络经过学习，可以在特征图上的每个像素输出一个分类结果，检测时，将所有分类为传送带的像素进行组合得到分割的传送带区域，无需在进行传统算法中的滤波，二值化，边缘分割等操作，且传统算法同一组参数在不同的场景下(光照、拍摄角度、拍摄距离不同)无法适用，容易出现误检，采用UNet可以避免重复调节滤波核、灰度阈值等参数的问题，节省了时间，更加鲁棒。相比现有技术，本发明检测速度快，准确度高，适应各种复杂场景，无需额外调整参数，操作简单，对安全生产具有显著的实用性。[0035] 应当理解，前述构思以及在下面更加详细地描述的额外构思的所有组合只要在这样的构思不相互矛盾的情况下都可以被视为本发明主题的一部分。附图说明[0036] 附图不意在按比例绘制，除非特别说明。在附图中，在各个图中示出的每个相同或近似相同的组成部分可以用相同的标号表示。为了清晰起见，在每个图中，并非每个组成部分均被标记。[0037] 图1为实施例1的流程图。[0038] 图2为实施例1传送带图像。[0039] 图3为实施例1传送带的标注图像。[0040] 图4为UNet网络分割出的传送带掩膜图像。[0041] 图5为UNet网络分割出的传送带后处理中的图像。[0042] 图6为UNet网络分割出的传送带后处理过的图像。[0043] 图7为前端传送带正常运行的效果展示图。[0044] 图8为前端传送带跑偏时的效果展示图。具体实施方式[0045] 为使本发明的目的、技术方案和优点更加清楚，下面将对本发明实施例的技术方案进行清楚、完整地描述。显然,所描述的实施例是本发明的一部分实施例,而不是全部的实施例。基于所描述的本发明的实施例,本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。除非另作定义,此处使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。[0046] 本发明说明书以及权利要求书中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性,而只是用来区分不同的组成部分。同样,除非上下文清楚地指明其它情况，否则单数形式的“一个”“一”或者“该”等类似词语也不表示数量限制,而是表示存在至少一个。“包括”或者“包含”等类似的词语意指出现在“包括”或者“包含”前面的元件或者物件涵盖出现在“包括”或者“包含”后面列举的特征、整体、步骤、操作、元素和/或组件,并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。“上”“下”“左”“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后,则该相对位置关系也可能相应地改变。[0047] 图1所示为本发明的基于UNet网络的传送带跑偏检测方法，包括以下步骤：[0048] S1，摄像仪录制不同场景的传送带运行视频，通过抽帧的方式提取样本集；[0049] S2，对样本集进行数据清洗，利用结构相似度算法，计算样本图像和基准图像的结构相似度，剔除相似图像；[0050] S3，对样本集进行预处理和标注，按一定比例随机划分训练集、验证集和测试集；[0051] S4,构建改进的UNet神经网络，将S3中训练集和验证集数据输入网络进行训练，经过d次epochs训练后，loss值最小的一组作为最优权重，选取其作为最终的检测模型；[0052] S5，检测和评估结果，输入现场视频，识别提取分割出传送带区域，拟合区域边界线；在前端界面设置安全区域；比较边界线与设定安全区域的位置关系，判断传送带是否跑偏，并将相应结果绘制在码流中返回前端，以便实时观测；[0053] S6,某一时刻出现跑偏后，检测系统不会立刻报警，而是开始计时，如果跑偏的持续时间大于设定值，则触发报警模块、通知相关人员，并备份这段时间的跑偏视频；当正常运行后，系统重新计时，持续时间大于设定值后，解除告警。[0054] 实施例1[0055] 所述S1中摄像仪安装在传送带上方，保证视角可以拍摄到完整的传送带区域和两侧的托辊，实时录制传送带运行视频，按N秒1帧的方式抽取图像作为样本图像。[0056] S2中对样本集进行数据清洗具体包括以下步骤：选取样本集中的一张图像作为基准图像，遍历样本集其他图像，计算每张图像传送带区域y与基准图像传送带区域x的结构相似度SSIM，公式如下：[0057][0058] 其中μx，μy分别为x、y的平均灰度，δx，δy分布为x、y的对比度，c1＝(k1L)2,c2＝(k2L2) 是用来维持稳定的常数，k1＝0.01，k2＝0.03,L是像素值的动态范围。[0059] 若SSIM大于设定值，则从样本集剔除y，否则保留y；遍历结束后，再以y作为基准，按照上述方法重新遍历，判断是否存在相似图像；依此类推。[0060] 如图2和3所示为S3样本集中传送带图像和标注图像，具体步骤为：[0061] 将所有样本图像的大小调整为512*512像素；[0062] 使用对比度受限直方图均衡算法增强图像对比度；[0063] 通过标注软件标注传送带区域，再按照7:2:1的比例随机划分训练集，验证集和测试集，样本集共有2851张图像，本实施例最终数量大致为2000,550,300。[0064] S4的具体步骤如下：[0065] 在UNet网络下采样第四层再加入若干残差网络模块，加强传送带区域特征提取能力；[0066] 将训练集和验证集输入改进后的UNet网络进行训练，采用TverskyLoss作为网络评价指标，计算公式如下：[0067][0068] 其中A是预测结果，B是真实结果，α和β为超参数；[0069] 总训练epochs为k，初始学习率设置为l，每个epoch训练完都代入验证集计算验证集的loss值，一旦模型表现不再提升，将学习率降低2倍；[0070] 保存损失函数T(A,B)值最低的权值文件为训练获得的最优的权重参数及对应的最优模型。[0071] 图4‑6为实施例提供的传送带分割图和边界线，具体步骤为：启动模型检测，分割出传送带掩膜，如图5所示；通过canny算法提取掩膜轮廓，再使用多边形逼近算法将轮廓拟合成直线，传送带长度方向直线即为边界线，如图6所示；[0072] 图7和8为实施例提供的不同传送带区域的检测结果，具体步骤为：前端配置界面通过鼠标绘制传送带安全区域，根据拟合出的边界线，与传送带安全区域比较，如果边界线均在安全区内，表示正常运行；如果左侧边界线在安全区域外，表示传送带左偏，如果右侧在安全区域外，表示传送带右偏。检测结果绘制在码流中，推送到前端实时显示，如果没有发生跑偏，则边界线为绿色直线，左下角显示“正常”字符；否则边界线为红色直线，左下角显示“左跑偏”或“右跑偏”字符。[0073] 本实施例的前端设置报警持续时间t1和解除报警时间t2，发生跑偏现象后，检测系统开始计时，如果持续跑偏时间大于t1，则触发报警设备提示工作人员，并保存这段时间的跑偏视频，用于回溯。若某一时刻传送带回归正常运行状态，检测系统计时，如果正常时间大于t2，则解除报警。[0074] 本发明检测速度快，UNet通过神经网络提取图像中传送带区域的高级特征，网络经过学习，可以在特征图上的每个像素输出一个分类结果，检测时，将所有分类为传送带的像素进行组合得到分割的传送带区域，无需在进行传统算法中的滤波，二值化，边缘分割等操作，且传统算法同一组参数在不同的场景下(光照、拍摄角度、拍摄距离不同)无法适用，容易出现误检，采用UNet可以避免重复调节滤波核、灰度阈值等参数的问题，节省了时间，更加鲁棒，能在各种复杂环境中精确识别传送带区域，操作简单，减少了人力和时间成本。[0075] 虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明。本发明所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围当视权利要求书所界定者为准。

专利地区：江苏

专利申请日期：2022-03-09

专利公开日期：2024-07-26

专利公告号：CN114655655B