一种自适应场景的煤矿钻杆计数方法、装置、设备及介质

专利名称：一种自适应场景的煤矿钻杆计数方法、装置、设备及介质

专利类型：实用新型专利

专利申请号：CN202410030225.5

专利申请（专利权）人：河南理工大学
权利人地址：河南省焦作市高新区世纪大道2001号

专利发明（设计）人：发明人:张富凯,赵珊,张海燕,王登科,闫江伟,司马海峰,田永超,陈旭,陈立伟

专利摘要：本申请公开了一种自适应场景的煤矿钻杆计数方法、装置、设备及介质，涉及人工智能深度学习技术领域，包括对历史井下打钻视频进行处理及标注，得到标注后打钻数据，基于旋转目标检测算法并利用标注后打钻数据构建用于自适应场景的旋转目标检测模型；获取当前打钻视频，利用旋转目标检测模型对当前打钻视频进行识别，得到识别结果；基于钻杆计数推理算法并按照钻杆选取原则对识别结果进行钻杆筛选，得到目标钻杆，确定目标钻杆关键点和冲击动力头中心点；实时计算目标钻杆关键点和冲击动力头中心点之间的距离，根据距离绘制峰值变化图，利用峰值变化图进行钻杆计数。本申请能够实现自适应场景的煤矿钻杆计数，提高钻杆计数的准确性和效率。

主权利要求：
1.一种自适应场景的煤矿钻杆计数方法，其特征在于，包括：
获取历史井下打钻视频，对所述历史井下打钻视频进行处理及标注，以得到标注后打钻数据，基于旋转目标检测算法并利用所述标注后打钻数据构建用于自适应场景的旋转目标检测模型；
获取当前打钻视频，利用所述旋转目标检测模型对所述当前打钻视频进行识别，以得到识别结果；
基于钻杆计数推理算法并按照预设的钻杆选取原则对所述识别结果进行钻杆筛选，以得到目标钻杆，确定目标钻杆关键点和冲击动力头中心点；
实时计算所述目标钻杆关键点和所述冲击动力头中心点之间的距离，根据所述距离绘制峰值变化图，利用所述峰值变化图进行钻杆计数；
其中，所述确定目标钻杆关键点和冲击动力头中心点，包括：确定当前所述目标钻杆的状态；所述状态包括进钻和退钻；基于所述状态确定相应的目标钻杆关键点和冲击动力头中心点；
所述实时计算所述目标钻杆关键点和所述冲击动力头中心点之间的距离，根据所述距离绘制峰值变化图，利用所述峰值变化图进行钻杆计数，包括：若所述状态为进钻，则按照预设的进钻距离计算方法计算所述目标钻杆关键点和所述冲击动力头中心点之间的进钻距离，并根据所述进钻距离绘制进钻峰值变化图，利用所述进钻峰值变化图进行钻杆计数；
所述按照预设的进钻距离计算方法计算所述目标钻杆关键点和所述冲击动力头中心点之间的进钻距离为：计算所述目标钻杆关键点和所述冲击动力头中心点之间的横坐标距离的差值为所述进钻距离；若所述状态为退钻，则按照预设的退钻距离计算方法计算所述目标钻杆关键点和所述冲击动力头中心点之间的退钻距离，并根据所述退钻距离绘制退钻峰值变化图，利用所述退钻峰值变化图进行钻杆计数；所述按照预设的退钻距离计算方法计算所述目标钻杆关键点和所述冲击动力头中心点之间的退钻距离为：计算所述目标钻杆关键点和所述冲击动力头中心点之间的横坐标距离的差值为所述退钻距离；
进钻时所述目标钻杆关键点的确定，包括：当所述目标钻杆在所述冲击动力头左边时，获取所述目标钻杆的四个角的坐标，选取最左边两个点的纵坐标值取中间点，即为所述目标钻杆关键点；当所述目标钻杆在所述冲击动力头右边时，获取所述目标钻杆的四个角的坐标，选取最右边两个点的纵坐标值取中间点，即为所述目标钻杆关键点；
退钻时所述目标钻杆关键点的确定，包括：当所述目标钻杆在所述冲击动力头左边时，获取所述目标钻杆的四个角的坐标，选取最右边两个点的纵坐标值取中间点，即为所述目标钻杆关键点；当所述目标钻杆在所述冲击动力头右边时，获取所述目标钻杆的四个角的坐标，选取最左边两个点的纵坐标值取中间点，即为所述目标钻杆关键点。
2.根据权利要求1所述的自适应场景的煤矿钻杆计数方法，其特征在于，所述对所述历史井下打钻视频进行处理及标注，以得到标注后打钻数据，包括：将所述历史井下打钻视频切分为各图片，并对各所述图片进行清洗处理，以得到清洗处理后的所述图片；
利用预设的旋转目标检测标注工具对清洗处理后的所述图片进行标注，以得到标注后打钻数据。
3.根据权利要求1所述的自适应场景的煤矿钻杆计数方法，其特征在于，所述基于旋转目标检测算法并利用所述标注后打钻数据构建用于自适应场景的旋转目标检测模型，包括：基于旋转目标检测算法并利用所述标注后打钻数据对预设的初始旋转目标检测模型分别进行训练、测试以及验证，以得到用于自适应场景的所述旋转目标检测模型；其中，所述旋转目标检测算法包括YOLOv5_OBB、YOLOv7_OBB、YOLOv8_OBB、GGHL、PP‑YOLOE‑R、R3Det以及MMRotate算法。
4.根据权利要求1至3任一项所述的自适应场景的煤矿钻杆计数方法，其特征在于，所述利用所述旋转目标检测模型对所述当前打钻视频进行识别，以得到识别结果，包括：利用所述旋转目标检测模型对所述当前打钻视频进行识别，以得到带旋转边界框的所述识别结果；所述识别结果包括钻机整体、冲击动力头、钻机头部、钻机钻杆以及对应的中心点坐标、短边长度、长边长度、旋转角度。
5.根据权利要求4所述的自适应场景的煤矿钻杆计数方法，其特征在于，所述基于钻杆计数推理算法并按照预设的钻杆选取原则对所述识别结果进行钻杆筛选，以得到目标钻杆，包括：构建所述钻杆选取原则；所述钻杆选取原则包括旋转边界框选取原则、遮挡排除选取原则以及关注钻杆选取原则；
基于钻杆计数推理算法并按照所述旋转边界框选取原则、所述遮挡排除选取原则以及所述关注钻杆选取原则对带旋转边界框的所述识别结果进行钻杆筛选，以得到目标钻杆。
6.一种自适应场景的煤矿钻杆计数装置，其特征在于，包括：
模型构建模块，用于获取历史井下打钻视频，对所述历史井下打钻视频进行处理及标注，以得到标注后打钻数据，基于旋转目标检测算法并利用所述标注后打钻数据构建用于自适应场景的旋转目标检测模型；
识别模块，用于获取当前打钻视频，利用所述旋转目标检测模型对所述当前打钻视频进行识别，以得到识别结果；
钻杆筛选模块，用于基于钻杆计数推理算法并按照预设的钻杆选取原则对所述识别结果进行钻杆筛选，以得到目标钻杆，确定目标钻杆关键点和冲击动力头中心点；
钻杆计数模块，用于实时计算所述目标钻杆关键点和所述冲击动力头中心点之间的距离，根据所述距离绘制峰值变化图，利用所述峰值变化图进行钻杆计数；
其中，所述确定目标钻杆关键点和冲击动力头中心点，包括：确定当前所述目标钻杆的状态；所述状态包括进钻和退钻；基于所述状态确定相应的目标钻杆关键点和冲击动力头中心点；
所述实时计算所述目标钻杆关键点和所述冲击动力头中心点之间的距离，根据所述距离绘制峰值变化图，利用所述峰值变化图进行钻杆计数，包括：若所述状态为进钻，则按照预设的进钻距离计算方法计算所述目标钻杆关键点和所述冲击动力头中心点之间的进钻距离，并根据所述进钻距离绘制进钻峰值变化图，利用所述进钻峰值变化图进行钻杆计数；
所述按照预设的进钻距离计算方法计算所述目标钻杆关键点和所述冲击动力头中心点之间的进钻距离为：计算所述目标钻杆关键点和所述冲击动力头中心点之间的横坐标距离的差值为所述进钻距离；若所述状态为退钻，则按照预设的退钻距离计算方法计算所述目标钻杆关键点和所述冲击动力头中心点之间的退钻距离，并根据所述退钻距离绘制退钻峰值变化图，利用所述退钻峰值变化图进行钻杆计数；所述按照预设的退钻距离计算方法计算所述目标钻杆关键点和所述冲击动力头中心点之间的退钻距离为：计算所述目标钻杆关键点和所述冲击动力头中心点之间的横坐标距离的差值为所述退钻距离；
进钻时所述目标钻杆关键点的确定，包括：当所述目标钻杆在所述冲击动力头左边时，获取所述目标钻杆的四个角的坐标，选取最左边两个点的纵坐标值取中间点，即为所述目标钻杆关键点；当所述目标钻杆在所述冲击动力头右边时，获取所述目标钻杆的四个角的坐标，选取最右边两个点的纵坐标值取中间点，即为所述目标钻杆关键点；
退钻时所述目标钻杆关键点的确定，包括：当所述目标钻杆在所述冲击动力头左边时，获取所述目标钻杆的四个角的坐标，选取最右边两个点的纵坐标值取中间点，即为所述目标钻杆关键点；当所述目标钻杆在所述冲击动力头右边时，获取所述目标钻杆的四个角的坐标，选取最左边两个点的纵坐标值取中间点，即为所述目标钻杆关键点。
7.一种电子设备，其特征在于，包括：
存储器，用于保存计算机程序；
处理器，用于执行所述计算机程序，以实现如权利要求1至5任一项所述的自适应场景的煤矿钻杆计数方法。
8.一种计算机可读存储介质，其特征在于，用于保存计算机程序；其中，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的自适应场景的煤矿钻杆计数方法。 说明书 : 一种自适应场景的煤矿钻杆计数方法、装置、设备及介质技术领域[0001] 本发明涉及人工智能深度学习技术领域，特别涉及一种自适应场景的煤矿钻杆计数方法、装置、设备及介质。背景技术[0002] 现有钻杆计数的技术大都是基于视觉(即目标检测)的钻杆计数方法，这类方法使用目标检测(如Yolov5)+DeepSort(物体追踪)算法，识别到的边界框为常规的长方形框，具体的计数方法为：①借助两个辅助“缓冲区”进行计数。②计数方法为，钻杆的中心点或某一个特殊点，在钻杆来回进出的过程中(及追踪中心点)，当中心点碰到左边的“缓冲区”时退钻计数+1，当中心点碰到右边的“缓冲区”时进钻计数+1，如此反复进行计数。但是，这种计数方法存在的问题有：①思路简单，只需要观察钻杆中心点与“缓冲区”的碰撞即可，没有数学公式及数学逻辑；②需要提前绘制两个“缓冲区”，绘制“缓冲区”的时候一方面需要修改代码，另一方面需要观察钻杆中心点运动的位置，根据运动位置的范围去修改代码，从而修改“缓冲区”的位置；当“缓冲区”的位置绘制不准确时，对于计数肯定是没有帮助的；③最大的问题就是，因为有“缓冲区”辅助，所以摄像机与钻机的位置必须固定，这样才能计数准确，但是，实际摄像机与钻杆的位置是可以随时变动的，当摄像机稍微被移动，那么“缓冲区”就需要重新绘制，从而影响计数的准确性。[0003] 由上可见，如何实现自适应场景的煤矿钻杆计数，增加场景应用的多样性以及实际应用中钻杆计数的适用性，提高钻杆计数的准确性和效率是本领域有待解决的问题。发明内容[0004] 有鉴于此，本发明的目的在于提供一种自适应场景的煤矿钻杆计数方法、装置、设备及介质，能够实现自适应场景的煤矿钻杆计数，增加场景应用的多样性以及实际应用中钻杆计数的适用性，提高钻杆计数的准确性和效率。其具体方案如下：[0005] 第一方面，本申请公开了一种自适应场景的煤矿钻杆计数方法，包括：[0006] 获取历史井下打钻视频，对所述历史井下打钻视频进行处理及标注，以得到标注后打钻数据，基于旋转目标检测算法并利用所述标注后打钻数据构建用于自适应场景的旋转目标检测模型；[0007] 获取当前打钻视频，利用所述旋转目标检测模型对所述当前打钻视频进行识别，以得到识别结果；[0008] 基于钻杆计数推理算法并按照预设的钻杆选取原则对所述识别结果进行钻杆筛选，以得到目标钻杆，确定目标钻杆关键点和冲击动力头中心点；[0009] 实时计算所述目标钻杆关键点和所述冲击动力头中心点之间的距离，根据所述距离绘制峰值变化图，利用所述峰值变化图进行钻杆计数。[0010] 可选的，所述对所述历史井下打钻视频进行处理及标注，以得到标注后打钻数据，包括：[0011] 将所述历史井下打钻视频切分为各图片，并对各所述图片进行清洗处理，以得到清洗处理后的所述图片；[0012] 利用预设的旋转目标检测标注工具对清洗处理后的所述图片进行标注，以得到标注后打钻数据。[0013] 可选的，所述基于旋转目标检测算法并利用所述标注后打钻数据构建用于自适应场景的旋转目标检测模型，包括：[0014] 基于旋转目标检测算法并利用所述标注后打钻数据对预设的初始旋转目标检测模型分别进行训练、测试以及验证，以得到用于自适应场景的所述旋转目标检测模型；其中，所述旋转目标检测算法包括YOLOv5_OBB、YOLOv7_OBB、YOLOv8_OBB、GGHL、PP‑YOLOE‑R、R3Det以及MMRotate算法。[0015] 可选的，所述利用所述旋转目标检测模型对所述当前打钻视频进行识别，以得到识别结果，包括：[0016] 利用所述旋转目标检测模型对所述当前打钻视频进行识别，以得到带旋转边界框的所述识别结果；所述识别结果包括钻机整体、冲击动力头、钻机头部、钻机钻杆以及对应的中心点坐标、短边长度、长边长度、旋转角度。[0017] 可选的，所述基于钻杆计数推理算法并按照预设的钻杆选取原则对所述识别结果进行钻杆筛选，以得到目标钻杆，包括：[0018] 构建所述钻杆选取原则；所述钻杆选取原则包括旋转边界框选取原则、遮挡排除选取原则以及关注钻杆选取原则；[0019] 基于钻杆计数推理算法并按照所述旋转边界框选取原则、所述遮挡排除选取原则以及所述关注钻杆选取原则对带旋转边界框的所述识别结果进行钻杆筛选，以得到目标钻杆。[0020] 可选的，所述确定目标钻杆关键点和冲击动力头中心点，包括：[0021] 确定当前所述目标钻杆的状态；所述状态包括进钻和退钻；[0022] 基于所述状态确定相应的目标钻杆关键点和冲击动力头中心点。[0023] 可选的，所述实时计算所述目标钻杆关键点和所述冲击动力头中心点之间的距离，根据所述距离绘制峰值变化图，利用所述峰值变化图进行钻杆计数，包括：[0024] 若所述状态为进钻，则按照预设的进钻距离计算方法计算所述目标钻杆关键点和所述冲击动力头中心点之间的进钻距离，并根据所述进钻距离绘制进钻峰值变化图，利用所述进钻峰值变化图进行钻杆计数；[0025] 若所述状态为退钻，则按照预设的退钻距离计算方法计算所述目标钻杆关键点和所述冲击动力头中心点之间的退钻距离，并根据所述退钻距离绘制退钻峰值变化图，利用所述退钻峰值变化图进行钻杆计数。[0026] 第二方面，本申请公开了一种自适应场景的煤矿钻杆计数装置，包括：[0027] 模型构建模块，用于获取历史井下打钻视频，对所述历史井下打钻视频进行处理及标注，以得到标注后打钻数据，基于旋转目标检测算法并利用所述标注后打钻数据构建用于自适应场景的旋转目标检测模型；[0028] 识别模块，用于获取当前打钻视频，利用所述旋转目标检测模型对所述当前打钻视频进行识别，以得到识别结果；[0029] 钻杆筛选模块，用于基于钻杆计数推理算法并按照预设的钻杆选取原则对所述识别结果进行钻杆筛选，以得到目标钻杆，确定目标钻杆关键点和冲击动力头中心点；[0030] 钻杆计数模块，用于实时计算所述目标钻杆关键点和所述冲击动力头中心点之间的距离，根据所述距离绘制峰值变化图，利用所述峰值变化图进行钻杆计数。[0031] 第三方面，本申请公开了一种电子设备，包括：[0032] 存储器，用于保存计算机程序；[0033] 处理器，用于执行所述计算机程序，以实现前述的自适应场景的煤矿钻杆计数方法。[0034] 第四方面，本申请公开了一种计算机存储介质，用于保存计算机程序；其中，所述计算机程序被处理器执行时实现前述公开的自适应场景的煤矿钻杆计数方法的步骤。[0035] 可见，本申请提供了一种自适应场景的煤矿钻杆计数方法，包括获取历史井下打钻视频，对所述历史井下打钻视频进行处理及标注，以得到标注后打钻数据，基于旋转目标检测算法并利用所述标注后打钻数据构建用于自适应场景的旋转目标检测模型；获取当前打钻视频，利用所述旋转目标检测模型对所述当前打钻视频进行识别，以得到识别结果；基于钻杆计数推理算法并按照预设的钻杆选取原则对所述识别结果进行钻杆筛选，以得到目标钻杆，确定目标钻杆关键点和冲击动力头中心点；实时计算所述目标钻杆关键点和所述冲击动力头中心点之间的距离，根据所述距离绘制峰值变化图，利用所述峰值变化图进行钻杆计数。本申请基于旋转目标检测算法并利用标注后打钻数据构建用于自适应场景的旋转目标检测模型，利用旋转目标检测模型对当前打钻视频进行识别，并基于钻杆计数推理算法筛选出目标钻杆，通过计算目标钻杆关键点和冲击动力头中心点之间的距离变化，从而准确获得峰值变化，进行钻杆计数，本申请的上述技术方案不需要绘制缓冲区，可以随便切换摄像机位置，还可以随机更换打钻场景，从而实现自适应场景的煤矿钻杆计数，增加场景应用的多样性以及实际应用中钻杆计数的适用性，将旋转目标检测算法与钻杆计数推理算法结合，提高钻杆计数的准确性和效率。附图说明[0036] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。[0037] 图1为本申请公开的一种自适应场景的煤矿钻杆计数方法流程图；[0038] 图2为本申请公开的一种进钻时钻杆筛选及钻杆整体示例图；[0039] 图3为本申请公开的一种退钻时钻杆筛选及钻杆整体示例图；[0040] 图4为本申请公开的一种识别结果示例图；[0041] 图5(a)‑(b)为本申请公开的一种进钻时目标钻杆关键点示例图；[0042] 图6为本申请公开的一种目标钻杆四个角坐标分布示例图；[0043] 图7(a)‑(b)为本申请公开的一种退钻时目标钻杆关键点示例图；[0044] 图8为本申请公开的一种峰值变化示例图；[0045] 图9为本申请公开的一种自适应场景的煤矿钻杆计数方法流程图；[0046] 图10为本申请公开的一种钻杆计数的具体流程图；[0047] 图11为本申请公开的一种自适应场景的煤矿钻杆计数装置结构示意图；[0048] 图12为本申请提供的一种电子设备结构图。具体实施方式[0049] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。[0050] 现有钻杆计数的技术大都是基于视觉(即目标检测)的钻杆计数方法，这类方法使用目标检测(如Yolov5)+DeepSort(物体追踪)算法，识别到的边界框为常规的长方形框，具体的计数方法为：①借助两个辅助“缓冲区”进行计数。②计数方法为，钻杆的中心点或某一个特殊点，在钻杆来回进出的过程中(及追踪中心点)，当中心点碰到左边的“缓冲区”时退钻计数+1，当中心点碰到右边的“缓冲区”时进钻计数+1，如此反复进行计数。但是，这种计数方法存在的问题有：①思路简单，只需要观察钻杆中心点与“缓冲区”的碰撞即可，没有数学公式及数学逻辑；②需要提前绘制两个蓝色的“缓冲区”，绘制“缓冲区”的时候一方面需要修改代码，另一方面需要观察钻杆中心点运动的位置，根据运动位置的范围去修改代码，从而修改“缓冲区”的位置；当“缓冲区”的位置绘制不准确时，对于计数肯定是没有帮助的；③最大的问题就是，因为有“缓冲区”辅助，所以摄像机与钻机的位置必须固定，这样才能计数准确，但是，实际摄像机与钻杆的位置是可以随时变动的，当摄像机稍微被移动，那么“缓冲区”就需要重新绘制，从而影响计数的准确性。由上可见，如何实现自适应场景的煤矿钻杆计数，增加场景应用的多样性以及实际应用中钻杆计数的适用性，提高钻杆计数的准确性和效率是本领域有待解决的问题。[0051] 参见图1所示，本发明实施例公开了一种自适应场景的煤矿钻杆计数方法，具体可以包括：[0052] 步骤S11：获取历史井下打钻视频，对所述历史井下打钻视频进行处理及标注，以得到标注后打钻数据，基于旋转目标检测算法并利用所述标注后打钻数据构建用于自适应场景的旋转目标检测模型。[0053] 步骤S12：获取当前打钻视频，利用所述旋转目标检测模型对所述当前打钻视频进行识别，以得到识别结果。[0054] 本实施例中，获取当前打钻视频，利用所述旋转目标检测模型对所述当前打钻视频进行识别，以得到带旋转边界框的所述识别结果；所述识别结果包括钻机整体、冲击动力头、钻机头部、钻机钻杆以及对应的中心点坐标、短边长度、长边长度、旋转角度。[0055] 具体的，使用旋转目标检测模型对现场的当前打钻视频进行检测及识别，实时地识别到包括钻机信息的带旋转边界框的识别结果，识别信息包括钻机整体、冲击动力头、钻机头部、钻机钻杆4种物体；同时获得4种物体的中心点坐标、短边长度、长边长度、旋转角度。[0056] 步骤S13：基于钻杆计数推理算法并按照预设的钻杆选取原则对所述识别结果进行钻杆筛选，以得到目标钻杆，确定目标钻杆关键点和冲击动力头中心点。[0057] 本实施例中，构建所述钻杆选取原则；所述钻杆选取原则包括旋转边界框选取原则、遮挡排除选取原则以及关注钻杆选取原则，基于钻杆计数推理算法并按照所述旋转边界框选取原则、所述遮挡排除选取原则以及所述关注钻杆选取原则对带旋转边界框的所述识别结果进行钻杆筛选，以得到目标钻杆，确定当前所述目标钻杆的状态；所述状态包括进钻和退钻，基于所述状态确定相应的目标钻杆关键点和冲击动力头中心点。[0058] 本实施例中，钻杆筛选如图2所示，获取钻机整体body(图2中边界框)的中心点坐标、以及上、下、左、右、四个边界框，对于左右边界，选取x坐标为参照，取左边为x_min，右边为x_max；对于上下边界，选取y坐标为参照，取下边为y_min，上边为y_max；然后获取冲击动力头的中心点坐标，并绘制圆点(如图2中右侧的大圆点)；然后确定目标钻杆。本申请按照预设的钻杆选取原则确定目标钻杆，旋转目标检测算法会识别到视频图像中的所有钻杆，但是本发明只关心对计数有帮助的钻杆，其他的钻杆会过滤掉，图2中左侧的大圆点即为目标钻杆关键点。[0059] 目标钻杆的钻杆选取原则为：①钻机整体body边框之外的钻杆全部排除掉，如图3框外的钻杆(经常地上会放置很多钻杆，图3画面中地上的钻杆不明显，但是地上有钻杆)需要排除；②冲击动力头和钻机头部(如图3所示，这里的钻机头部有遮挡没有完全露出来)之间的钻杆排除掉；③选取与冲击动力头外侧连接的钻杆为本发明关注的钻杆，如图2、图3中填充的钻杆。其中，钻机的整体、钻杆、冲击动力头以及钻机头部的具体位置如图4所示。[0060] 目标钻杆关键点的确定分为进钻和退钻两种情况。进钻情况如图2所示，退钻情况如图3所示，(1)进钻时目标钻杆关键点的确定：进钻时找到目标钻杆上距离“冲击动力头(如图4所示)”最远的点，作为目标钻杆关键点。图2会有2种情况，即①目标钻杆在冲击动力头的左边，如图5(a)所示；②标钻杆在冲击动力头的右边，如图5(b)所示。具体描述如下：①目标钻杆位置在冲击动力头左边，获取目标钻杆四个角的坐标，选取最左边两个点的纵坐标值取中间点，即(y1+y4)/2，即为目标钻杆关键点。目标钻杆关键点和冲击动力头中心点之间的横坐标距离的差值(即图5(a)中左侧圆点与右侧圆点横坐标x之差)计算为dist。②目标钻杆位置在冲击动力头右边，获取目标钻杆四个角的坐标，选取最右边两个点的纵坐标值取中间点，即(y2+y3)/2，即为目标钻杆关键点。目标钻杆关键点和冲击动力头中心点之间的横坐标距离的差值(即图5(b)中右侧圆点与左侧圆点横坐标x之差)计算为dist。y1,y2,y3,y4四个点坐标如图6所示。[0061] (2)退钻时目标钻杆关键点的确定：退钻时找到目标钻杆上距离“冲击动力头(如图4所示)”最近的点，作为目标钻杆关键点。图3也会有2种情况，即①目标钻杆在冲击动力头的左边，如图7(a)所示；②标钻杆在冲击动力头的右边，如图7(b)所示。具体描述如下：①目标钻杆位置在冲击动力头左边，获取目标钻杆四个角的坐标，选取最右边两个点的纵坐标值取中间点，即(y2+y3)/2，即为目标钻杆关键点。目标钻杆关键点和冲击动力头中心点之间的横坐标距离的差值(即图7(a)中左侧圆点与右侧圆点横坐标x之差)计算为dist。②目标钻杆位置在冲击动力头右边，获取目标钻杆四个角的坐标，选取最左边两个点的纵坐标值取中间点，即(y1+y4)/2，即为目标钻杆关键点。目标钻杆关键点和冲击动力头中心点之间的横坐标距离的差值(即图7(b)中右侧圆点与左侧圆点横坐标x之差)计算为dist。[0062] 本实施例中，确定目标钻杆和目标钻杆关键点流程如下：(1)进钻时：检测到目标钻杆时，直接将该钻杆对应的中心点坐标，当前视频帧数，当前时间戳添加于数组中，该数组定义于整体数据集的for循环外，并且将筛选出来符合条件的钻杆进行mask的可视化；并在目标钻杆上生成遮罩，确定目标钻杆关键点。(2)退钻时：检测到目标钻杆时，首先判断目标钻杆上目标钻杆关键点的坐标值是否在钻机整体body框内，如果在，将该钻杆对应的中心点坐标，当前视频帧数，当前时间戳添加于数组中，该数组定义于整体数据集的for循环外，并且将筛选出来符合条件的钻杆进行mask的可视化；在目标钻杆上生成遮罩，确定目标钻杆关键点。[0063] 步骤S14：实时计算所述目标钻杆关键点和所述冲击动力头中心点之间的距离，根据所述距离绘制峰值变化图，利用所述峰值变化图进行钻杆计数。[0064] 本实施例中，若所述状态为进钻，则按照预设的进钻距离计算方法计算所述目标钻杆关键点和所述冲击动力头中心点之间的进钻距离，并根据所述进钻距离绘制进钻峰值变化图，利用所述进钻峰值变化图进行钻杆计数；若所述状态为退钻，则按照预设的退钻距离计算方法计算所述目标钻杆关键点和所述冲击动力头中心点之间的退钻距离，并根据所述退钻距离绘制退钻峰值变化图，利用所述退钻峰值变化图进行钻杆计数。[0065] 具体的，通过目标钻杆关键点与冲击动力头中心点之间距离的变化进行计数。如图8所示，横坐标为视频帧数(每秒25帧)，纵坐标为目标钻杆关键点与冲击动力头中心点之间的距离dist随帧数的变化。距离dist为目标钻杆关键点与冲击动力头中心点之差。通过距离dist的峰值变化来辅助钻杆计数。流程如下：初始化一个阈值threshold(threshold的值根据实际情况设置)。(1)从纵坐标考虑寻找所有峰值：当目标钻杆关键点与冲击动力头中心点之间的距离dist的值(即图8中的某一个点)比左边或右边的点的纵坐标高于threshold时，该点被记为峰值peak。(2)从横坐标考虑确定有效的峰值：对找到的峰值进行筛选。定义两个变量peak1和peak2，分别记录前一个波峰和当前波峰位置，并定义一个变量distance计算两个波峰之间的距离，只有当两个波峰之间的距离大于distance(distance的值根据实际情况设置)时，将前一个波峰位置加入到筛选后的列表中，即完成一次钻杆计数；否则，两个波峰之间的距离小于distance时，不进行计数，并舍弃该峰值。(3)持续计数：在所有峰值peaks组成的数组长度中循环进行以上步骤(1)和(2)持续进行钻杆打钻计数，直到停止打钻。进钻计数和退钻计数均采用以上计算思想，不同之处在于两个关键点(目标钻杆关键点与冲击动力头中心点的选取有差异(如图5和图7所示)。[0066] 本实施例中，获取历史井下打钻视频，对所述历史井下打钻视频进行处理及标注，以得到标注后打钻数据，基于旋转目标检测算法并利用所述标注后打钻数据构建用于自适应场景的旋转目标检测模型；获取当前打钻视频，利用所述旋转目标检测模型对所述当前打钻视频进行识别，以得到识别结果；基于钻杆计数推理算法并按照预设的钻杆选取原则对所述识别结果进行钻杆筛选，以得到目标钻杆，确定目标钻杆关键点和冲击动力头中心点；实时计算所述目标钻杆关键点和所述冲击动力头中心点之间的距离，根据所述距离绘制峰值变化图，利用所述峰值变化图进行钻杆计数。本申请基于旋转目标检测算法并利用标注后打钻数据构建用于自适应场景的旋转目标检测模型，利用旋转目标检测模型对当前打钻视频进行识别，并基于钻杆计数推理算法筛选出目标钻杆，通过计算目标钻杆关键点和冲击动力头中心点之间的距离变化，从而准确获得峰值变化，进行钻杆计数，本申请的上述技术方案不需要绘制缓冲区，可以随便切换摄像机位置，还可以随机更换打钻场景，从而实现自适应场景的煤矿钻杆计数，增加场景应用的多样性以及实际应用中钻杆计数的适用性，将旋转目标检测算法与钻杆计数推理算法结合，提高钻杆计数的准确性和效率。[0067] 参见图9所示，本发明实施例公开了一种自适应场景的煤矿钻杆计数方法，具体可以包括：[0068] 步骤S21：获取历史井下打钻视频，将所述历史井下打钻视频切分为各图片，并对各所述图片进行清洗处理，以得到清洗处理后的所述图片，利用预设的旋转目标检测标注工具对清洗处理后的所述图片进行标注，以得到标注后打钻数据。[0069] 步骤S22：基于旋转目标检测算法并利用所述标注后打钻数据对预设的初始旋转目标检测模型分别进行训练、测试以及验证，以得到用于自适应场景的所述旋转目标检测模型；其中，所述旋转目标检测算法包括YOLOv5_OBB、YOLOv7_OBB、YOLOv8_OBB、GGHL、PP‑YOLOE‑R、R3Det以及MMRotate算法。[0070] 本实施例中，使用roLabelImg旋转目标检测标注工具对图像进行；此外，旋转目标检测算法包括但不限于YOLOv5_OBB、YOLOv7_OBB、YOLOv8_OBB、GGHL、PP‑YOLOE‑R、R3Det以及MMRotate。[0071] 步骤S23：获取当前打钻视频，利用所述旋转目标检测模型对所述当前打钻视频进行识别，以得到识别结果。[0072] 步骤S24：基于钻杆计数推理算法并按照预设的钻杆选取原则对所述识别结果进行钻杆筛选，以得到目标钻杆，确定目标钻杆关键点和冲击动力头中心点。[0073] 步骤S25：实时计算所述目标钻杆关键点和所述冲击动力头中心点之间的距离，根据所述距离绘制峰值变化图，利用所述峰值变化图进行钻杆计数。[0074] 本申请的具体流程如图10所示，(1)获取煤矿井下的当前打钻视频；(2)利用训练好的旋转目标检测模型对当前打钻视频进行识别，以得到带有旋转边界框的识别结果；(3)基于钻杆计数推理算法并按照预设的钻杆选取原则对识别结果进行钻杆筛选，以得到目标钻杆，确定目标钻杆关键点和冲击动力头中心点，计算目标钻杆关键点和冲击动力头中心点之间的距离，根据距离绘制峰值变化图，利用所述峰值变化图进行钻杆计数。[0075] 其中，旋转目标检测模型的构架过程如下：(1)获取历史井下打钻视频；(2)对历史井下打钻视频进行处理，并使用roLabelImg旋转目标检测标注工具对进行标注，以得到标注后打钻数据；(3)基于旋转目标检测算法并利用标注后打钻数据构建用于自适应场景的旋转目标检测模型。[0076] 本实施例中，获取历史井下打钻视频，对所述历史井下打钻视频进行处理及标注，以得到标注后打钻数据，基于旋转目标检测算法并利用所述标注后打钻数据构建用于自适应场景的旋转目标检测模型；获取当前打钻视频，利用所述旋转目标检测模型对所述当前打钻视频进行识别，以得到识别结果；基于钻杆计数推理算法并按照预设的钻杆选取原则对所述识别结果进行钻杆筛选，以得到目标钻杆，确定目标钻杆关键点和冲击动力头中心点；实时计算所述目标钻杆关键点和所述冲击动力头中心点之间的距离，根据所述距离绘制峰值变化图，利用所述峰值变化图进行钻杆计数。本申请基于旋转目标检测算法并利用标注后打钻数据构建用于自适应场景的旋转目标检测模型，利用旋转目标检测模型对当前打钻视频进行识别，并基于钻杆计数推理算法筛选出目标钻杆，通过计算目标钻杆关键点和冲击动力头中心点之间的距离变化，从而准确获得峰值变化，进行钻杆计数，本申请的上述技术方案不需要绘制缓冲区，可以随便切换摄像机位置，还可以随机更换打钻场景，从而实现自适应场景的煤矿钻杆计数，增加场景应用的多样性以及实际应用中钻杆计数的适用性，将旋转目标检测算法与钻杆计数推理算法结合，提高钻杆计数的准确性和效率。[0077] 参见图11所示，本发明实施例公开了一种自适应场景的煤矿钻杆计数装置，具体可以包括：[0078] 模型构建模块11，用于获取历史井下打钻视频，对所述历史井下打钻视频进行处理及标注，以得到标注后打钻数据，基于旋转目标检测算法并利用所述标注后打钻数据构建用于自适应场景的旋转目标检测模型；[0079] 识别模块12，用于获取当前打钻视频，利用所述旋转目标检测模型对所述当前打钻视频进行识别，以得到识别结果；[0080] 钻杆筛选模块13，用于基于钻杆计数推理算法并按照预设的钻杆选取原则对所述识别结果进行钻杆筛选，以得到目标钻杆，确定目标钻杆关键点和冲击动力头中心点；[0081] 钻杆计数模块14，用于实时计算所述目标钻杆关键点和所述冲击动力头中心点之间的距离，根据所述距离绘制峰值变化图，利用所述峰值变化图进行钻杆计数。[0082] 本实施例中，获取历史井下打钻视频，对所述历史井下打钻视频进行处理及标注，以得到标注后打钻数据，基于旋转目标检测算法并利用所述标注后打钻数据构建用于自适应场景的旋转目标检测模型；获取当前打钻视频，利用所述旋转目标检测模型对所述当前打钻视频进行识别，以得到识别结果；基于钻杆计数推理算法并按照预设的钻杆选取原则对所述识别结果进行钻杆筛选，以得到目标钻杆，确定目标钻杆关键点和冲击动力头中心点；实时计算所述目标钻杆关键点和所述冲击动力头中心点之间的距离，根据所述距离绘制峰值变化图，利用所述峰值变化图进行钻杆计数。本申请基于旋转目标检测算法并利用标注后打钻数据构建用于自适应场景的旋转目标检测模型，利用旋转目标检测模型对当前打钻视频进行识别，并基于钻杆计数推理算法筛选出目标钻杆，通过计算目标钻杆关键点和冲击动力头中心点之间的距离变化，从而准确获得峰值变化，进行钻杆计数，本申请的上述技术方案不需要绘制缓冲区，可以随便切换摄像机位置，还可以随机更换打钻场景，从而实现自适应场景的煤矿钻杆计数，增加场景应用的多样性以及实际应用中钻杆计数的适用性，将旋转目标检测算法与钻杆计数推理算法结合，提高钻杆计数的准确性和效率。[0083] 在一些具体实施例中，所述模型构建模块11，具体可以包括：[0084] 清洗处理模块，用于将所述历史井下打钻视频切分为各图片，并对各所述图片进行清洗处理，以得到清洗处理后的所述图片；[0085] 标注模块，用于利用预设的旋转目标检测标注工具对清洗处理后的所述图片进行标注，以得到标注后打钻数据。[0086] 在一些具体实施例中，所述模型构建模块11，具体可以包括：[0087] 训练测试验证模块，用于基于旋转目标检测算法并利用所述标注后打钻数据对预设的初始旋转目标检测模型分别进行训练、测试以及验证，以得到用于自适应场景的所述旋转目标检测模型；其中，所述旋转目标检测算法包括YOLOv5_OBB、YOLOv7_OBB、YOLOv8_OBB、GGHL、PP‑YOLOE‑R、R3Det以及MMRotate算法。[0088] 在一些具体实施例中，所述识别模块12，具体可以包括：[0089] 识别模块，用于利用所述旋转目标检测模型对所述当前打钻视频进行识别，以得到带旋转边界框的所述识别结果；所述识别结果包括钻机整体、冲击动力头、钻机头部、钻机钻杆以及对应的中心点坐标、短边长度、长边长度、旋转角度。[0090] 在一些具体实施例中，所述钻杆筛选模块13，具体可以包括：[0091] 原则构建模块，用于构建所述钻杆选取原则；所述钻杆选取原则包括旋转边界框选取原则、遮挡排除选取原则以及关注钻杆选取原则；[0092] 钻杆筛选模块，用于基于钻杆计数推理算法并按照所述旋转边界框选取原则、所述遮挡排除选取原则以及所述关注钻杆选取原则对带旋转边界框的所述识别结果进行钻杆筛选，以得到目标钻杆。[0093] 在一些具体实施例中，所述钻杆筛选模块13，具体可以包括：[0094] 状态确定模块，用于确定当前所述目标钻杆的状态；所述状态包括进钻和退钻；[0095] 关键点及中心点确定模块，用于基于所述状态确定相应的目标钻杆关键点和冲击动力头中心点。[0096] 在一些具体实施例中，所述钻杆计数模块14，具体可以包括：[0097] 进钻钻杆计数模块，用于若所述状态为进钻，则按照预设的进钻距离计算方法计算所述目标钻杆关键点和所述冲击动力头中心点之间的进钻距离，并根据所述进钻距离绘制进钻峰值变化图，利用所述进钻峰值变化图进行钻杆计数；[0098] 退钻钻杆计数模块，用于若所述状态为退钻，则按照预设的退钻距离计算方法计算所述目标钻杆关键点和所述冲击动力头中心点之间的退钻距离，并根据所述退钻距离绘制退钻峰值变化图，利用所述退钻峰值变化图进行钻杆计数。[0099] 图12为本申请实施例提供的一种电子设备的结构示意图。该电子设备20，具体可以包括：至少一个处理器21、至少一个存储器22、电源23、通信接口24、输入输出接口25和通信总线26。其中，所述存储器22用于存储计算机程序，所述计算机程序由所述处理器21加载并执行，以实现前述任一实施例公开的由电子设备执行的自适应场景的煤矿钻杆计数方法中的相关步骤。[0100] 本实施例中，电源23用于为电子设备20上的各硬件设备提供工作电压；通信接口24能够为电子设备20创建与外界设备之间的数据传输通道，其所遵循的通信协议是能够适用于本申请技术方案的任意通信协议，在此不对其进行具体限定；输入输出接口25，用于获取外界输入数据或向外界输出数据，其具体的接口类型可以根据具体应用需要进行选取，在此不进行具体限定。[0101] 另外，存储器22作为资源存储的载体，可以是只读存储器、随机存储器、磁盘或者光盘等，其上所存储的资源包括操作系统221、计算机程序222及数据223等，存储方式可以是短暂存储或者永久存储。[0102] 其中，操作系统221用于管理与控制电子设备20上的各硬件设备以及计算机程序222，以实现处理器21对存储器22中数据223的运算与处理，其可以是Windows、Unix、Linux等。计算机程序222除了包括能够用于完成前述任一实施例公开的由电子设备20执行的自适应场景的煤矿钻杆计数方法的计算机程序之外，还可以进一步包括能够用于完成其他特定工作的计算机程序。数据223除了可以包括自适应场景的煤矿钻杆计数设备接收到的由外部设备传输进来的数据，也可以包括由自身输入输出接口25采集到的数据等。[0103] 结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD‑ROM、或技术领域内所公知的任意其它形式的存储介质中。[0104] 进一步的，本申请实施例还公开了一种计算机可读存储介质，所述存储介质中存储有计算机程序，所述计算机程序被处理器加载并执行时，实现前述任一实施例公开的自适应场景的煤矿钻杆计数方法步骤。[0105] 最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。[0106] 以上对本发明所提供的一种自适应场景的煤矿钻杆计数方法、装置、设备及存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

专利地区：河南

专利申请日期：2024-01-09

专利公开日期：2024-10-15

专利公告号：CN117830908B