一种基于构造式联邦学习的矿井人员违规动作识别方法

专利名称：一种基于构造式联邦学习的矿井人员违规动作识别方法

专利类型：发明专利

专利申请号：CN202210393676.6

专利申请（专利权）人：中国矿业大学
权利人地址：江苏省徐州市铜山区大学路1号

专利发明（设计）人：代伟,建中华,张瑞,刘广义,南静,季朗龙,袁冠

专利摘要：本发明公开了一种基于构造式联邦学习的矿井人员违规动作识别方法，包括：步骤1，获取历史视频，提取皮带矿工行为特征数据，标注行为类别并整理为各矿区本地矿工行为数据库；步骤2，各违规辨别终端构造本地网络模型最优隐层节点并计算本地网络模型当前方差；步骤3，聚合云构造聚合增隐层节点；步骤4，各违规辨别终端接收聚合增隐层节点，更新各违规辨别终端的新增隐层节点参数，判断是否继续进行构造式联邦学习；步骤5，通过违规辨别终端分辨矿工行为类别。本发明保证了各方数据的隐私性，解决了各矿区数据的孤岛问题，即每个矿区仅有本矿区的矿工行为数据，所训练的模型识别效果有限。本发明在保证各厂区数据安全的情况下联合训练出识别效果更好的模型。

主权利要求：
1.一种基于构造式联邦学习的矿井人员违规动作识别方法，其特征在于，包括以下步骤：步骤1，通过安装在两个以上矿区皮带传送机上方的RGB摄像机获取各矿区皮带区域矿工作业行为的历史视频，使用人体骨架提取工具从视频流数据中分析提取皮带区域矿工行为的特征数据，标注行为类别并整理为各矿区本地矿工行为数据库；
步骤2，设置构造式联邦学习聚合云，每个矿区作为一个违规辨别终端，参与构造式联邦学习，在违规辨别终端构造本地网络模型时，以各矿区本地矿工行为数据库作为特征数据库，从零网络开始，逐渐增加隐层节点，本地网络模型每新构造一个节点，首先随机配置两组以上具有不同参数的隐层节点，进而以使判别式值最大为原则，选取最优隐层节点，将最优隐层节点及违规辨别终端本地网络模型当前方差传输至聚合云；
步骤3，聚合云接收所有违规辨别终端的最优隐层节点进行自适应参数聚合，构造出聚合增隐层节点，并将聚合增隐层节点传输至各违规辨别终端；
步骤4，各违规辨别终端接收聚合增隐层节点，更新各违规辨别终端的新增隐层节点参数，并计算本地网络模型输出权值参数，得到当前本地网络模型识别误差，根据各违规辨别终端的设定，判断当前本地网络模型识别误差是否满足违规辨别终端内皮带区域矿工行为违规动作识别精度要求，如果满足，则违规辨别终端退出构造式联邦学习；否则返回步骤2，继续构造新的隐层节点，进行下一轮联邦学习；
步骤5，违规辨别终端完成构造式联邦学习后，根据皮带区域矿工作业实时的行为特征来分辨矿工行为类别。
2.根据权利要求1所述的方法，其特征在于，步骤2中，使用随机配置神经网络作为每个违规辨别终端的本地网络模型，以k表示所有参与构造式联邦学习违规辨别终端中的第k个违规辨别终端，在违规辨别终端k开始参与构造式联邦学习时，初始化本地网络模型学习参k数，包括：最大随机配置次数Tmax、期望容差ε 、隐层参数随机配置范围Υ＝{λmin:Δλ:λmax}、k k学习参数r、激活函数g(.)、初始残差e0＝T，其中λmin是随机参数的分配区间下限，λmax是随k机参数的分配区间上限，Δλ为随机参数分配区间增量参数，T 是违规辨别终端k的本地皮k k带区域矿工行为特征数据的实际类别标签，ε 表示违规辨别终端k设定的期望容差，r表示违规辨别终端k设定的学习参数，最大随机配置次数Tmax、隐层参数随机配置范围Υ和激活函数g(.)所有违规辨别终端设置相同。
3.根据权利要求2所述的方法，步骤2中，在违规辨别终端k构造新的隐层节点L时，在服从高斯分布的对称区间Υ＝{‑λmin:λmin}内随机配置Tmax组不同参数 和 的隐层节点，计算本地网络模型当前隐层节点输出矩阵其中上标T表示矩阵的转置或向量的转置， 表示违规辨别终端k本地网络模型的第M维输入特征；
k
设定一个非负实数序列 L为当前本地网络模型隐层节点总数，r 表示违规辨别终端k的学习参数；
将随机配置的Tmax组隐层节点参数分别代入如下约束判别式中：式中，Q表示网络模型输出的维数，符号·表示向量的内积， 代表在违规辨别终端k中当前隐层节点数为L时本地网络模型第q个输出对应的判别值， 表示违规辨别终端k在第L次迭代时随机配置的节点判别值， 表示违规辨别终端k的本地网络模型第L‑1个隐层节点时本地网络模型第q个输出误差；如果随机配置的隐层节点均使约束判别式 小于零，则更新随机配置区间为Υ＝{‑(λmin+Δλ):λmin+Δλ}，重新配置Tmax组隐层节点参数代入约束判别式计算，直到随机配置出使约束判别式大于零为止；
如果使约束判别式大于零的随机配置隐层节点参数只有一组，则该组参数即为最优隐层节点参数；如果使约束判别式大于零的随机配置隐层节点参数有两组以上，则选取使约束判别式取值最大的一组参数为最优隐层节点参数；
根据选取的本地网络模型最优隐层节点参数 计算本地网络模型当前的隐层输出矩阵 和输出权值矩阵 计算公式如下：
其中 表示第L个隐层节点之前的L‑1个隐层节点的隐层输出矩阵， 表示根据构造式联邦学习确定的第L个隐层节点之前的L‑1个隐层节点的参数， 表示第L个隐层节点的隐层输出矩阵， 表示根据约束判别式选取的最优隐层节点；
当前本地网络模型的方差 计算公式如下：
k
其中T表示违规辨别终端k内矿工行为图像的行为分类真实标签。
4.根据权利要求3所述的方法，其特征在于，步骤3中，采用如下公式构造出自适应聚合增隐层节点：其中， 表示聚合后的隐层节点L的参数，K表示参与构造式联邦学习的违规辨别终端的总数， 表示违规辨别终端k第L个隐层节点的最优隐层节点参数， 表示违规辨别终端k第L个隐层节点的自适应聚合参数， 表示违规辨别终端k本地网络模型第L个隐层节点时的方差。
5.根据权利要求4所述的方法，其特征在于，步骤4中，使用下式计算本地网络模型的第L个隐层节点的隐层输出其中 表示根据构造式联邦学习确定的聚合增隐层节点参数；
使用下式计算违规辨别终端的本地网络模型输出权重矩阵：
其中当前隐层输出矩阵为 上标+为求矩阵的广义
逆矩阵；
使用下式计算违规辨别终端本地网络模型的输出 说明书 : 一种基于构造式联邦学习的矿井人员违规动作识别方法技术领域[0001] 本发明涉及矿区工人违规行为识别领域，尤其是适用一种基于构造式联邦学习的矿井人员违规动作识别方法。背景技术[0002] 我国是个地大物博的国家，矿产资源位居世界前列，潜力巨大，在开采和未开采的矿区不胜枚举，每年的各种矿石开采量不计其数，为我国的发展不断注入能源、材料。[0003] 在矿石开采开发中安全一直是个大问题，各种矿区事故触目惊心，对矿工生命和设备安全造成极大危害，其中工人在作业时的违规行为是个极大的隐患。杜绝工人违规行为的传统方法通常是人为的盯着监控屏幕，这种纯靠监控人员的监管存在着诸多弊端，比如：监控人员长时间高强度监控容易产生视觉疲劳，监控区域太多无法全部顾及等等。如果使用人工智能的监控方法，则可以大大提高监管效果，预防事故的发生，为工人和设备安全提供保障。然而现阶段的人工智能监控方法通常需要大量的人工标注数据来训练识别网络模型，仅仅依靠某一矿区内的数据通常难以训练出识别性能较好的网络模型。发明内容[0004] 本发明旨在解决上述问题中的现有技术缺陷，提供一种基于构造式联邦学习的矿井人员违规动作识别方法，由于参与构造式联邦学习的矿区，设备相似，工业过程相似，矿工作业时动作相似，具有特征相似性，可以在保证各矿区数据隐私的情况下，联合训练出识别性能更优的网络模型，替代人为监控，提高监管效率，降低事故发生率。[0005] 针对上述技术问题，本发明提供的基于构造式联邦学习的矿井人员违规动作识别方法，包括以下步骤：[0006] 步骤1，通过安装在两个以上矿区皮带传送机上方的RGB摄像机获取各矿区皮带区域矿工作业行为的历史视频，使用人体骨架提取工具从视频流数据中分析提取皮带区域矿工行为的特征数据，人工标注行为类别并整理为各矿区本地矿工行为数据库；[0007] Openpose作为一种人体骨架提取工具，可以提取视频流数据中矿工的骨架节点，根据所述提取的骨架节点可以进行筛选关键帧和提取矿工多维行为特征，多维特征包括矿工肢体相对距离特征值、矿工肢体角度特征值、帧间矿工肢体速度特征值和帧间矿工肢体角速度特征值。具体如下：[0008] 使用Openpose提取矿工骨架节点，所提取的矿工骨架节点中人为选取15个骨架节点，并组成可以表示矿工人体的14段刚体。矿工肢体相对距离特征值，即矿工人体14段刚体的长度，也即分别求14段刚体两端骨架节点的相对距离，以求右肩到肩部中心一段刚体长度为例，令肩部中心骨架节点坐标为p2(x2,y2)，右肩骨架节点坐标为p4(x4,y4)，则第2段刚体长度d2为：[0009] d2＝|p2(x2,y2)‑p2(x4,y4)|[0010] 其中pi(xi,yi)表示骨架节点i的二维坐标。[0011] 为了消除个体骨架尺寸差异，对上述相对距离进行归一化处理，即所有骨架节点间的相对距离除以肩部中心点到臀部中心点的相对距离，即：[0012][0013] 其中h表示肩部中心点到臀部中心点的相对距离。[0014] 对于第n帧矿工行为图像，矿工肢体相对距离特征值Ln表示为：[0015] Ln＝{dn,1,dn,2,...,dn,14|n＝1,2,...,N}[0016] 其中n表示矿工行为视频总长度N中的第n帧图像，dn,i表示第n帧图像的第i个矿工肢体相对距离特征值。[0017] 矿工肢体角度特征值即矿工人体各肢体之间所形成的角度特征值，人为选取14个矿工人体骨架的关键角度，以右臂为例求矿工肢体角度θ3特征值，令右肩骨架节点坐标为p4(x4,y4)，右肘骨架节点坐标为p5(x5,y5)，右手骨架节点坐标为p6(x6,y6)，则矿工肢体角度θ3特征值为：[0018][0019] 其中pi(xi,yi)表示骨架节点i的二维坐标。[0020] 对于第n帧矿工行为图像，矿工肢体角度特征值θn表示为：[0021] θn＝{θn,1,θn,2,...,θn,14|n＝1,2,...,N}[0022] 其中n表示矿工行为视频总长度N中的第n帧图像，θn,i表示第n帧图像的第i个矿工肢体角度特征值。[0023] 使用余弦相似度对视频数据流进行关键帧提取，降低资源的消耗，加快模型的识别速度，对于两帧矿工肢体角度特征值：[0024] θn‑1(θn‑1,1,θn‑1,2,...,θn‑1,14),θn(θn,1,θn,2,...,θn,14)[0025] 其中n‑1、n表示视频中的相邻两帧，θn‑1,i、θn,i分别表示第n‑1帧中的第i个角度特征值和第n帧中的第i个角度特征值。[0026] 两帧的相似度的计算公式如下：[0027][0028] 其中cos(θ)表示两帧的相似度，取值越接近于1则表明两帧越相似，当其超过设定阈值时则将相似帧舍去，该阈值一般经过实验测试得出。[0029] 帧间矿工肢体速度特征值即矿工同一骨架节点在两帧之间运动的平均速度。令n‑1，n表示相邻两帧矿工行为图像，则骨架节点i的帧间位移Sn,i为：[0030] Sn,i＝|pn,i(xn,i,yn,i)‑pn‑1,i(xn‑1,i,yn‑1,i)|[0031] 其中pn,i(xn,i,yn,i)表示第n帧中第i个骨架节点的二维坐标。[0032] 令两帧间时间间隔为t，则第n帧中矿工骨架节点i的帧间速度Vn,i为：[0033][0034] 第n帧的帧间矿工人体速度特征值可表示为：[0035] Vn＝{Vn,1,Vn,2,...,Vn,15|n＝1,2,...,N}[0036] 其中n表示矿工行为视频总长度N中的第n帧图像，Vn,i表示第n帧图像的第i个帧间矿工肢体速度特征值。[0037] 帧间矿工肢体角速度特征值既同一关键角度在两帧之间变化的平均速度。令n‑1，n表示相邻两帧矿工行为图像，则关键角度i的帧间变化量Ωn,i为：[0038] Ωn,i＝θn,i‑θn‑1,i[0039] 其中θn,i表示第n帧中第i个矿工肢体角度特征值。[0040] 令两帧时间间隔为t，则第n帧中矿工肢体角度i的帧间角速度ωn,i为：[0041][0042] 第n帧的帧间矿工人体角速度特征值可表示为：[0043] ωn＝{ωn,1,ωn,2,...,ωn,14|n＝1,2,...,N}[0044] 其中n表示矿工行为视频总长度N中的第n帧图像，ωn,i表示第n帧图像的第i个帧间矿工肢体角速度特征值。[0045] 多维特征组合得出第n帧中矿工行为特征xn，即：[0046] xn＝{Ln,θn,Vn,ωn,Tn|n＝1,2,...,N}[0047] ＝{Ln,1,Ln,2,...,Ln,14,θn,1,θn,2,...,θn,14,Vn,1,Vn,2,...,Vn,15,ωn,1,ωn,2,...,ωn,14,Tn|n＝1,2,...,N}[0048] 其中N表示矿工行为图像帧总数，Ln,i表示第n帧中第i个矿工肢体相对距离特征值，θn,i表示第n帧中第i个矿工肢体角度特征值，Vn,i表示第n帧中第i个帧间矿工肢体速度特征值，ωn,i表示第n帧中第i个帧间矿工肢体角速度特征值，Tn表示第n帧的矿工行为类别标签。[0049] 设违规辨别终端k中共有N帧带有行为类别标签的矿工行为视频，则违规辨别终端kk的本地矿工行为数据库X可以表示为：[0050][0051] 其中 表示违规辨别终端k第i帧矿工行为图像的多维特征。[0052] 步骤2，在可信任的第三方处设置构造式联邦学习聚合云，每个矿区作为一个违规辨别终端，参与构造式联邦学习，在违规辨别终端构造本地网络模型时，以各矿区本地矿工行为数据库作为特征数据库，从零网络开始，逐渐增加隐层节点，本地网络模型每新构造一个节点，首先随机配置两组以上具有不同参数的隐层节点，进而以使判别式值最大为原则，选取最优隐层节点，将最优隐层节点及违规辨别终端本地网络模型当前方差传输至聚合云；[0053] 步骤2中，使用随机配置神经网络作为每个违规辨别终端的本地网络模型，以k表示所有参与构造式联邦学习违规辨别终端中的第k个违规辨别终端，在违规辨别终端k开始参与构造式联邦学习时，初始化本地网络模型学习参数，包括：最大随机配置次数Tmax、期望k k识别误差ε 、隐层参数随机配置范围Υ＝{λmin:Δλ:λmax}、学习参数r、激活函数g(.)、初始k残差e0＝T，其中λmin是随机参数的分配区间下限，λmax是随机参数的分配区间上限，Δλ为随机参数分配区间增量参数，T是违规辨别终端k的本地皮带区域矿工行为特征数据的实际类k k别标签，ε 表示违规辨别终端k设定的期望容差，r表示违规辨别终端k设定的学习参数，最大随机配置次数Tmax、隐层参数随机配置范围Υ和激活函数g(.)所有违规辨别终端设置相同。[0054] 步骤2中，在违规辨别终端k构造新的隐层节点L时，在服从高斯分布的对称区间Υ＝{‑λmin:λmin}内随机配置Tmax组不同参数 和 的隐层节点，计算本地网络模型当前隐层节点输出矩阵[0055][0056] 其中上标T表示矩阵的转置或向量的转置， 表示违规辨别终端k本地网络模型的第M维输入特征；[0057] 设定一个非负实数序列 L为当前本地网络模型隐层节点总k数，r表示违规辨别终端k的学习参数；[0058] 将随机配置的Tmax组隐层节点参数分别带入约束判别式中：[0059][0060][0061] 式中，Q表示网络模型输出的维数，符号·表示向量的内积， 代表违规辨别终端k中当前隐层节点数为L时本地网络模型第q个输出对应的判别值， 表示当前违规辨别终端k在第L次迭代时随机配置的节点判别值， 表示违规辨别终端k的本地网络模型第L‑1个隐层节点时本地网络模型第q个输出误差；如果随机配置的隐层节点均使约束判别式小于零，则更新随机配置区间为Υ＝{‑(λmin+Δλ):λmin+Δλ}，重新配置Tmax组隐层节点参数代入约束判别式计算，直到随机配置出使约束判别式大于零为止；[0062] 如果使约束判别式大于零的随机配置隐层节点参数只有一组，则该组参数即为最优隐层节点参数；如果使约束判别式大于零的随机配置隐层节点参数有两组以上，则选取使约束判别式取值最大的一组参数为最优隐层节点参数。[0063] 根据选取的本地网络模型最优隐层节点参数 计算本地网络模型当前的隐层输出矩阵 和输出权值矩阵 计算公式如下：[0064][0065] 其中 表示第L个隐层节点之前的L‑1个隐层节点的隐层输出矩阵， 表示根据构造式联邦学习确定的第L个隐层节点之前的L‑1个隐层节点的参数， 表示第L个隐层节点的隐层输出矩阵， 表示根据约束判别式选取的最优隐层节点。[0066] 当前本地网络模型的方差 计算公式如下：[0067][0068] 其中Tk表示违规辨别终端k内矿工行为图像的行为分类真实标签。[0069] 将选取的最优隐层节点参数及本地网络模型当前方差传输给聚合云。[0070] 步骤3，聚合云接收所有违规辨别终端的最优隐层节点进行自适应参数聚合，构造出聚合增隐层节点，并将聚合增隐层节点传输至各违规辨别终端；[0071] 步骤3中，采用如下公式构造出自适应聚合增隐层节点：[0072][0073] 其中， 表示聚合后的隐层节点L的参数，K表示参与构造式联邦学习的违规辨别终端的总数， 表示违规辨别终端k第L个隐层节点的最优隐层节点参数，表示违规辨别终端k第L个隐层节点的自适应聚合参数， 表示违规辨别终端k本地网络模型第L个隐层节点时的方差。[0074] 步骤4，各违规辨别终端接收聚合增隐层节点，更新各违规辨别终端的新增隐层节点参数，并计算本地网络模型输出权值参数，得到当前本地网络模型识别误差，根据各违规辨别终端的设定，判断当前本地网络模型识别误差是否满足违规辨别终端内皮带区域矿工行为违规动作识别精度要求，如果满足，则违规辨别终端退出构造式联邦学习；否则返回步骤2，继续构造新的隐层节点参数，进行下一轮联邦学习；[0075] 步骤4中，使用下式计算本地网络模型的第L个隐层节点的隐层输出[0076][0077] 其中 表示根据构造式联邦学习确定的聚合增隐层节点参数。[0078] 使用下式计算违规辨别终端的本地网络模型输出权重矩阵：[0079][0080] 其中当前隐层输出矩阵为 上标+为求矩阵的广义逆矩阵。[0081] 使用下式计算违规辨别终端本地网络模型的输出[0082][0083] 进而得到当前本地网络模型识别误差，判断当前违规辨别终端本地网络模型识别k误差是否满足终端内皮带区域矿工行为违规动作期望识别误差ε 的要求，若满足，则终端退出构造式联邦学习；不满足，则返回步骤2，继续构造新的隐层节点参数，进行下一轮联邦学习。[0084] 步骤5，违规辨别终端完成构造式联邦学习后，根据皮带区域矿工作业实时的行为特征来分辨矿工行为类别。[0085] 有益效果：本发明的基于构造式联邦学习的矿井人员违规动作识别方法，不仅可以有效解决矿区工人违规危险行为难以实时监控，监控人员长时间高强度监视，视觉疲劳和负担过重等问题，并且联邦训练提升了识别模型的精度，降低矿区事故发生率，便于使用，实用性强。附图说明[0086] 图1为本发明实施例的一种基于构造式联邦学习的矿井人员违规动作识别方法流程图；[0087] 图2为本发明实施例的模型训练示意图；[0088] 图3为本发明实施例的矿工骨架示意图。具体实施方式[0089] 下面结合附图对本发明的实施实例做进一步说明：[0090] 如图1、图2所示，本发明提供了一种基于构造式联邦学习的矿井人员违规动作识别方法，具体实施如下：[0091] 步骤1，假设有10个矿区参与构造式联邦学习，每个矿区设置一台皮带传送机，通过安装在10个矿区皮带传送机上方的RGB摄像机获取各矿区皮带区域矿工作业行为的历史视频，使用人体骨架提取工具Openpose从视频流数据中筛选关键帧和提取矿工多维行为特征，多维特征包括矿工肢体相对距离特征值、矿工肢体角度特征值、帧间矿工肢体速度特征值和帧间矿工肢体角速度特征值，人工标注行为类别并整理为各矿区本地矿工行为数据库。[0092] 如图3所示，人为选取15个可以代表矿工行为的矿工骨架节点，15个骨架节点组成可以表示矿工人体的14段刚体，人为选取14个矿工人体关键角度。计算所述刚体两端骨架节点的14段欧式距离作为矿工肢体相对距离特征值，为了消除矿工个体骨架尺寸差异，对上述相对距离进行归一化处理，即所有骨骼点间的相对位置差值除以肩部中心点到臀部中心点的相对位置差值。[0093] 计算14段刚体之间所形成的14个角度特征值为矿工肢体角度特征值。[0094] 为了降低资源消耗，加快模型识别速度，使用余弦相似度对视频流数据进行关键帧提取，只保留矿工行为动作的关键帧，相似阈值设置为0.9823，超过阈值的相邻两帧图像，舍去后一帧。[0095] 计算矿工同一骨架节点在两帧之间运动的平均速度为帧间矿工肢体速度特征值。矿工骨架节点的空间位置已知，视频流数据中两帧图像时间间隔固定，故提取关键帧后两帧之间时间间隔可以得知，故矿工骨架节点的速度可以经计算获得。[0096] 计算矿工同一肢体角度在两帧之间的变化平均速度为帧间矿工肢体角速度特征值。相邻两帧矿工肢体角度已知，视频流数据中两帧图像时间间隔固定，故提取关键帧后两帧之间时间间隔可以得知，故矿工肢体角速度可以经计算获得。[0097] 则第n帧矿工行为图像的矿工行为多维特征组合可表示为xn，即：[0098] xn＝{Ln,θn,Vn,ωn,Tn|n＝1,2,...,N}[0099] ＝{Ln,1,Ln,2,...,Ln,14,θn,1,θn,2,...,θn,14,Vn,1,Vn,2,...,Vn,15,ωn,1,ωn,2,...,ωn,14,Tn|n＝1,2,...,N}[0100] 其中N表示矿工行为图像帧总数，Ln,i表示第n帧中第i个矿工肢体相对距离特征值，θn,i表示第n帧中第i个矿工肢体角度特征值，Vn,i表示第n帧中第i个帧间矿工肢体速度特征值，ωn,i表示第n帧中第i个帧间矿工肢体角速度特征值，Tn表示第n帧的矿工行为类别标签。[0101] 第一个矿区的矿工皮带区域作业行为特征数据库可表示为：[0102][0103] 其中N表示第一个矿区共有N帧矿工皮带区域行为视频帧。[0104] 步骤2，10个矿区作为10个违规辨别终端，参与构造式联邦学习。以第1个所述违规辨别终端为例，初始化本地网络模型学习参数包括：最大随机配置次数Tmax＝10、期望识别1 1误差ε ＝0.05、隐层参数随机配置范围Υ＝{1:1:10}、学习参数r＝0.9、激活函数g(.)选取1Sigmoid(S曲线)函数g(x)＝1/(1+exp(‑x))、初始残差e0＝T。[0105] 以第1个所述终端为例构造本地网络模型，从零网络开始，逐渐增加隐层节点，在构造第100个本地网络模型隐层节点时，根据本矿区矿工皮带区域作业行为特征数据库在可调对称区间[‑1,1]内构造10组服从高斯分布的不同参数隐层节点，即输入权值 和偏置 计算隐层输出矩阵[0106][0107] 其中上标T表示矩阵的转置或向量的转置， 表示违规辨别终端1本地网络模型的第i维输入特征。1[0108] 设定 L为当前本地网络模型隐层节点总数，即L＝100，r＝0.9表示学习参数， 是一个非负实数序列；[0109] 将随机配置的10组隐层节点参数分别带入约束判别式中：[0110][0111][0112] 其中L＝100表示当前本地网络模型隐层节点数，Q＝2表示矿工行为是否做出违规行为的两分类任务。[0113] 若随机生成的10组隐层节点均使约束判别式 小于零，则更新配置区间为Υ＝{‑2:2}，重新配置10组隐层节点参数代入判别式计算，直到随机配置出使约束判别式大于零为止。[0114] 若使约束判别式大于零的随机配置隐层节点参数只有一组，则该组参数即为最优隐层节点参数；若使约束判别式大于零的随机配置隐层节点参数有两组以上，选取使约束判别式取值最大的一组隐层节点参数为最优隐层节点参数。[0115] 根据选取的本地网络模型最优隐层节点参数 计算本地网络模型当前的隐层输出矩阵 和输出权值矩阵 计算公式如下：[0116][0117] 其中 表示违规辨别终端1中第100个隐层节点之前的99个隐层节点的隐层输出矩阵， 表示根据构造式联邦学习确定的第100个隐层节点之前的99个隐层节点的参数， 表示违规辨别终端1中第100个隐层节点的隐层输出矩阵， 表示根据约束判别式选取的违规辨别终端1内第100个最优隐层节点参数。[0118] 违规辨别终端1内当前本地网络模型的方差 计算公式如下：[0119][0120] 其中T1表示违规辨别终端1内的矿工行为图像的行为分类真实标签。[0121] 违规辨别终端1将其通过约束判别式选取的最优的第100个隐层节点参数及当前本地网络模型方差传输至聚合云。[0122] 步骤3，聚合云接收10个违规辨别终端的第100个最优隐层节点参数及方差进行参数聚合，所述聚合云通过加权聚合的方法来构造出聚合增隐层节点参数，计算公式如下：[0123][0124] 其中， 表示聚合构造的第100个聚合增隐层节点的参数， 表示违规辨别终端k第100个隐层节点的自适应隐层节点参数， 表示违规辨别终端k第100个隐层节点的最优聚合参数， 表示违规辨别终端k构造第100个隐层节点时本地网络模型当前的方差。[0125] 聚合云将所述构造的聚合增隐层节点参数传输至各违规辨别终端。[0126] 步骤4，第1个违规辨别终端接收聚合增隐层节点，更新其网络模型的第100个新增隐层节点参数，使用下式计算违规辨别终端1本地网络模型的第100个隐层节点的隐层输出[0127][0128] 使用下式计算违规辨别终端1的本地网络模型输出权重矩阵：[0129][0130] 其中当前隐层输出矩阵为 上标+为求矩阵的广义逆矩阵。[0131] 使用下式计算违规辨别终端1的本地网络模型的当前输出[0132][0133] 进而得到当前网络模型识别误差，若当前网络模型的识别误差小于模型期望识别1 1误差ε ，则终端退出构造式联邦学习；若大于模型期望识别误差ε ，则返回步骤2，继续构造新的隐层节点参数，进行下一轮联邦学习。[0134] 步骤5，通过构造式联邦学习完成的违规辨别终端网络可以根据皮带区域矿工作业实时的行为特征来分辨矿工行为类别。[0135] 以第1个矿区的违规辨别终端为例，退出构造式联邦学习后，本地网络模型固定，在使用时，人体骨架提取工具openpose提取皮带区域矿工实时行为视频中的骨架节点，并根据骨架节点整理出皮带区域矿工的实时多维行为特征，违规辨别终端内的本地网络模型以皮带区域矿工的实时多维行为特征为输入，计算输出皮带区域矿工当前行为类别。[0136] 上述实施例只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人士能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡根据本发明精神实质所作的等效变化或修饰，都应涵盖在本发明的保护范围之内。

专利地区：江苏

专利申请日期：2022-04-14

专利公开日期：2024-11-29

专利公告号：CN115147750B