一种基于多源数据融合的电力设备缺陷诊断装置及方法

专利名称：一种基于多源数据融合的电力设备缺陷诊断装置及方法

专利类型：实用新型专利

专利申请号：CN202011411155.6

专利申请（专利权）人：国网山西省电力公司大同供电公司
权利人地址：山西省大同市迎宾路61号

专利发明（设计）人：郝建军,张力强,赵国伟,张政,王强,赵锐,张勇

专利摘要：本申请公开了一种基于多源数据融合的电力设备缺陷诊断装置及方法，该装置至少包括数据采集模块和人工智能处理模块，数据采集模块用于采集电力设备的第一多源数据，人工智能处理模块至少包括：数据预处理模块，缺陷诊断模块；数据预处理模块用于对采集到的第一多源数据进行预处理，生成指定格式的电力设备第二多源数据；缺陷诊断模块用于构建电力设备缺陷诊断模型，根据指定格式的电力设备第二多源数据，生成决策级融合诊断结果，决策级融合诊断结果由可见‑红外图像诊断结果VI‑result与声源缺陷诊断结果S‑result融合生成。通过本申请中的技术方案，克服现有电力设备缺陷诊断技术中依赖数据信源单一、缺陷漏检率和误检率高以及鲁棒性差等问题。

主权利要求：
1.一种基于多源数据融合的电力设备缺陷诊断装置，其特征在于，所述装置至少包括数据采集模块和人工智能处理模块，所述数据采集模块用于采集电力设备的第一多源数据，所述人工智能处理模块至少包括：数据预处理模块，缺陷诊断模块；
所述数据预处理模块用于对采集到的所述第一多源数据进行预处理，生成电力设备第二多源数据，其中，所述电力设备第二多源数据至少包括：声学图像Simg、第二可见光图像Vimg、第二红外热图像Iimg和声音特征向量Smfcc；
所述缺陷诊断模块用于构建电力设备缺陷诊断模型，根据所述电力设备第二多源数据，生成决策级融合诊断结果，所述决策级融合诊断结果由可见‑红外图像诊断结果VI‑result与声源缺陷诊断结果S‑result融合生成；
所述电力设备缺陷诊断模型至少包括：可见光图像‑红外热图像缺陷诊断子网络、声音缺陷诊断子网络和决策融合网络；
所述可见光图像‑红外热图像缺陷诊断子网络中设置有挤压激励SE模块和DW卷积模块，所述缺陷诊断模块生成可见‑红外图像诊断结果VI‑result的计算过程，具体包括：利用所述挤压激励SE模块和所述DW卷积模块，计算所述第二可见光图像Vimg的可见光特征图FM‑v3、可见光特征图FM‑v5，以及所述第二红外热图像Iimg的红外特征图FM‑i3、红外特征图FM‑i5；
分别基于所述可见光特征图FM‑v3、所述可见光特征图FM‑v5中的位置信息，对所述红外特征图FM‑i3、所述红外特征图FM‑i5中的温度信息进行非均匀提取，生成融合特征图output_1和融合特征图output_2；
根据所述融合特征图output_1和所述融合特征图output_2，进行非极大值抑制NMS操作，生成所述可见‑红外图像诊断结果VI‑result。
2.如权利要求1所述的基于多源数据融合的电力设备缺陷诊断装置，其特征在于，所述缺陷诊断模块生成所述声源缺陷诊断结果S‑result的计算过程，具体包括：根据所述声学图像Simg、所述声音特征向量Smfcc，进行4层DW卷积和池化操作，将得到的声学图像特征图和声音特征向量特征图打平；
经2层全连接操作，确定特征间非线性关系；
经softmax层处理后输出预测结果，生成所述声源缺陷诊断结果S‑result。
3.如权利要求1至2中任一项所述的基于多源数据融合的电力设备缺陷诊断装置，其特征在于，所述第一多源数据包括：声音数据、第一可见光图像和第一红外热图像，所述缺陷诊断模块还用于：将所述决策级融合诊断结果在所述第二可见光图像Vimg中进行标注。
4.一种基于多源数据融合的电力设备缺陷诊断方法，其特征在于，所述方法包括：步骤1，对采集到的第一多源数据进行预处理，生成电力设备第二多源数据，其中，所述电力设备第二多源数据至少包括：声学图像Simg、第二可见光图像Vimg、第二红外热图像Iimg和声音特征向量Smfcc；
步骤2，构建电力设备缺陷诊断模型，根据所述电力设备第二多源数据，生成决策级融合诊断结果，所述决策级融合诊断结果由可见‑红外图像诊断结果VI‑result与声源缺陷诊断结果S‑result融合生成，所述电力设备缺陷诊断模型至少包括：可见光图像‑红外热图像缺陷诊断子网络、声音缺陷诊断子网络和决策融合网络；
所述可见光图像‑红外热图像缺陷诊断子网络中设置有挤压激励SE模块和DW卷积模块，所述步骤2中，所述可见‑红外图像诊断结果VI‑result的计算过程，具体包括：步骤21，利用所述挤压激励SE模块和所述DW卷积模块，计算所述第二可见光图像Vimg的可见光特征图FM‑v3、可见光特征图FM‑v5，以及所述第二红外热图像Iimg的红外特征图FM‑i3、红外特征图FM‑i5；
步骤22，分别基于所述可见光特征图FM‑v3、所述可见光特征图FM‑v5中的位置信息，对所述红外特征图FM‑i3、所述红外特征图FM‑i5中的温度信息进行非均匀提取，生成融合特征图output_1和融合特征图output_2；
步骤23，根据所述融合特征图output_1和所述融合特征图output_2，进行非极大值抑制NMS操作，生成所述可见‑红外图像诊断结果VI‑result。
5.如权利要求4所述的基于多源数据融合的电力设备缺陷诊断方法，其特征在于，所述步骤2中，所述声源缺陷诊断结果S‑result的计算过程，具体包括：根据所述声学图像Simg、所述声音特征向量Smfcc，进行4层DW卷积和池化操作，将得到的声学图像特征图和声音特征向量特征图打平；
经2层全连接操作，确定特征间非线性关系；
经softmax层处理后输出预测结果，生成所述声源缺陷诊断结果S‑result。
6.如权利要求5所述的基于多源数据融合的电力设备缺陷诊断方法，其特征在于，所述第一多源数据包括：声音数据、第一可见光图像和第一红外热图像，所述步骤2之后，还包括：将所述决策级融合诊断结果在所述第二可见光图像Vimg中进行标注。 说明书 : 一种基于多源数据融合的电力设备缺陷诊断装置及方法技术领域[0001] 本申请涉及电力设备诊断的技术领域，具体而言，涉及一种基于多源数据融合的电力设备缺陷诊断装置及一种基于多源数据融合的电力设备缺陷诊断方法。背景技术[0002] 电力设备是输配电网中的枢纽和通道，设备在使用的过程中会有老化、失修、故障隐患等情况出现。因此，针对电力设备定期的缺陷诊断工作可及早排查各设备安全运行隐患，有效保证输配电网的正常运行。[0003] 电力设备在运行时会伴随有不同程度的发热和声响情况，而且异常的声响和发热情况是电力设备缺陷最明显的标志。因此，基于电力设备工作时发热和声响情况可对各设备进行缺陷诊断。[0004] 现有技术中，电力设备缺陷诊断装置多是基于某种单一信源数据进行缺陷诊断，如基于声音的缺陷诊断和基于红外热成像的缺陷诊断等。如果想通过多个信源对设备缺陷进行联合诊断时，一般是先通过单一信源对设备进行诊断，得出该类信源诊断信息后，再进行综合分析得出最终诊断结果，这些装置不能充分考虑电力设备工作时多种信源数据之间的联系。因此，前述诊断装置对早期或表征不明显的设备缺陷易产生误检和漏检的情况。[0005] 而且，这些装置的鲁棒性差，受周边工作环境影响较大。发明内容[0006] 本申请的目的在于：克服现有电力设备缺陷诊断技术中依赖数据信源单一、缺陷漏检率和误检率高以及鲁棒性差等问题，提供了一种基于多源数据融合的电力设备缺陷诊断装置及方法。[0007] 本申请第一方面的技术方案是：提供了一种基于多源数据融合的电力设备缺陷诊断装置，装置至少包括数据采集模块和人工智能处理模块，数据采集模块用于采集电力设备的第一多源数据，人工智能处理模块至少包括：数据预处理模块，缺陷诊断模块；数据预处理模块用于对采集到的第一多源数据进行预处理，生成指定格式的电力设备第二多源数据，其中，指定格式的电力设备第二多源数据至少包括：声学图像Simg、第二可见光图像Vimg、第二红外热图像Iimg和声音特征向量Smfcc；缺陷诊断模块用于构建电力设备缺陷诊断模型，根据指定格式的电力设备第二多源数据，生成决策级融合诊断结果，决策级融合诊断结果由可见‑红外图像诊断结果VI‑result与声源缺陷诊断结果S‑result融合生成。[0008] 上述任一项技术方案中，进一步地，电力设备缺陷诊断模型至少包括：可见光图像‑红外热图像缺陷诊断子网络、声音缺陷诊断子网络和决策融合网络。[0009] 上述任一项技术方案中，进一步地，可见光图像‑红外热图像缺陷诊断子网络中设置有挤压激励SE模块和DW卷积模块，缺陷诊断模块生成可见‑红外图像诊断结果VI‑result的计算过程，具体包括：利用挤压激励SE模块和DW卷积模块，计算第二可见光图像Vimg的可见光特征图FM‑v3、可见光特征图FM‑v5，以及第二红外热图像Iimg的红外特征图FM‑i3、红外特征图FM‑i5；分别基于可见光特征图FM‑v3、可见光特征图FM‑v5中的位置信息，对红外热特征图FM‑i3、红外热特征图FM‑i5中的温度信息进行非均匀提取，生成融合特征图output_1和融合特征图output_2；根据融合特征图output_1和融合特征图output_2，进行非极大值抑制NMS操作，生成可见‑红外图像诊断结果VI‑result。[0010] 上述任一项技术方案中，进一步地，缺陷诊断模块生成声源缺陷诊断结果S‑result的计算过程，具体包括：根据声学图像Simg、声音特征向量Smfcc，进行4层DW卷积和池化操作，将得到的声学图像Simg的声学图像特征图和声音特征向量Smfcc的声音特征向量特征图打平；经2层全连接操作，确定特征间非线性关系；经softmax层处理后输出预测结果，生成声源缺陷诊断结果S‑result。[0011] 上述任一项技术方案中，进一步地，第一多源数据包括：声音数据、第一可见光图像和第一红外热图像，缺陷诊断模块还用于：将决策级融合诊断结果在第二可见光图像Vimg中进行标注。[0012] 本申请第二方面的技术方案是：提供了一种基于多源数据融合的电力设备缺陷诊断方法，该方法包括：步骤1，对采集到的第一多源数据进行预处理，生成指定格式的电力设备第二多源数据，其中，指定格式的电力设备第二多源数据至少包括：声学图像Simg、第二可见光图像Vimg、第二红外热图像Iimg和声音特征向量Smfcc；步骤2，构建电力设备缺陷诊断模型，根据指定格式的电力设备第二多源数据，生成决策级融合诊断结果，决策级融合诊断结果由可见‑红外图像诊断结果VI‑result与声源缺陷诊断结果S‑result融合生成。[0013] 上述任一项技术方案中，进一步地，电力设备缺陷诊断模型至少包括：可见光图像‑红外热图像缺陷诊断子网络、声音缺陷诊断子网络和决策融合网络。[0014] 上述任一项技术方案中，进一步地，可见光图像‑红外热图像缺陷诊断子网络中设置有挤压激励SE模块和DW卷积模块，步骤2中，可见‑红外图像诊断结果VI‑result的计算过程，具体包括：步骤21，利用挤压激励SE模块和DW卷积模块，计算第二可见光图像Vimg的可见光特征图FM‑v3、可见光特征图FM‑v5，以及第二红外热图像Iimg的红外特征图FM‑i3、红外特征图FM‑i5；步骤22，分别基于可见光特征图FM‑v3、可见光特征图FM‑v5中的位置信息，对红外热特征图FM‑i3、红外热特征图FM‑i5中的温度信息进行非均匀提取，生成融合特征图output_1和融合特征图output_2；步骤23，根据融合特征图output_1和融合特征图output_2，进行非极大值抑制NMS操作，生成可见‑红外图像诊断结果VI‑result。[0015] 上述任一项技术方案中，进一步地，步骤2中，声源缺陷诊断结果S‑result的计算过程，具体包括：根据声学图像Simg、声音特征向量Smfcc，进行4层DW卷积和池化操作，将得到的声学图像Simg的声学图像特征图和声音特征向量Smfcc的声音特征向量特征图打平；经2层全连接操作，确定特征间非线性关系；经softmax层处理后输出预测结果，生成声源缺陷诊断结果S‑result。[0016] 上述任一项技术方案中，进一步地，第一多源数据包括：声音数据、第一可见光图像和第一红外热图像，步骤2之后，还包括：将决策级融合诊断结果在第二可见光图像Vimg中进行标注。[0017] 本申请的有益效果是：[0018] 本发明公开了一种基于多源数据融合的缺陷诊断装置及方法，本装置可同时采集电力设备的第一多源数据，包括声音数据、红外热图像以及可见光图像。本装置基于采集的第一多源数据对电力设备进行缺陷诊断，诊断效果良好可满足实际应用的要求。[0019] 相比目前常见的电力设备缺陷诊断装置，如基于声音的电力设备缺陷诊断装置和基于红外热图像的电力设备陷缺诊断装置等，本发明的优势主要体现在以下方面：[0020] 1.实现多源数据融合，本发明中的缺陷诊断模型基于深度学习中卷积神经网络和全连接神经网络设计，将声音、可见光图像和红外热图像进行数据融合，提供了一种针对声音数据、可见光图像和红外热图像进行数据融合的方式。[0021] 2.基于多源数据融合缺陷诊断装置具有较高的诊断准确率，结合三种信源数据，联合得出诊断结果，对早期缺陷或表征不明显的缺陷诊断准确率高，适用于实际诊断任务。[0022] 3.基于多源数据融合的缺陷诊断装置具有很好的稳定性，在某种信源数据缺失或数据失真严重情况下，仍可保证比较准确的诊断结果。如待诊断设备处于多声源高混响的复杂声场中，声音数据噪声大，本装置仍可基于可见光图像和红外热图像对设备缺陷进行诊断。[0023] 4.多源数据及单源数据采集，本装置基于麦克风阵列、可见光图像采集模组和红外热图像采集模组，针对目标电力设备，不仅可采集目标设备的多种信源数据而且可按照要求单独采集三种信源数据中的任意一种或两种数据。附图说明[0024] 本申请的上述和/或附加方面的优点在结合下面附图对实施例的描述中将变得明显和容易理解，其中：[0025] 图1是根据本申请的一个实施例的基于多源数据融合的电力设备缺陷诊断装置的示意图；[0026] 图2是根据本申请的一个实施例的可见光图像‑红外热缺陷诊断子网络模型结构的示意图；[0027] 图3是根据本申请的一个实施例的声音缺陷诊断子网络模型结构的示意图；[0028] 图4是根据本申请的一个实施例的模型训练及测试流程图。具体实施方式[0029] 为了能够更清楚地理解本申请的上述目的、特征和优点，下面结合附图和具体实施方式对本申请进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互结合。[0030] 在下面的描述中，阐述了很多具体细节以便于充分理解本申请，但是，本申请还可以采用其他不同于在此描述的其他方式来实施，因此，本申请的保护范围并不受下面公开的具体实施例的限制。[0031] 实施例一：[0032] 如图1所示，本实施例提供了一种基于多源数据融合的电力设备缺陷诊断装置，该装置可对电力设备进行第一多源数据采集和数据融合，完成对电力设备缺陷诊断任务。[0033] 该装置中的数据采集模块分别与数据传输模块、人工智能处理模块相连。数据采集模块将采集到的第一多源数据，传输至人工智能处理模块进行数据预处理和缺陷诊断，同时，传输至数据传输模块进行数据的下载备份。[0034] 其中，数据采集模块中设置有多种采集装置，至少包括：麦克风阵列传感器、可见光图像采集模组、红外热图像采集模组。相应的，采集的第一多源数据至少包括：电力设备工作的声响(声音数据)、第一可见光图像和第一红外热图像。[0035] 人工智能处理模块主要用于对数据采集模块采集到的第一多源数据进行设备缺陷诊断，该模块中至少包括：数据预处理模块、缺陷诊断模块，其中，数据预处理模块对采集到的第一多源数据进行数据预处理操作，缺陷诊断模块对预处理后指定格式的第二多源数据进行设备缺陷诊断，并将诊断结果传输至可视化及报警模块，以便对诊断结果进行可视化展示。[0036] 在本实施例中，数据预处理模块对采集到的声音数据、第一可见光图像、第一红外热图像进行预处理操作，预处理操作至少包括：去噪、图像增强、图像对齐以及提取声音信号的MFCC(梅尔频率倒谱系数)特征参数等。通过预处理操作得到对齐后的第二可见光图像Vimg、第二红外热图像Iimg、声学图像Simg以及提取的声音特征向量Smfcc，其中，声学图像Simg以图像形式显示声源在空间的分布，以彩色云图的形式显示，能够显示声源位置，声压越高、相应位置处的颜色越亮。[0037] 缺陷诊断模块包括计算硬件和运行于计算硬件中的基于深度学习的缺陷诊断方法。具体的，计算硬件为人工智能运算模组，可为边缘系统提供强大计算能力，并行运行现代神经网络及同时处理来自多个传感器的高分辨率数据。在基于深度学习的缺陷诊断方法中，主要是提出了一种基于深度学习的多源数据融合缺陷诊断模型，该模型可用于对电力设备缺陷进行诊断，至少包括：可见光图像‑红外热图像缺陷诊断子网络、声音缺陷诊断子网络和决策融合网络。该缺陷诊断模型充分融合电力设备工作的声音、第一红外热图像及第一可见光图像信息，基于上述数据采集模块采集到的第一多源数据进行设备缺陷诊断。[0038] 可视化及报警模块主要包括触摸显示屏、报警蜂鸣器、及相应的外围电路。利用触摸显示屏可对设备缺陷诊断装置进行可视化操作。在进行缺陷诊断时，触摸显示屏能够实时显示标记诊断结果的第二可见光图像Vimg，并生成设备诊断报告，同时，在诊断出设备存在异常时，触发报警蜂鸣器报警，以提示维护人员对诊断出存在缺陷的设备进行及时维护。[0039] 本实施例中的数据传输模块包括usb传输模块和串口通信模块。通过usb传输模块可对上述缺陷诊断模型进行更新，并下载设备诊断报告等。[0040] 进一步的，上述装置中还可以设置电池管理模块，该电池管理模块选用锂电池供电模组对该装置进行供电，以满足该装置各部件的供电需求。电池管理模块提供充放电保护及过载保护功能，能够延长锂电池供电模组的使用寿命。同时，该锂电池供电模组可拆卸，针对繁重诊断任务，可以更换备用电池，以保证长时间诊断作业。[0041] 实施例二：[0042] 在上述实施例的基础上，本实施例还提供一种基于多源数据融合的电力设备缺陷诊断方法，该方法包括：[0043] S1采集电力设备工作状态下的第一多源数据。具体的，在启动缺陷诊断任务后，利用麦克风阵列传感器、可见光图像采集模组和红外热图像采集模组采集电力设备工作状态下的第一多源数据，并将其保存在第一多源数据缓冲区中，其中，第一多源数据包括声音数据、第一可见光图像和第一红外热图像。[0044] S2对第一多源数据进行预处理操作，生成声学图像Simg、第二可见光图像Vimg和第二红外热图像Iimg，并对声音数据进行特征参数提取，得到声音特征向量Smfcc，即指定格式的第二多源数据。该过程具体如下：[0045] S2.1基于声音数据，利用波束成形技术，得到电力设备的声学图像Simg。[0046] 具体的，将麦克风阵列传感器中各阵元采集到的声音信号进行加权求和，形成有指向性的波束，通过搜索声源的可能位置，来引导该指向性的波束，修改权值，使得各阵元的输出信号(声音信号)功率最大，以图像形式显示声源在空间中的位置分布，该图像以彩色云图的形式显示，会显示出声源位置，声压越高颜色越亮。这张图就是基于声音数据得到的声学图像Simg。[0047] S2.2利用Meshflow图像对齐和标定方法，分别将声学图像Simg、第一可见光图像、第一红外热图像划分为多个大小相等的小网格，计算各小网格中的特征点，基于计算出的特征点确定图像对齐矩阵，以对声学图像Simg、第一可见光图像、第一红外热图像进行对齐。最后，将对齐后的各个图像做尺寸缩放，得到大小均为416×416的声学图像Simg、第二可见光图像Vimg和第二红外热图像Iimg。[0048] S2.3对声音数据进行MFCC特征参数的提取，得到声音特征向量Smfcc。[0049] S3将预处理后的、指定格式的第二多源数据，输入基于深度学习的多源数据融合缺陷诊断模型，对声学图像Simg、第二可见光图像Vimg和第二红外热图像Iimg和声音特征向量Smfcc进行数据融合和缺陷诊断，得到最终的诊断结果，实现设备缺陷诊断，其中，基于深度学习的多源数据融合缺陷诊断模型至少包括：可见光图像‑红外热图像缺陷诊断子网络、声音缺陷诊断子网络和决策级融合层。[0050] 具体的，本实施例中的设备缺陷诊断，主要采用基于深度学习的多源数据融合缺陷诊断模型，基于构建的指定格式的电力设备第二多源数据，在缺陷诊断模型训练过程中，利用反向传播算法，调整缺陷诊断模型的权重和阈值，以得到满足电力设备实践诊断要求的缺陷诊断模型。[0051] 其中，可见光图像‑红外热图像缺陷诊断子网络以第二可见光图像Vimg中提取的特征图为掩膜，并非均匀提取第二红外热图像Iimg上设备所在位置的温度特征，实现可见光图像和红外热图像的特征级融合。[0052] 声音缺陷诊断子网络则利用对齐后的声学图像Simg和第二可见光图像Vimg，将依据声学图像Simg进行诊断的最后结果，显示在了第二可见光图像Vimg上。[0053] S4根据基于深度学习的多源数据融合缺陷诊断模型的诊断结果，进行可视化显示，并生成设备诊断报告。具体的，在第二可见光图像Vimg中标注设备缺陷类别，并将诊断结果在触摸显示屏上进行可视化显示，同时生成设备诊断报告。若诊断到设备缺陷，随即生成报警信号，以触发蜂鸣器报警，结束该次诊断任务。[0054] 实施例三：[0055] 在上述实施例的基础上，本实施例示出一种基于多源数据融合的电力设备缺陷诊断方法，该方法包括：[0056] 步骤1，对采集到的第一多源数据进行预处理，生成指定格式的电力设备的第二多源数据，其中，指定格式的电力设备的第二多源数据至少包括：声学图像Simg、第二可见光图像Vimg和第二红外热图像Iimg和声音特征向量Smfcc。[0057] 在上述实施例的基础上，通过麦克风阵列传感器、可见光图像采集模组、红外热图像采集模组等装置，采集各电力设备工作时的第一多源数据，包括声音数据、第一可见光图像和第一红外热图像。对上述第一多源数据进行预处理，得到对齐的第二可见光图像Vimg、声学图像Simg、第二红外热图像Iimg和声音特征向量Smfcc，即指定格式的第二多源数据。[0058] 设定，共采集到3200条电力设备的第一多源数据，其中，涉及的电力设备包括变压器、高压断路器和电容器3类，同时涵盖了多场景下、多类别电力设备的第一多源数据。[0059] 步骤2，根据指定格式的电力设备第二多源数据，构建电力设备缺陷诊断模型，其中，电力设备缺陷诊断模型包括：可见光图像‑红外热图像缺陷诊断子网络、声音缺陷诊断子网络和决策融合网络，决策融合网络采用的多源数据融合方式为：特征级融合和决策级融合相结合。基于可见光图像‑红外热图像缺陷诊断子网络，实现可见光信源与红外热信源特征融合，之后基于声音缺陷诊断子网络，得到声音信源的诊断结果，再将特征融合结果与诊断结果进行决策融合，得到最终多源数据融合后的诊断结果。[0060] 本实施例示出一种可见‑红外图像诊断结果VI‑result的计算过程，具体包括：[0061] 步骤21，利用所述挤压激励SE模块和所述DW卷积模块，计算所述第二可见光图像Vimg的可见光特征图FM‑v3、可见光特征图FM‑v5，以及所述第二红外热图像Iimg的红外特征图FM‑i3、红外特征图FM‑i5；[0062] 具体的，将预处理后的第二可见光图像Vimg和第二红外热图像Iimg，输入可见光图像‑红外热图像缺陷诊断子网络，得到基于可见图像和红外热图像特征融合的缺陷诊断结果。[0063] 该子网络基于改进型轻量级YOLOv3Tiny网络设计，在原网络基础上，引入了挤压激励SE模块，以替换原网络中的部分卷积模块，实现通道级注意力机制。同时，将第二可见光图像Vimg提取的特征图作为掩膜，并非均匀地提取第二红外热图像Iimg上设备所在位置的温度特征，实现特征级数据融合。基于该网络，可准确判别设备缺陷类型及其所在位置。[0064] 具体的，如图2所示，为可见光图像‑红外热图像缺陷诊断子网络的模型结构图，需要说明的是，图中无色矩形框为提取的红外热和可见光特征图，灰色矩形框为对特征图进行的卷积、池化等操作。[0065] 首先，将尺寸为416×416×3的第二红外热图像Iimg和第二可见光图像Vimg输入网络中，经4层卷积和SE模块处理得到大小为26*26*256的红外热特征图FM‑i1和可见光特征图FM‑v1，再经3层卷积得到大小为13*13*256的红外热特征图FM‑i2和可见光特征图FM‑v2。[0066] 之后，对可见光特征图FM‑v2做上采样操作，并与之前的可见光特征图FM‑v1做通道拼接，得到不同尺度融合后的尺寸为26*26*384的可见光特征图FM‑v4。对红外热特征图FM‑i2做相同操作，得到红外热特征图FM‑i4。[0067] 然后，可见光特征图FM‑v2和FM‑v4分别经两次卷积和池化操作，得到尺寸为13*13*256的可见光特征图FM‑v3和尺寸为26*26*256可见光特征图的FM‑v5。对红外热特征图FM‑i2和FM‑i4做相同操作，得到红外热特征图FM‑i3和FM‑i5。[0068] 步骤22，分别基于所述可见光特征图FM‑v3、所述可见光特征图FM‑v5中的位置信息，对所述红外热特征图FM‑i3、所述红外热特征图FM‑i5中的温度信息进行非均匀提取，生成融合特征图output_1和融合特征图output_2；[0069] 步骤23，根据所述融合特征图output_1和所述融合特征图output_2，进行非极大值抑制NMS操作，生成可见‑红外图像诊断结果VI‑result。[0070] 具体的，在下采样倍数为16和32的两个尺度上，将可见光特征图FM‑v3、可见光特征图FM‑v5与红外特征图FM‑i3、红外特征图FM‑i5进行对应位置相乘，基于可见光特征图FM‑v3、FM‑v5的位置信息，对红外热特征图FM‑i3、FM‑i5的温度信息进行非均匀提取，得到大小为13*13*255和26*26*255的融合特征图output_1和output_2，其中，13*13*255的融合特征图用于预测大尺寸目标，而26*26*255的融合特征图用于预测小尺寸目标。[0071] 基于输出的融合特征图output_1和output_2进行非极大值抑制NMS操作，得到最终的基于第二可见光图像Vimg和第二红外热图像Iimg的诊断结果VI‑result。[0072] 设定本实施例中该网络诊断结果的类别标签有6类，包括变压器正常、变压器异常、电容器正常、电容器异常、高压断路器正常和高压断路器异常。本实施例中，特征图的通道数与卷积核个数一一对应，基于上述设定的类别标签有6类，结合yolo网络的特点，确定网络结构中的卷积核个数，即特征图FM‑v3、FM‑i3、FM‑v5和FM‑i5的通道数。[0073] 所以，特征图FM‑v3、FM‑i3、FM‑v5和FM‑i5的通道数的计算公式为：[0074] nchannels＝(1+4+nclass)×2＝(1+4+6)×2＝22[0075] 式中，nchannels为特征图通道数，nclass为预测标签的类别数。在特征图的22维通道中，包括1维用来预测网格中是否含有目标，4维用来表示预测的目标框的坐标，6维表示为目标框为对应6类标签的置信度。[0076] 同时，由于在16倍和32倍两个下采样尺度下做缺陷诊断，所以卷积核的数量要乘2。[0077] 本实施例中的挤压激励SE模块，先做挤压操作，基于输入的特征图提取全局特征得到全局特征图，挤压方式为全局均值池化。基于全局特征图中各通道的信息量，学习各通道的重要程度。然后对提取的全局特征图做挤压操作，以Sigmoid函数实现门机制，以获取各通道间的非线性关系。基于SE模块学习各通道的重要程度及通道间的非线性关系，实现通道级注意力机制。[0078] 图中，在下采样倍数为16和32的两个尺度上得到可见光特征图(FM‑v5、FM‑v3)和红外特征图(FM‑i5、FM‑i3)。相比红外特征图，可见光特征图包含更丰富的位置信息。因此，该诊断子网络采用非均匀红外特征提取手段，对红外热特征图和可见光特征图进行融合。即将可见光特征图作为掩膜，如图2中的可见光特征图FM‑v3和FM‑v5，上述可见光特征图中包含了设备的位置信息，其中，越靠近设备缺陷所在位置，可见光特征图的像素值越大，显示时该位置也越亮。将可见光特征图FM‑v3和FM‑v5分别与红外热特征图FM‑i3和FM‑i5对应位置相乘，基于可见光特征图FM‑v3和FM‑v5的像素值的大小作为权重系数，越靠近设备缺陷所在位置权重越大。对红外特征图上相同位置的温度信息进行非均匀提取，得到融合特征图。[0079] 基于本方法提出的非均匀红外特征提取手段，可重点关注设备所在位置的温度特征而忽略背景的温度特征的影响。从而，得到富含设备位置信息和温度信息的融合特征图，可有效提高模型的检测精度。[0080] 本实施例还示出一种声源缺陷诊断结果S‑result的计算过程，具体包括：针对预处理后的声学图像Simg和声音特征向量Smfcc，输入声音缺陷诊断子网络，得到基于声音数据的缺陷诊断结果。[0081] 具体的，如图3所示，为声音缺陷诊断子网络的模型结构图，需要说明的是，图中无色矩形框为生成的特征图，灰色矩形框为对特征图进行的卷积、池化等操作。[0082] 将尺寸为416*416*3的声学图像Simg和声音特征向量Smfcc输入声音缺陷诊断子网络，分别经4层DW卷积和池化操作，将得到的声学图像Simg特征图和声音特征向量Smfcc特征图打平拼接成一维的特征向量，之后经2层全连接操作，确定特征间非线性关系，最后经softmax层处理后输出预测结果，得到基于声音的声源缺陷诊断结果S‑result。[0083] 其中，声音缺陷诊断子网络采用基于深度可分离卷积(DW卷积)操作的Depthwise和Pointwise卷积。相比一般的卷积操作，DW卷积可在保证诊断效果的同时，减少计算量和待训练参数，加快模型的训练和推理速度。[0084] 本实施例又示出一种生成决策级融合诊断结果的方法，该方法包括：[0085] 针对采集的第一多源数据，基于可见光图像‑红外热图像缺陷诊断子网络得到可见光图像‑红外热图像特征融合的可见‑红外图像诊断结果VI‑result。基于声音缺陷诊断子网络，得到声学图像Simg‑声音特征向量Smfcc特征融合的声源缺陷诊断结果S‑result，再将两诊断结果做决策级融合。同时，由于数据预处理模块对声学数据、第一可见光图像和第一红外热图像做了缩放对齐操作，所以，可直接对两个诊断子网络的诊断结果进行融合，而无需坐标变换。[0086] 最后，在第二可见光图像Vimg中直接标注融合后的诊断结果。[0087] 具体的，决策级诊断结果融合规则，基于各诊断结果中预测框的交并比IOU。具体公式如下：[0088][0089] 式中，S为预测结果中预测框围成的面积，Ri为可见光图像‑红外热图像缺陷诊断子网络诊断结果中的任一缺陷，Rj为声音缺陷诊断子网络诊断结果中的任一缺陷。[0090] 经试验，当两预测结果中预测框的IOU阈值设为0.83时，决策融合的诊断效果最好。在可视化显示时，对同一设备的缺陷诊断结果仅显示单个预测框，并将缺陷类别都标注于预测框上，避免针对单个设备缺陷重复画框。[0091] 需要说明的是，yolo网络检测一张图像后，会得到针对这张图像的检测结果即本实施例中的声源缺陷诊断结果S‑result和可见‑红外图像诊断结果VI‑result，检测结果中可能包含一个或多个检测到的目标，其中，R1表示声源缺陷诊断结果S‑resutl中的任意一个检测到的目标，都要去和可见‑红外图像诊断结果VI‑result中的检测到的目标做是否为同一缺陷的判断，每个目标会包含一些信息，其格式可以为(目标类别，目标位置)，其中，目标位置用矩形框的像素位置表示。[0092] 上述两个诊断子网络包括可见光图像‑红外热图像缺陷诊断子网络和声音缺陷诊断子网络，其中，声音缺陷诊断子网络利用了声学图像Simg和第二可见光图像Vimg对齐后，将最后结果显示在了第二可见光图像Vimg上。[0093] 这两个网络独立检测，得到的检测结果中可能会有重合的部分，考虑到最后显示是在第二可见光图像Vimg中，所以上述的“决策级诊断结果融合规则”就是：将两个网络中重复的检测结果保证只显示一次。判断的依据就是之前的目标类型和矩形框像素位置，若目标类型相同且IOU矩形框重叠交并比>0.83，则认为重合，只显示一个。[0094] 如图4所示，本实施例中，在构建电力设备缺陷诊断模型之后，还需要对其进行训练和推理。将整个指定格式的、电力设备的第二多源数据按照6:2:2的比例划分为训练集、验证集和测试集。基于训练集，利用反向传播算法调整模型的权重和阈值。基于验证集调整模型超参数，选出适合的深度学习模型结构。利用测试集来评估模型的泛化能力。[0095] 实施例四：[0096] 在上述实施例的基础上，本实施例又示出一种基于多源数据融合的电力设备缺陷诊断装置，该装置至少包括数据采集模块和人工智能处理模块，数据采集模块用于采集电力设备的第一多源数据，人工智能处理模块至少包括：数据预处理模块，缺陷诊断模块；[0097] 数据预处理模块用于对采集到的第一多源数据进行预处理，生成指定格式的电力设备第二多源数据，其中，指定格式的电力设备第二多源数据至少包括：声学图像Simg、第二可见光图像Vimg、第二红外热图像Iimg和声音特征向量Smfcc；[0098] 缺陷诊断模块用于构建电力设备缺陷诊断模型，根据指定格式的电力设备第二多源数据，生成决策级融合诊断结果，决策级融合诊断结果由可见‑红外图像诊断结果VI‑result与声源缺陷诊断结果S‑result融合生成。[0099] 进一步的电力设备缺陷诊断模型至少包括：可见光图像‑红外热图像缺陷诊断子网络、声音缺陷诊断子网络和决策融合网络。[0100] 其中，可见光图像‑红外热图像缺陷诊断子网络中设置有挤压激励SE模块和DW卷积模块，缺陷诊断模块生成可见‑红外图像诊断结果VI‑result的计算过程，具体包括：[0101] 利用挤压激励SE模块和DW卷积模块，计算第二可见光图像Vimg的可见光特征图FM‑v3、可见光特征图FM‑v5，以及第二红外热图像Iimg的红外特征图FM‑i3、红外特征图FM‑i5；[0102] 分别基于可见光特征图FM‑v3、可见光特征图FM‑v5中的位置信息，对红外热特征图FM‑i3、红外热特征图FM‑i5中的温度信息进行非均匀提取，生成融合特征图output_1和融合特征图output_2；[0103] 根据融合特征图output_1和融合特征图output_2，进行非极大值抑制NMS操作，生成可见‑红外图像诊断结果VI‑result。[0104] 进一步的，缺陷诊断模块生成声源缺陷诊断结果S‑result的计算过程，具体包括：[0105] 根据声学图像Simg、声音特征向量Smfcc，进行4层DW卷积和池化操作，将得到的声学图像特征图和声音特征向量特征图打平；[0106] 经2层全连接操作，确定特征间非线性关系；[0107] 经softmax层处理后输出预测结果，生成声源缺陷诊断结果S‑result。[0108] 在本实施例的一个优选实现方式中，第一多源数据包括：声音数据、第一可见光图像和第一红外热图像，缺陷诊断模块还用于：将决策级融合诊断结果在第二可见光图像Vimg中进行标注。[0109] 以上结合附图详细说明了本申请的技术方案，本申请提出了一种基于多源数据融合的电力设备缺陷诊断装置及方法，该装置至少包括数据采集模块和人工智能处理模块，数据采集模块用于采集电力设备的第一多源数据，人工智能处理模块至少包括：数据预处理模块，缺陷诊断模块；数据预处理模块用于对采集到的第一多源数据进行预处理，生成指定格式的电力设备第二多源数据；缺陷诊断模块用于构建电力设备缺陷诊断模型，根据指定格式的电力设备第二多源数据，生成决策级融合诊断结果，决策级融合诊断结果由可见‑红外图像诊断结果VI‑result与声源缺陷诊断结果S‑result融合生成。通过本申请中的技术方案，克服现有电力设备缺陷诊断技术中依赖数据信源单一、缺陷漏检率和误检率高以及鲁棒性差等问题。[0110] 本申请中的步骤可根据实际需求进行顺序调整、合并和删减。[0111] 本申请装置中的单元可根据实际需求进行合并、划分和删减。[0112] 尽管参考附图详地公开了本申请，但应理解的是，这些描述仅仅是示例性的，并非用来限制本申请的应用。本申请的保护范围由附加权利要求限定，并可包括在不脱离本申请保护范围和精神的情况下针对发明所作的各种变型、改型及等效方案。

专利地区：山西

专利申请日期：2020-12-03

专利公开日期：2024-11-22

专利公告号：CN112419301B