深度学习在故障诊断中的应用

分类号：单位代码：密级：学号：故障诊断论文作业题目：深度学习在电力变压器故障诊断应用姓名：黄贤存学号：20152283405研究方向：基于深度学习的图像处理二○一六年四月深度学习在电力变压器故障诊断应用摘要：由于电力变压器发生故障时油色谱在线监测数据无标签，工程现场往往会得到大量无标签故障样本，而传统的故障诊断方法在对变压器故障类型进行判别时往往无法充分利用这些无标签故障样本。该文基于深度学习神经网络[1](deeplearningneuralnetwork，DLNN)，构建了相应的分类模型，分析并用典型数据集对其分类性能进行测试。在此基础上提出一种电力变压器故障诊断新方法，它能够有效利用大量电力变压器油色谱在线监测无标签数据和少量故障电力变压器油中溶解气体分析[2](dissolvedgas-in-oilanalysis，DGA)实验数据进行训练，并以概率形式给出故障诊断结果，具有更优的故障判别性能，能够为变压器的检修提供更为准确的参考信息。关键词：故障诊断；电力变压器；深度学习神经网络；溶解气体分析Abstract：Asoilchromatographyonline-monitoringdataisunlabeledduringpowertransformerfailure，projectsitestendtogetalargenumberofunlabeledfaultsamples．However，traditionaldiagnosismethodsoftenfailtomakefulluseofthoseunlabeledfaultsamplesinjudgingtransformerfaulttypes．Basedondeeplearningneuralnetwork(DLNN)，acorrespondingclassificationmodelwasestablished，whoseclassificationperformancewasanalyzedandtestedbytypicaldatasets．Onthisbasis，anewfaultdiagnosismethodofpowertransformerwasfurtherproposed，inwhichalargenumberofunlabeleddatafromoilchromatogramon-linemonitoringdevicesandasmallnumberoflabeleddatafromdissolvedgas-in-oilanalysis(DGA)werefullyusedintrainingprocess．Itcouldgeneratefaultdiagnosisresultintheformofprobabilities，andprovidemoreaccurateinformationforthemaintenanceofpowertransformerbecauseofitsbetterperformanceinfaultdiagnosis．Keywords：faultdiagnosis;powertransformer;deeplearningneuralnetwork;dissolvedgas-in-oilanalysis0引言由于油浸式电力变压器在不同运行状态时，油中溶解气体的类型和含量不同，油中溶解气体分析(dissolvedgas-in-oilanalysis，DGA)长期以来成为判别其运行状态的一种有效手段。随着人工智能的发展，越来越多的领域运用人工神经网络(artficialneuralnetwork，ANN)、支持向量机(supportvectormachine，SVM)和极限学习机(extremelearningmachine，ELM)等电力变压器智能诊断方法来解决一些棘手的问题，但是但是ANN方法收敛速度慢、易发生震荡;SVM方法本质上属于二分类算法，在多分类问题上存在构造学习器困难及分类效率低的缺点，而且核函数的选择和参数的确定比较困难。深度学习神经网络(deeplearningneuralnetwork，DLNN)是2006年由Hinton教授提出的一种深层机器学习方法[3]，具有较强的从样本中提取特征以及对特征进行转换的能力，学习能力强，是近几年国内外研究和探讨的一个热点。目前，它已经成功应用于语音识别、目标识别、自然语言处理等方面，但在电力变压器故障诊断方面应用的研究才刚刚起步。基于DLNN，本文首先构建分类深度学习神经网络模型，并用典型的分类数据集对其分类性能进行分析验证。然后，结合电力变压器油色谱在线监测数据和DGA数据特征及故障类型，提出一种新的变压器故障诊断方法。该方法采用半监督机器学习方法，学习能力强，能够诊断出电力变压器各种运行状态的概率，为工作人员决定是否对变压器进行检修提供更多参考信息。最后，对文中提出的方法予以工程实例测试，并与基于BP神经网络和SVM的故障诊断方法进行对比分析。1深度学习神经网络的介绍DLNN简单可以理解为具有多个隐含层的神经网络，通过特征转换或特征提取来发现数据的内在属性，使其分类更加容易，进而提高分类的准确率。DLNN的方法主要包括自动编码器(auto-encoder，AE)、受限玻尔兹曼机(restrictedBoltzmannmachine，RBM)和卷积神经网络(convolutionalneuralnetwork，CNN)［21-22］，其中，CNN主要用于图像处理方面，并不适用于变压器故障诊断，这里不再作过多介绍。根据美国斯坦福大学教授AndrewNg的课程笔记，自动编码器[4]的相关理论简单介绍如下。一个基本的AE可视为一个3层的神经网络，其中输出层与输入层具有相同的规模，结构如图1所示。通常，将输入层到隐含层的变换过程称为编码，将隐含层到输出层的变换过程称为解码。设f和g分别表示编码和解码函数，则2个过程可分别表示如下:PWXSxffh(1)qWTShghgy(2)式中:fS和gS通常取为sigmoid函数;W表示输入层与隐含层之间的权值矩阵hWT表示隐含层与输出层之间的权值矩阵;p表示隐含层的偏置向量;q表示输出层的偏置向量。为下面表示方便，将AE的参数记为θ。图1AE结构Fig.1AEstructure假设训练样本集S={x1，…，xn}，预训练AE的过程实质上就是利用S对参数θ进行训练的过程。为此，我们首先需定义一个训练目标，即解码后的y应与输入x尽可能接近，这种接近程度可以通过重构误差函数L(x，y)来刻画，L(x，y)定义为(3)基于重构误差函数，针对训练数据集S，损失函数如式(4)所示，通过对损失函数作极小化处理便可以得到该层AE参数θ。(4)然而，在实际应用中，如果直接对损失函数作极小化，有时候很可能得到的是一个恒等函数。为了避免这种情况，我们可以对损失函数进行稀疏性限制，即稀疏自编码。实现时通常采用一种基于相对熵的方法，则损失函数如式(5)所示:（5）式中:β为控制稀疏性惩罚项[5]的权重系数;ρ为稀疏性参数;jP表示输入为iX时隐藏层上第j号神经元在训练集S上的平均激活度。KL(ρ||jP)的表达式如式(6)所示:（6）从式(6)可以看出，KL(ρ||jP)随着jP与ρ差值的增大而逐渐减小，当二者相等时取值为最小值0。因此可以通过最小化损失函数使得jP与ρ尽量接近。2深度学习模型2.1分类深度学习神经网络模型构建了分类深度学习神经网络(classificationdeeplearningneuralnetwork，CDLNN)模型，它的前部由若干层AE或ＲBM堆叠而成，顶部增加代表期望输出变量的最后层，即分类层，框架如图3所示。这里，分类器选用Softmax，它适用于多分类问题，能够以概率形式给出各分类结果，与CDLNN结合起来，往往会获得较优的判别性能。图3CDLNN模型Fig.3CDLNNmodelCDLNN用于多分类问题时，训练过程分为预训练和调优2个阶段。预训练主要是采用无标签样本或去标签样本作为网络的输入，通过BP算法或CD算法完成底部若干层AE或ＲBM参数的初始化;调优则是通过标签样本对包括分类层在内的整个网络参数进行微调，使得网络判别性能达到最优。2.2深度学习模型的性能测试采用2.1节中构建的CDLNN对Iris、Synthetic、Fourclass、Diabetes这4个数据集进行分类，网络参数θ初始化为服从高斯分布的随机较小数值，初始学习速率值设为0.1，参数更新速率值设为0.01。为便于下面描述，笔者将CDLNN分为CDLNN1和CDLNN2，CDLNN1表示模型前部由若干层AE堆叠而成，CDLNN2表示模型前部由若干层ＲBM堆叠而成。表1给出了CDLNN1和CDLNN2对不同数据集的分类情况。从表1中可以看出，CDLNN1和CDLNN2对不同数据集均具有较高的平均分类正确率，表明所构建的CDLNN模型适用于多分类问题。表1CDLNN对不同数据集分类情况Table1CDLNNclassificationondifferentdatasets3基于CDLNN的变压器故障诊断方法3.1选取样本数据为避免样本集偏斜，同时又能保证得到足够多的样本，可以选取多个工程现场记录的投运年限相近的相同型号变压器发生故障前后较短一段时间内的油色谱[6]在线监测数据，这些数据为无标签数据，可以用作预训练样本。对于调优阶段采用的少量调优样本，可以通过搜集相同型号故障变压器DGA结果样本数据获得，这些样本为带标签样本。3.2选取特征变量[7]根据工程现场在线监测数据特点，考虑到CDLNN具有较强的样本特征转换及特征提取能力，选取H2、CH4、C2H6、C2H4、C2H2、CO、CO2这7种特征气体变量。为了缩小特征气体含量值的差异，减小计算误差，采用式(7)对各特征气体含量值进行标准化处理[8]。（7）式中:xnew为标准化后气体的含量值;x为气体原始含量值;xmean为训练集或测试集X中该类气体含量的均值;xstd为X中该类气体含量的标准差值。3.3变压器的状态编码（标签制作）根据电力变压器运行过程中易发生的故障，将其诊断结果分为6种，具体故障类型及编码如表2所示。表2变压器状态编码Table2Transformerstatusencoding3.4变压器故障诊断CDLNN模型变压器故障诊断的CDLNN模型，结构如图4所示。模型的输入为3.2节中经标准化处理的7种油中溶解特征气体含量值，模型的输出为变压器处于各种运行状态的概率，概率值最大的状态即为故障诊断结果。变压器故障诊断CDLNN模型的训练过程同CDLNN一样，分为预训练和调优。预训练主要是采用大量预训练样本完成网络底部若干层AE或RBM参数的初始化[9];调优则是通过少量调优样本对包括分类器层在内的整个网络参数进行微调，使得网络的故障诊断性能达到最优。3.5基于CDLNN的变压器故障诊断步骤基于CDLNN的变压器故障诊断步骤如下:(1)选取样本数据和特征变量;(2)对变压器状态进行编码;(3)建立变压器故障诊断CDLNN模型;(4)初始化变压器故障诊断CDLNN模型参数为服从高斯分布的较小随机数值大小[10];(5)采用预训练集中无标签样本通过BP算法或CD算法对模型底部若干层AE或RBM进行预训练;(6)采用调优集中标签样本通过BP算法对整个CDLNN网络进行微调;(7)保存训练好的网络并利用测试集样本对网络诊断性能进行测试图4基于CDLNN的变压器故障诊断模型Fig.4TransformerfaultdiagnosismodelbasedonCDLNN4结果分析利用某变压器厂多个工程现场记录的同一型号变压器发生故障前后某段时间内的油色谱在线监测数据，通过DBSCAN算法对其进行聚类，平衡选取正常簇、近似故障簇和故障簇样本数据共1500条作为预训练集，另用工程现场搜集到的300组相同型号故障变压器DGA实验样本用