基于Hadoop的电力设备状态监测数据处理与分析的研究

硕士学位论文基于Hadoop的电力设备状态监测数据处理与分析的研究Researchondataprocessingandanalysisforelectricalequipmentconditionmonitoringusinghadoop蒋玉柱2013年12月国内图书分类号：TP393学校代码：10079国际图书分类号：621.3密级：公开硕士学位论文基于Hadoop的电力设备状态监测数据处理与分析的研究硕士研究生：蒋玉柱导师：朱永利教授申请学位：工学硕士学科：计算机科学与技术专业：计算机软件与理论所在学院：控制与计算机工程学院答辩日期：2014年3月授予学位单位：华北电力大学ClassifiedIndex:TP393U.D.C:621.3ThesisfortheMasterDegreeResearchondataprocessingandanalysisforelectricalequipmentconditionmonitoringusinghadoopCandidate：YuzhuJiangSupervisor：Prof.YongliZhuSchool：SchoolofControlandComputerEngineeringDateofDefence：March,2014Degree-Conferring-Institution：NorthChinaElectricPowerUniversity华北电力大学硕士学位论文原创性声明本人郑重声明：此处所提交的硕士学位论文《基于Hadoop的电力设备状态监测数据处理与分析的研究》，是本人在导师指导下，在华北电力大学攻读硕士学位期间独立进行研究工作所取得的成果。据本人所知，论文中除已注明部分外不包含他人已发表或撰写过的研究成果。对本文的研究工作做出重要贡献的个人和集体，均已在文中以明确方式注明。本声明的法律结果将完全由本人承担。作者签名：日期：年月日华北电力大学硕士学位论文使用授权书《基于Hadoop的电力设备状态监测数据处理与分析的研究》系本人在华北电力大学攻读硕士学位期间在导师指导下完成的硕士学位论文。本论文的研究成果归华北电力大学所有，本论文的研究内容不得以其它单位的名义发表。本人完全了解华北电力大学关于保存、使用学位论文的规定，同意学校保留并向国家有关部门或机构送交论文的复印件和电子版本，同意学校将学位论文的全部或部分内容编入有关数据库进行检索，允许论文被查阅和借阅。本人授权华北电力大学，可以采用影印、缩印或扫描等复制手段保存、可以公布论文的全部或部分内容。本学位论文属于（请在以上相应方框内打“√”）：保密□，在年解密后适用本授权书不保密□作者签名：日期：年月日导师签名：日期：年月日华北电力大学硕士学位论文I摘要随着智能电网的逐渐发展和完善，对其环境下的电力设备运行的安全性和稳定性要求越来越高，设备监测力度越来越大，电力设备种类多、数量大，在极端情况下（大雾天、阴雨天），短时间内就会累计大量的监测数据，早已超出现有监测方法的处理能力；如何利用这些海量的监测数据及时准确的预测电力设备的状态，已成为新的研究课题。Google提出云计算理念后，云计算平台Hadoop异军突起，具有海量存储与运算、高扩展性和高可靠性等优势，为解决上述状态监测问题提供了可能。本文首先详细归纳和总结了电力设备状态监测方法的研究现状，重点分析了现有方法在处理效率和处理准确率方面所存在的问题；随后对云计算Hadoop平台的应用情况和发展现状进行汇总，并对Hadoop平台各大软件进行了详细的介绍。接下来又说明了本文要解决的问题是如何及时地存储短时间内激增的设备监测数据，并利用这些海量监测数据对电力设备的状态进行高效、及时、准确的评估；通过对Hadoop平台的特性进行分析，确定使用Hadoop/HBase平台存储短时间内激增监测数据，并利用MapReduce实现自行设计的状态评估算法进行电力设备的状态评估。分析现有状态评估方法的问题和当前智能电网的应用需求，以及Hadoop平台的相关技术优势，针对智能电网对电力设备状态监测的高要求，提出了一种基于Hadoop平台的状态评估系统，并对系统总体架构、各子模块结构、所使用的算法、算法实现进行了详细的介绍，解决了现有评估方法效率低、实时性差的问题。文中详细介绍了Hadoop集群搭建方法、集群的调优、MapReduce程序设计的技巧、状态评估算法、及状态评估算法的MapReduce实现方法，并模拟了现实环境，对MapReduce算法进行了实时性和准确率进行了评估；尤其是算法实时性的测试，证明了在电力设备状态监测各类应用环境中相关设计的有效性和正确性。本课题为利用海量监测数据进行电力设备状态评估和预测提供了新的思路；是云计算Hadoop平台在智能电网领域的一次有益尝试。关键词：智能电网；状态监测；云计算；半监督聚类；Hadoop；HBase；MapReduce；KMeans华北电力大学硕士学位论文IIAbstractWiththegradualdevelopmentofsmartgridandhighdemandonelectricdevicesafequantity,electricalequipmentconditionmonitoringdataunderthisenvironmentwillincreaseenormouslywithinashortintervalwithmoreandmoredevices,makingtraditionalstatemonitoringmethodsconfrontedwithmanydifficulties.Howtoeveulatequicklyandefficientlywithbigdatahasbecomeanewtopic.AfterthepapersoncloudcomputingwerepublishedbyGoogle,cloudcomputingplatformHadoop,whichhasgreatadvantageofmassstorageandcomputing,highscalabilityandreliabilitycharacteristics,sprungupoutstandingly.Nowithasbecomeanewapproachtosolvethegridproblemmentionedabove.Firstly,thispaperintroducesthecurrentstatusoftheequipmentconditionmonitoringwithdetails,inwhichtheefficiencyproblemsareanalyzedspecifically.Secondly,thispapersummarizestheresearchesonthecloudcomputing,especiallyontheapplicationofHadoop.Bytakingthesharinganduseofthestatemonitoringdataasthespecificapplicationrequirementandconsideringthedifficultiesinthestorageandinquiryproducedbythedemandofhighreal-timecapabilityandreliabilityofonlinemonitoringdata,theHadoopplatformisappliedtothestatemonitoringofelectricalequipments,whichmakesthereliablestorageandefficientinquiryofmasselectricaldatapossible.ConsideringtheapplicationrequirementsofthedomesticgridcompaniesandtheadvantageoftheHadoopplatform,adatastorageandstatemonitoringmodelbasedonHadoopisproposed,whichmeetsthehighrequirementsoftheequipmentsstatemonitoringforthesmartgrid.Theimplementingmethodofthismodelisintroducedbytheillustrationofitsoverallstructureanddesignofeachalgorithmsub-module.Thismodelsolvesrelativeproblemsandrealizesthereliablestorageandefficientinquiryofthestatemonitoring.ThispaperintroducesthebuildingofHadoopcluster,optimizationoftheHadoopcluster,MapReduceprogramdesignpattern,themonitoringalgorithmachieve.WeassesstheMapReduceprogramefficiencyandaccuracywithsimulationofrelatityenvironment.Provedthatourdesign’seffectivenessandcorrectness.Thetopicprovidesanewmethodofthinkingforthedatastorageandinquiryof华北电力大学硕士学位论文IIIelectricalequipmentconditionmonitoringforthenextgeneration,laystheapplicationofHadoopusedinsmartgrid.Keywords:smartgrid,conditionmonitoring,cloudcomputing,semi-supervisedclustering,hadoop,hbase,mapreduce华北电力大学硕士学位论文IV目录摘要.......................................................................................................................IAbstract...................................................................................................................II第1章绪论.............................................................................................................11.1选题背景与意义............................................................................................11.2国内外研究现状............................................................................................21.2.1电力设备状态监测方法研究现状.........................................................21.2.2云计算与Hadoop平台研究现状...............................................