智能电网大数据技术发展研究

第35卷第1期中国电机工程学报Vol.35No.1Jan.5,201522015年1月5日ProceedingsoftheCSEE©2015Chin.Soc.forElec.Eng.DOI：10.13334/j.0258-8013.pcsee.2015.01.001文章编号：0258-8013(2015)01-0002-11中图分类号：TM76智能电网大数据技术发展研究张东霞1，苗新2，刘丽平1，张焰3，刘科研1(1．中国电力科学研究院，北京市海淀区100192；2．国网北京经济技术研究院，北京市昌平区102209；3．上海交通大学电子信息与电气工程学院，上海市闵行区200240)ResearchonDevelopmentStrategyforSmartGridBigDataZHANGDongxia1,MIAOXin1,LIULiping1,ZHANGYan2,LIUKeyan1(1.ChinaElectricPowerResearchInstitute,HaidianDistrict,Beijing100192,China;2.StatePowerEconomicResearchInstitute,ChangpingDistrict,Beijing102209,China;3.SchoolofElectricalandElectronicEngineering,ShanghaiJiaoTongUniversity,MinhangDistrict,Shanghai200240,China)ABSTRACT:Smartgridisoneofthemostpotentialfieldforbigdataapplication.Somebasicconceptsofbigdataforsmartgridwereexpoundedinthepaper,includingdataresourcesandcharacteristics,applicationvaluepresentationofbigdatainsmartgrid,differenceinresearchapproachbetweenbigdataandtraditionalresearchmethod.Theresearchandengineeringapplicationofbigdatainsmartgridwereoverviewed.Thetheoreticalbasisandtechnologysystemforbigdatawerepresented.Theprimarytechnicalfieldsandpotentialapplicationbenefitsofbigdatawerediscussed.Finally,theresearchprojectsandroadmapforsmartgridbigdatawereproposed.KEYWORDS:bigdata;smartgrid;theoreticalbasis;technologicalsystem;applicationfields;techniqueroadmap摘要：智能电网是大数据最重要的应用领域之一。该文阐述了智能电网大数据的基本概念，包括：数据源及数据特征，大数据应用于智能电网的价值体现，大数据与传统研究方法的不同之处；综述了国内外智能电网大数据研究和工程应用现状；总结了大数据的理论基础和技术体系；论述了智能电网大数据重点应用领域及应用价值；提出智能电网大数据研究框架和技术发展路线建议。关键词：大数据；智能电网；理论基础；技术体系；应用领域；技术路线图0引言智能电网是电力工业发展的方向和趋势。智能电网利用先进的信息通信技术、计算机技术、控制技术及其他先进技术，实现对发电、电网运行、终端用电和电力市场中各利益方的需求和功能的协调，在尽可能提高系统各部分的高效率运行、降低成本和环境影响的同时，尽可能提高系统的可靠性、自愈能力和稳定性。智能电网的最终目标是建设成为覆盖电力系统整个生产过程，包括发电、输电、变电、配电、用电及调度等多个环节的全景实时系统。而支撑智能电网安全、自愈、绿色、坚强及可靠运行的基础是电网全景实时数据采集、传输和存储，以及累积的海量多源数据快速分析[1]。大数据是近年来受到广泛关注的新概念，是指通过对大量的、种类和来源复杂的数据进行高速地捕捉、发现和分析，用经济的方法提取其价值的技术体系或技术架构[2]。所以，广义上讲，大数据不仅是指大数据所涉及的数据，还包含了对这些数据进行处理和分析的理论、方法和技术。大数据早期主要应用于商业、金融等领域，后逐渐扩展到交通、医疗、能源等领域，智能电网被看作是大数据应用的重要技术领域之一。一方面，随着智能电网的快速发展，智能电表的大量部署和传感技术的广泛应用，电力工业产生了大量结构多样、来源复杂的数据，如何存储和应用这些数据，是电力公司面临的难题；另一方面，这些数据的利用价值巨大，不仅可将电网自身的管理、运行水平提升到新的高度，甚至产生根本性的变革，而且可为政府部门、工业界和广大用户提供更多更好的服务，为电力公司拓展很多增值业务提供条件。2012年以来，国内外在智能电网大数据技术研究和工程应用方面做了一些有益的尝试，奠定了一定的基础，但总的来看，这些工作尚处于探索起步阶段。智能电网大数据的研究和应用是一个长期而复杂的工作。客观上，大数据的理论尚未形成，大第1期张东霞等：智能电网大数据技术发展研究3数据的相关技术仍在快速发展中，还没有进入稳定时期；同时，智能电网通信信息系统的互操作问题仍然存在，数据模型尚未统一，给数据的获取和应用带来实际困难；主观上，电力公司在大数据的基本概念、研究方法、应用价值方面认识不足，没有达成共识，在思想认识和技术准备上存在不足，也给大数据在智能电网中的应用造成一定障碍。即使有些电力公司和电力研究者对大数据表示出很大兴趣，但由于缺少战略性研究和顶层设计的指导，影响了智能电网大数据研究和应用的有序推进[3-4]。文章阐述了智能电网大数据的数据特征、研究方法和价值体现；在综述智能电网大数据国内外研究和应用现状基础上，分析了智能电网大数据的发展驱动力和面临的挑战；系统总结了智能大数据的理论基础和技术体系，提出智能电网大数据的重点领域，分析了其应用价值；并在上述研究基础上提出智能电网大数据的研究框架和技术路线建议。1智能电网大数据概念1.1数据特征随着电力信息化的推进和智能变电站、智能电表、实时监测系统、现场移动检修系统、测控一体化系统以及一大批服务于各个专业的信息管理系统的建设和应用，数据的规模和种类快速增长，这些数据共同构成了智能电网大数据。根据数据来源的不同，可以将智能电网大数据分为两大类：一类是电网内部数据；另一类是外部数据。内部数据来自用电信息采集系统(collectionsysteminformation，CIS)、营销系统、广域监测系统(wideareameasurementsystem，WAMS)、配电管理系统、生产管理系统(productionmanagementsystem，PMS)、能量管理系统(energymanagementsystem，EMS)、设备检测和监测系统、客户服务系统、财务管理系统等的数据。外部数据来自电动汽车充换电管理系统、气象信息系统、地理信息系统(geographicinformationsystem，GIS)、公共服务部门、互联网等。这些数据分散放置在不同地方，由不同单位/部门管理，具有分散放置、分布管理的特性。这些数据之间并不完全独立，其相互关联、相互影响，存在着比较复杂的关系。如气象条件和社会经济形势会影响用户的用电情况、用户用电数据影响电力市场交易情况，电力市场数据可以为相关公共服务部门决策提供依据，而电力企业的GIS数据必须以市政规划数据作为参考。此外，这些数据结构复杂、种类繁多，除传统的结构化数据外，还包含大量的半结构化、非结构化数据，如服务系统的语音数据，检测数据中的波形数据、直升机巡检中拍摄的图像数据等。而且这些数据的采样频率与生命周期也各不同，从微秒级到分钟级，甚至到年度级[5]。综合各种对大数据的数据特征描述，考虑到智能电网数据的特点，智能电网大数据的数据特征可归结为如下几点：1）数据来自分散放置分布管理的数据源；2）数据量大、维度多、数据种类多；3）对公司、用户和社会经济均有巨大的价值；4）数据之间存在着复杂关系需要挖掘，且大多数情况下有实时性要求。1.2研究方法大数据的研究方法是传统数据挖掘技术的提升、扩展甚至革命性改变，大数据为数据的处理和分析提供了新的思路和方法。且随着大数据理论和技术的发展，新的方法和技术也会随之产生。1）大数据方法适用情况。大数据方法主要适用于如下情况：①由于数据规模大，数据处理时效性高，传统的数据处理技术无法满足技术要求或经济要求；②因数据类型多样，包含半结构化、非结构化数据以及空间矢量数据等，传统的处理技术不能满足要求。2）大数据研究思路。智能电网大数据研究方法与电力系统传统的基于数据计算分析的方法相比，在解决问题的方法和研究过程方面都有很大不同，具体表现为：传统方法通常基于抽样数据，而大数据方法则采用尽可能多的数据；传统的电力数据分析通常基于某个部门或某个专业的数据，智能电网大数据分析则是在实现跨专业、跨部门数据融合基础上进行多维度数据分析。3）大数据研究过程。传统的科学研究过程通常为：①科学假设，②科学实验，③实验结果分析，④科学假设得到证实或证伪。而智能电网大数据的研究过程是：①科学假设，②数据获取与整合形成数据资源，③数据挖掘和分析，④数据结果分析，⑤科学实验，⑥实验结果分析，⑦科学假设的证实、证伪或新知识、新规律的发现。该过程可进一步可细化为以下步骤。1）科学假设。领域专家根据先验知识，同时考虑到数据分析4中国电机工程学报第35卷存在着超越先验知识的可能性，提出科学假设，设计应用场景，提出需要的数据源和数据量。2）数据获取与整合形成数据资源。根据需要的数据源特点，提出数据获取与整合方案，形成统一的数据资源，为实现数据的融合，需要建立统一的数据模型。3）数据挖掘与分析。领域专家、数据分析专家和计算机专家一起，根据需要解决的问题，研究需要的数学挖掘与分析方法，包括常规的数学挖掘与分析方法，以及领域专用的数学计算分析方法。4）数据结果分析。领域专家对数据挖掘和分析结果进行专业分析，解释分析结果的内在原因。5）科学实验：若有必要，应进行科学实验，验证数据挖掘和分析结果的合理性。6）科学结果分析。对科学实验结果进行分析论证。7）科学假设得到证实、证伪或新知识和规律的发现。对照分析结果和科学假设，得到如下3种可能结果：一是数据分析结果证明科学假设不成立；二是数据分析结果证明科学假设成立，某种事物存在着假设的关联性，且对假设的关联性给予了定量的描述；三是通过数据分析获得新的发现，并对新发现的知识或规律进行科学的解释、分析和验证。2国内外研究现状2012年以来，国内外大学和研究机构、IT企业、电力公司均开展了智能电网大数据研究和工程应用。在国外，一些IT企业如IBM[6]、Oracle[7]等，陆续发布大数据白皮书，IBM和C3-Energy开发了针对智能电网的大数据分析系统，Oracle提出了智能电网大数据公共数据模型；美国电科院等研究机构启动了智能电网大数据研究项目；美国的太平洋燃气电力公司、加拿大的BCHydro等电力公司基于用户用电数据开展了大数据技术应用研究。在国内，中国电机工程学会发布了电力大数据白皮书；国家科技部2014年下达了3项863项目[7]，支持智能电网大数据研究；自2012年以来，国家电网公司启动了多项智能电网大数据研究项目，江苏省电力公司于2013年初率先开始建设营销大数据智能分析系统，开展了基于大数据的客户服务新模式应用开发研究；北京等电力公司也正在积极推进营配数据一体化基础上的智能电网大数据应用研究。智能电网大数据研究和应用已取得了一些成效，但总的来看，研究成果仍比较粗糙，不成体系