国内电力大数据的应用综述

国内电力大数据的应用综述（深圳市康拓普信息技术有限公司智能电网产品部）随着电网公司信息化建设的不断深入,信息化数据的大数据特征日益明显,大数据的应用需求日益迫切。电网公司都高度重视大数据技术的研究和应用，已启动开展相关工作，并在技术研究等方面取得了一定成果。国网公司和南网公司为了进一步明确大数据应用的总体原则及发展目标，分别从顶层设计、标准体系、技术研究、解决方案及业务应用提升等各方面，推动大数据在电力行业的应用，有效支撑信息化及智能电网建设，提高电网公司资源利用效率和业务处理能力。1.1.1国网公司的大数据发展国网公司展开大数据的相关研究是在“十一五”以来，国网实施了信息化的“SG186”工程，并取得重大成功的基础上展开的。通过SG-ERP建设的全面推进，助力了信息化与工业化融合发展，充分发展公司各项业务和信息资源，实现了业务应用深度集成，推进了业务流、信息流、数据流三流合一，促进了数据共享和业务融合；遵循国网信息化总体架构SG-ERP的要求，公司进行了一体化平台的建设，在信息化覆盖面、业务集成度、决策智能化、安全性、互动性、可视化等方面取得了显著成果。全面支撑人财物集约化管理、资产全寿命周期管理；公司数据中心积累了大量的数据资源，已具备良好的数据基础，并初步实现了企业级数据资源整合及共享利用。公司数据量急剧增长、数据类型多样、业务应用深化创新，对数据存储、处理、价值挖掘提出更高要求。截至2013年8月，国网公司的结构化数据平台已有600TB数据，2015年将达PB级；非结构化数据平台数据存储总量已达PB级；海量历史/准实时数据存储已达TB级；电网地理数据存储已达TB级。国网公司信息化系统目前以传统的商业智能技术为主，实现了在生产调度、运行监控等领域的准实时数据采集和分析预测，这些事后处理型的数据应用，难以发挥数据的全部价值，无法给相关业务能力带来更高层次的提升。基于大数据技术，改进数据处理速度，实现对上述数据的实时采集、计算、分析和预测，能够充分挖掘实时数据的价值，推动相关领域的业务管理水平达到新的高度。以运监系统为例，目前，该系统通过对离线数据进行分析，实现了事后报警。未来可以基于大数据技术实现在线分析处理和实时告警，并进一步通过在线挖掘实现事前预测预警。通过对上述需求加以总结，国网公司得出以下五类大数据信息化需求，这些需求的实现，有赖于大数据技术对现有平台的进一步改进提升。（1）建设目标与原则至2020年，完成国家电网公司电力大数据服务体系建设，为公司业务系统提升服务能力和应用水平提供技术创新手段，实现数据创造价值，增强服务模式。按照规划研究、试点验证、试点推广三个发展阶段，组织科研单位开展关键技术研究，省（市）公司开展试点验证。建设目标：组织电力大数据顶层设计，制定专项行动计划，形成总体框架与整体发展建设计划制定公司大数据关键技术体系开展关键技术研究初步完成公司大数据技术体系及应用框架完成大数据一体化组件研发选取典型业务领域试点及应用初步建立电力大数据标准体系建设原则：统一规划，顶层设计统一标准，规范建设试点先行，稳步推进继承成果，完善提升（2）建设的主要内容从团队、组件、验证、标准四方面建设大数据体系，响应提升用户体验、加强透明管控和科学运营、业务模式创新的建设目标。团队建设工作成果：大数据研发、实施、运维等专业人才；组件建设工作成果：大数据组件库，大数据框架，业务场景库；验证建设工作成果：选取大数据应用基础较好的场景，起到建设示范效应标准建设工作成果：大数据标准规范体系。结合目前公司业务分析决策现状、业务需求以及通过分析同类产品的特点，总结提炼以下功能需求，并作为后续大数据研究着重考虑的方向。其中包括：数据价值化：改变以往只对结构化数据类型分析，在大数据背景下要对国网四类数据甚至一些相关外部数据全面分析挖掘，实现预测和知识发现。数据有形化：提供大数据可视化分析能力。通过交互可视界面来进行分析、推理和决策，洞察数据中隐藏的价值。存取快速化：海量异构数据的快速存储能力；能快速读取数据。数据集成化：对结构化、非结构化、GIS和海量数据进行有效集成，为关联分析做好数据准备。（3）建设思路通过分布式数据库从各业务数据中抽取数据，同时支持从四大数据中心进行整合，最终形成分布式、可扩展大数据数据库，构建大数据组件。大数据套件为分析决策平台提供数据服务支撑，分析决策平台对大数据套件提供的数据计算方法进行集成，通过分析决策平台模型构建器进行编排，形成分析模型及分析结果，对上层业务辅助决策进行支持。大数据组件分为数据存储组件、数据管理组件、数据计算组件、数据分析组件；数据存储组件以云计算基础设施及分布式存储架构为基础；数据管理组件以一体化平台数据集中共享为基础进行扩展；数据计算组件为大数据研发环境建设提供必要的工具支持；数据分析组件在SG-UAP提供的公共组件、基础组件之上进行集成，为分析决策平台提供技术支持。其相互关系如下图所示。从五个成熟度维度对五大两中心业务进行评估，分析得出主要业务场景包括:其中，大检修、大营销、客服中心、运监中心综合评分较高。（4）标准建设大数据的标准建设有五个方面。包括大数据采集相关标准、大数据传输相关标准、大数据的存储和管理相关标准、大数据安全类标准、大数据分析与挖掘相关标准。电网大数据相关标准的制定需要各个部门结合现有和未来可能发展的业务需求，以三集五大两中心为指导思想，综合考虑现有的技术体系和行业特点逐步制定符合自身特点的电网大数据行业标准和企业标准。（5）实施计划至2020年，完成国家电网公司电力大数据服务体系建设，为公司业务系统提升服务能力和应用水平提供技术创新手段，实现数据创造价值，增强服务模式。按照规划研究、试点验证、试点推广三个发展阶段，组织科研单位开展关键技术研究，省（市）公司开展试点验证。（6）建设进展2014年5月29日，由中国电科院信息通信研究所牵头的2014年国家电网公司科技项目“电力大数据基础体系架构及部分关键技术研究与应用”启动会在北京召开，国网山东省电力公司、国网江苏省电力公司、国网四川省电力公司、北京交通大学等项目参与单位参加了会议。会上，项目组介绍了项目背景、总体思路、实施方案，明确了项目目标、组织架构、任务分工、技术路线、项目管控机制及整体计划安排，项目负责人对项目工作进行了重要部署。“电力大数据基础体系架构及部分关键技术研究与应用”项目作为国家电网公司大数据领域的第一个重大科技项目，重点研究电力大数据基础体系架构，并对数据质量、存储、检索、处理、专业化分析、大数据安全等关键技术进行重点突破，可为国家电网公司大数据发展指明方向，为相关专业大数据应用奠定基础。项目作为中国电科院大数据联合攻关课题之一，在院大数据联合攻关管理办公室统一组织协调下，将充分借鉴国际先进技术，充分发挥各专业研究所优势，形成电力大数据体系架构，构建电力大数据核心基础平台，推进院其他专业领域大数据科研工作进展。国网电科院（南瑞集团）下属单位于2013年已开始组建大数据相关技术团队，参与国网公司大数据相关的项目和课题的前期研究、方案设计、项目实施等工作。浙江电网公司主要开展完善公司四大数据管理平台（海迅实时数据平台、地理信息数据平台、非结构化数据平台、结构化数据平台）和电力大数据技术研究与产品选型等相关工作。1.1.2南网公司的大数据发展目前，南方电网公司已经具备大数据基因，数据呈现出体量大、类型多、实时性高等特点。这些资源产生于公司生产运行、经营管理和科学研究的各个环节，整体呈现出大数据特征。对于南方电网公司，大数据能够服务于经营管理、生产运行、科研和社会服务，为公司创造巨大价值。南方电网公司高度关注大数据应用。因为，数据掌握的多寡和应用水平的高低已经成为企业核心竞争力的一个重要标志。准确的数据，不仅是一切管理、决策和客户服务的基础，而且是公司生存、发展、生产运营、经营管理的重要资产，是战略性资源。在企业级信息系统推广和应用过程中，要高度重视数据清理和数据质量工作，一是从数据的源头抓起，除了第一次原始录入之外，数据必须是通过信息系统在各业务操作、管理活动中直接产生、自动采集的，不能是手工录入、人为干预的。二是要整合公司经营管理数据、电网生产运行数据等各类数据资源，基于公司数据中心构建一个统一的大数据分析平台，做好大数据的分析应用。对内通过大数据分析，促进企业管理透明化、决策科学化，挖掘数据的潜在价值，发现新的利润增长点，创新业务模式；对外加强用户侧的大数据分析和挖掘，为客户提供更加个性化服务和增值服务，提高客户服务水平。南网在大数据领域的建设思路是：统一规划、顶层设计；集中资源、高效管理；统一平台、个性应用；人才培养、全面发展。南网公司在大数据领域主要关注的业务应用方向是：经营管理领域：应用大数据能够帮助企业提升盈利水平、控制经营风险、创新管理和业务模式。例如在规划领域应用大数据，可以基于用户用电量、公司输电量、负荷数据等信息，结合国家宏观政策、经济发展情况、天气变化情况，利用数据挖掘分析等技术构建预测模型，从时间趋势、区域电力、行业电力、重要客户电力等维度分析预测各地区电力负荷，实现未来电力需求量、未来用电量、负荷曲线、负荷时间分布和空间分布等预测，为公司电网规划和运行提供决策支撑。营销管理领域：可以基于客户行业特征和历史用电信息，挖掘不同行业客户在不同事件下的用电行为模式，形成包含正常用电时序规律、表计篡改、非法接线、账单错误、表计故障等多个事件的典型模式库。通过分析智能表计数据，比较单体客户用电曲线与行业规律的相关性，识别异动客户，实时、准确地辨识异常用电行为，这有助于对违约行为进行预防和控制，有效降低非技术线损。生产运行领域：应用大数据能够提高供电效能、促进经济运行、增强电网安全。例如电网信息化，基于电网设备信息、运行信息、环境信息以及历史故障和缺陷信息，开展关联因素分析，建立状态预警模型，对不同种类、不同运行年限设备在一定关联因素影响下的状态进行预警和故障率预测，同时引入交通、路政、市政等外部信息，如工程施工、树木生长等，关联电网设备台账数据及地理空间信息，对电网外力破坏故障进行预警分析，提升电网安全保障。此外，大数据在电网抗击灾害天气方面也能够起到重大作用。公司可以在传统公共气象信息的基础上，增加全天候实时监测的线路走廊风速、风向、降雨、温度、湿度和气压等微气象数据，形成更为完善的天气数据库，实时预测灾害天气动态。同时，综合分析气象数据、地理信息、电网拓扑信息、设备台账及运行信息、客户信息、物资信息等数据，实时预测灾害天气的影响范围，优化灾前应急资源配置和抢修资源智能调度，并支持客服人员主动告知影响范围内的客户为可能的停电事件早作准备，提升客户满意度南网在大数据领域的行动计划是：第一阶段：2014年-2015年探索与试点研究阶段组建大数据工作小组，开展大数据顶层设计；启动大数据关键技术研究和大数据平台建设，探索大数据平台集中部署模式；选取业务价值高、数据基础好的业务场景开展试点应用。第二阶段：2016年-2017年全面建设阶段深入开展大数据关键技术研究，全面掌握大数据个环节关键技术，构建企业级大数据平台；全面开展大数据分析应用建设，辅助业务管理决策；开展大数据服务模式研究及试点应用。第三阶段：2018年后持续优化阶段持续完善与优化大数据平台，全面深入开展大数据应用建设，全面拓展大数据服务模式，形成持续发展的大数据运营机制。