大数据平台及在电力行业的应用分析

大数据平台及在电力行业的应用分析2013-07目录大数据的发展及相关技术电力行业大数据需求彩讯电力行业大数据解决方案结构化•Database•Spreadsheet•Fileinrecordformat半结构化•XMLDocs•Logs•Click-stream•Equipment/Device非结构化•WebPages•E-mail•Multimedia•InstantMessages•Documents移动互联网MobileInternet物联网InternetofThings3新量级、新处理模式、新企业智能互联网Internet大数据时代消费行业金融服务食品安全医疗卫生军事交通环保电子商务气象公共服务指数型增长的海量数据所有研究都表明，未来数年数据量会呈现指数增长。根据EMC研究院统计，全球2012创建和复制的数据量达到了2.8ZB（1ZB等于10亿PB），而到2020，这个数据会上升到40ZB。对这些数据的管理和分析，在技术带来了挑战，但是对数据的透彻分析将会为我们带来不可估量的价值。大数据的特性容量Volume多样性Variety价值Value速度Velocity半结构化、非结构化数据的超大规模和增长总数据量的80~90%比结构化数据增长快10倍到50倍是传统数据仓库的10倍到50倍大数据的异构和多样性很多不同形式（文本、图像、视频、机器数据等）无模式或者模式不明显不连贯的语法或句义价值密度低，单条数据无价值,无用数据多,综合价值大对未来趋势与模式的可预测分析深度复杂分析（机器学习、统计建模、人工智能）处理速度快，要求系统在短时间内做出响应实时分析而非批量式分析数据输入、处理与丢弃立竿见影而非事后见效每天几百GB、几TB的资料，且持续成长中储存Storing在接收数据的同时做必要的前置处理，并区分数据处理的优先等级，离线计算与实时计算相结合计算Processing如何有效的避免因硬件毁坏所导致的资料损毁和数据丢失管理Managing如何从中挖掘出数据隐藏的模式和价值分析Analyzing大数据处理挑战数据量极大。PB是大数据层次的临界点，需要更高性价比的数据储存与计算方式，增大了数据处理的难度的同时，庞大数据量所蕴含的价值也极大。数据种类多样。数据更加个性化、更加全面，针对不同来源的数据以多样化的方式处理，结果更精确。能够在不同的数据类型中，进行交叉分析的技术，是大数据的核心技术之一。实时性要求越来越高。不断增长的实时分析，要求及时对数据进行处理并得到结果，更完善的用户体验。实时处理的要求，是区别大数据应用和传统数据仓库技术、BI技术的关键差别之一。数据成为新的资源。掌握有数据就掌握了巨大的财富。挖掘大数据的价值类似沙里淘金,从海量数据中挖掘稀疏但珍贵的信息。与传统数据处理需求的区别传统数据库模式的数据处理模式，已经无法应对大数据带来的挑战，需要新技术、新思维、新策略，使数据处理性能更高，成本更低、模式更丰富！•计算任务的多节点分配、计算•计算与存储一体，计算向数据靠拢•任务之间无依赖，系统高延展性分布式并行计算框架分布式文件存储大数据核心技术-Hadoop•分布式，多副本，高容错性，数据安全•可采用普通PC，硬件成本低•系统高扩展性，动态增加存储节点•高传输率数据访问Hadoop技术体系计算存储基于Hadoop实现大数据的分布式存储和分布式并行计算，实现高效的TB和PB级数据处理。大数据核心技术-Stormstorm是Twitter开源的一个分布式、实时的计算框架。通过这个框架可以实现消息的秒级处理，并通过分布式处理模式，实现高并发处理的承载。水平扩展，并行计算，动态增删节点可靠的消息处理事务机制，解决重复计算问题容错性大数据需求与价值13各行业企业对大数据的关注程度目前企业的数据系统架构存在问题2目前企业数据分析处理面临的问题目录大数据的发展及相关技术电力行业大数据应用分析彩讯电力行业大数据解决方案大数据对电力行业价值电力大数据是能源变革中电力工业技术革新的必然过程，而不是简单的技术范畴。电力大数据不仅仅是技术进步，更是涉及整个电力系统在大数据时代下发展理念、管理体制和技术路线等方面的重大变革，是下一代智能化电力系统在大数据时代下价值形态的跃升。大数据推动电力行业的变革核心主线重塑电力核心价值转变电力发展方式中国电力工业长期秉承“以计划为驱动、以电力生产为中心”的价值观念，重视企业价值和客户价值的实现，却在一定程度上忽视了社会效益，缺乏双向互动，导致电力供需的单方向传递，使得社会资源对电力工业的反馈促进很难实现。电力大数据通过对市场个性化需求和企业自身良性发展的挖掘和满足，重塑中国电力工业核心价值，驱动电力企业从“以人为本”的高度重新审视自己的核心价值，由“以电力生产为中心”向“以客户为中心”转变，并将其最终落脚在“如何更好地服务于全社会”这一根本任务上。重塑电力核心价值传统电力价值链与新兴电力价值链人类社会经过工业革命两百多年来的迅猛发展，能源和资源的快速消耗以及全球气候变化已经上升为影响全人类发展的首要问题。传统投资驱动、经验驱动的快速粗放型发展模式，已面临越来越大的社会问题，亟待转型，电力行业也是一样。电力大数据通过对电力系统生产运行方式的优化、对间歇式可再生能源的消纳以及对全社会节能减排观念的引导，能够推动中国电力工业由高耗能、高排放、低效率的粗放发展方式向低耗能、低排放、高效率的绿色发展方式转变。转变电力发展方式电力数据价值基于大数据的电力行业优化-对内：优化管控模式优化管控模式支持基建决策升级客户分析加强协同管理提高智能控制大数据技术有助于电力企业基础设施选址、建设的决策。例如丹麦风电公司VESTAS计划将全球天气系统数据与公司发电机数据结合，利用气温、气压、空气湿度、空气沉淀物、风向、风速等数据以及公司历史数据，通过使用超级计算机及大数据模型解决方案，来支持其风力发电机的选址，以充分利用风速、风力、气流等因素达到最大发电量，并减少能源成本。此外，VESTAS还将添加全球森林砍伐追踪图、卫星图像、地理数据以及月相与潮汐数据，以便更好地支持基础建设的决策。一方面，通过使用电力企业庞大的历史销量数据，进行用户用电行为分析和用户市场细分，使管理者能有针对性地优化营销组织，改善服务模式。另一方面，通过与外界数据的交换，挖掘用户用电与电价、天气、交通等因素所隐藏的关联关系，完善用户用电需求预测模型，进而为各级决策者提供多维、直观、全面、深入的预测数据，主动把握市场动态。整合电力行业生产、运营、销售、管理的数据，实现电力发电、输电、变电、配电、用电、调度全环节数据共享，以用电需求预测为驱动优化资源配置，协调电力生产、运维、销售的管理，提升生产效率和资源利用率。此外，电力企业各部门数据的集成将优化内部信息沟通，使财务、人事等工作的开展更顺畅，有助于企业实行精细化运营管理，提高集团管控水平。利用大数据技术加速电力企业智能化控制的步伐，促进智能电网的发展。例如，通过为电力基础设施布置传感器，动态监控设施运行状况，并基于大数据分析挖掘理念和可视化展现技术手段，采用集成了在线检测、视频监控、应急指挥、检修查询等功能的“智能在线监控与可视化调度管理系统”，有效改变运维方式，从萌芽阶段消除部分运维故障，实现运维智能化。基于大数据的电力行业优化-对外：丰富社会效益丰富社会效益丰富增值服务提供经济指导利用电力行业数据可给用户提供更加丰富的增值服务内容。例如，通过给用户提供其各月份分时明细用电视图，可让用户了解自身用电习惯并能根据需要进行调整，同时也使得电力收费过程更透明。随着无线M2M传感器和大数据分析的普及，智能恒温控制器等新型工具进入大型楼房和消费者家庭成为可能，未来这些技术将给用户带来很大的节能空间用电数据是一个地区经济运行的“风向标”，可作为投资决策者的参考依据。美国加州大学洛杉矶分校的研究者根据大数据理论，将人口调查信息、电力企业提供的用户实时用电信息和地理、气象等信息全部整合，设计了一款“电力地图”。该图以街区为单位，可以反映各时刻的用电量，并可将用电量与人的平均收入、建筑类型等信息进行比照。通过完善“电力地图”，能更准确地反应该区经济状况及各群体的行为习惯，以辅助投资者的决策，也可为城市和电网规划提供基础依据。电力行业当前问题暨大数据应用场景电力行业中数据量的增长也呈现出相似的态势。近几年，电力行业信息化也得到了长足的发展，我国电力企业信息化起源于20世纪60年代，从初始电力生产自动化到80年代以财务电算化为代表的管理信息化建设，再到近年大规模的企业信息化建设，特别伴随着下一代智能化电网的全面建设，以物联网和云计算为代表的新一代IT技术在电力行业中的广泛应用，电力数据资源开始急剧增长并形成了一定的规模。从长远来看，作为中国经济社会发展的“晴雨表”，电力数据以其与经济发展紧密而广泛的联系，将会呈现出无以伦比的正外部性，对我国经济社会发展以至人类社会进步也将形成更为强大的推动力。电力行业信息化历程初始电力生产自动化电力财务电算化智能电网时间：20世纪60年代时间：20世纪80年代时间：21世纪10年代电网数据处理面临的问题及应对–数据量剧增为了真实地记录生产运行的每一个细节，完整地反映生产运行过程，应用提出了“实时变化采样”的迫切需求；采集频率越来越高，广域动态监测系统、设备状态监测系统在采样频率上可以达到每秒一百甚至一千帧采集点越来越多，常规的调度自动化系统数十万点配用电、数据中心将达到百万甚至千万级用户智能电表推行后，对每家每户的实时用电状态数据监控，数据量将剧增当前数据量级已经每日达到TB级，智能电网的大幅推进后，每日数据量将达到百TB级，传统的数据处理模式（关系型数据库模式），已经无法满足海量和高效处理的需求，只有采用大数据处理模式，才能实现低成本，海量、高性能数据的处理！数据量爆发式增长电网数据处理面临的问题–数据质量电网信息化的分散型系统建设，目前虽然完成了系统间的“硬”整合。但在数据层面的“软”整合，还存在很多问题。对于这些电力行业推进大数据的困扰。需要建立统一的元数据定义、统一的数据存储和管控、统一的数据分析处理，这些都需要通过大数据模式来建设。数据质量质量较低共享不畅防御脆弱基础不牢电力行业数据在可获取的颗粒程度，数据获取的及时性、完整性、一致性等方面的表现均不尽如人意，数据源的唯一性、及时性和准确性急需提升，部分数据尚需手动输入，采集效率和准确度还有所欠缺，行业中企业缺乏完整的数据管控策略、组织以及管控流程电力行业缺乏行业层面的数据模型定义与主数据管理，各单位数据口径不一致。行业中存在较为严重的数据壁垒，业务链条间也尚未实现充分的数据共享，数据重复存储的现象较为突出电力企业地域覆盖范围极广，各类防护体系建设不平衡，信息安全水平不一致，特别是偏远地区单位防护体系尚未全面建立，安全性有待提高电力企业大多已建成一体化企业级信息集成平台，能够满足日常业务的处理要求，但其信息网络传输能力、数据存储能力、数据处理能力、数据交换能力、数据展现能力以及数据互动能力都无法满足电力大数据的要求，尚需进一步加强电力生产过程中大数据应用场景大数据-下一代智能电网的基石智能电网发展全景图智能电网的“智能领域”智能电网的“智能”构成智能电网的构成包括数据采集、数据传输、信息集成、分析优化和信息展现五个方面。IT角度的智能电网智能电网核心基础–统一的计算分析平台智能电网的智能核心是“智能大脑”，即智能决策系统，由这个“大脑”来实现全局的“智能资源调度”，实现从发电、输配电、售电、用电的全面“智能化”。而这个“智能大脑”的每一项决策，都来源于对全局数据的计算分析，因此，其核心基础就是“统一的计算分析平台”开放的、完整的、统一的电网计算分析平台。实现电网的实时仿真计算，为电网规划、建设、运行、管理提供全局性的、统一的、共享的数据和计算分析智能电网数据流电力流业务流信息流交易电价、售电量、用电客户、ERP、一体化平台、协同办公等方面的数据物联网、云计算、新能源并网、移动互联网、车联网电力企