四方伟业电力大数据平台简介

SEFONSOFTSOLUTIONSABETTERWAY四方伟业大数据平台产品架构全面透视大数据平台的架构、能力与价值1SEFONSOFTSOLUTIONSABETTERWAYCONTENT1大数据应用生态2WYDC大数据平台3成都四方伟业公司简介2SEFONSOFTSOLUTIONSABETTERWAY大数据应用生命周期数据源（管理、交易、事务、传感、监控、文件……）数据获取和治理大数据存储大数据分析计算处理大数据可视化数据驱动决策数据提供服务3SEFONSOFTSOLUTIONSABETTERWAY大数据生态湖泊数据信息知识数据运维数据之源数据生产区（原始数据）结构化数据文本文件多媒体数据描述类数据信息发现区知识发现区知识挖掘区知识展现区知识交互区基于大数据的应用体系ODS数据魔方多维数据关联主数据数据台账关键索引大数据挖掘行业规则大数据可视化数据多维报表大数据操纵数据APIS大数据检索机构内部数据社会数据互联网数据数据安全数据审计数据标准元数据管理主数据管理数据质量管理数据治理流程元数据大数据关联大数据分析大数据预测信息数据知识应用4SEFONSOFTSOLUTIONSABETTERWAY电力大数据概述发电输电配电售电特性一：不可存储能源电力是不可存储的能源，一旦生产则必须耗用，这就注定了电力生产、使用、销售的独特性。特性二：垄断性电力的大型基建特性注定了电力行业的垄断性，国家电网和南方电网公司是目前国内企业体量最大的存在。特性三：关注社会效益作为基础存在的电力供应是国计民生的大事，即便作为企业，也是将社会效益看重于经济效益的存在。特性四：新机遇挑战伴随着国家电网总经理刘振亚离职，以及国务院2015九号文的颁布，新的变化与机遇开始出现。国务院关于印发电力体制改革方案的通知【国发[2002]5号】中国华能集团公司（217）中国大唐集团公司（376）中国华电集团公司（345）中国南方电网（18）中国电力投资集团公司（408）中国国家电网（2）中国电力建设集团有限公司（200）中国能源建设集团有限公司（309）国务院关于印发电力体制改革方案的通知【国发[2015]9号】中国国电集团公司（299）5SEFONSOFTSOLUTIONSABETTERWAY电力大数据——电力相关企业信息化分析国家电网信息化建设路径SG-186SG-ERP一平台一系统多场景微应用2006-2010一体化企业级信息集成平台八大业务应用六个信息化保障体系2011-2015建立覆盖面更广，集成度更深，智能化更高，安全性更强，可视化更优的新型IT架构,纳入了电力应用的全过程，在数据集采基础上加强数据分析和辅助决策的功能2016-2020国网拆分背景，去SOA（SAP、Oracle、Accenture）化需求，对过去大系统建设的反思和调整。强调自身UAP平台的应用。国家电网信息化建设套路业务部门提报可行性研究报告国网直属型单位国网紧密型单位甲方代写相关管理部门进行初审单位所属信息化科室国家电网经济研究院国家电网信通部门电科院信息安全部门6SEFONSOFTSOLUTIONSABETTERWAY电力大数据——整体框架宏观大数据外部大数据电网改革的决策支撑；能源结构的调整改善；基于多维视角的决策分析；提供日常建设、运维的监管；实现对最末端消费的数据采集分析；对关联上下游产业提供战略性指导；改造提升经济效益目标的营销管理；配合国家产业调整目标，协助供给侧改造的实现7SEFONSOFTSOLUTIONSABETTERWAY电力大数据——细节关注内容发电输电配电售电今后工作的重中之重分割后的新领域传统领域的新突破急需支撑的先锋领域售电业务全面开放后，对售电、购电的内容都将产生天翻地覆的变化，迫切地需要大数据支持今后业务的方向与决策支撑，可以预见基于电信客户忠诚度、银行客户营销、电商策略支撑方面的大数据应用将会得到大规模应用。用电客户市场细分模型高价值工业用电客户分析模型居民用电忠诚度分析耗能电器用户画像节能智能家电推荐用电高峰时段区域分析配电业务在今后将会一分为二，特高压高压配电继续由传统电网公司负责，高低压配电建设则可能由新诞生的售电公司负责，老树新花将会为配电建设工作带来新的活力。变电站选址分析模型变电站建设舆情监控变电站检修项目风险监控变电站分时段负载分析及关联分析配电设备传感巡检数据分析及故障率分析输电业务将会继续由电网公司负责，但是目前的用电发电端同时开放以后，输电关联的业务将会不可避免地带来影响，电网将会放下自身“老大”的地位，输电将会变更其经济效益和社会效益的权重，更多地“迁就”社会实际需要。输电线路规划分析模型输电线路环境影响及自然灾害评估输电负载分析管理输电线路建设资源预测模型输电建设承运商/承建商等级评估国家开放了个人发电销售业务以后，出现了围观冷场的情况，如何让发电销售说服大众和电网公司，成为国家一个新的创业增长点，再没有比大数据更具说服力的科学依据了。单体发电质量分布分析单体发电输配成本核算单体发电定价决策依据分析临时性用电高峰单体发电支持体系8SEFONSOFTSOLUTIONSABETTERWAY电力大数据——宏观关注内容作为现代工业真正的神经，社会正常运转的基本资源，国家一直十分关注电力与工农业、城市发展的关系，不管是特高压的论证审批，还是国家电网的拆分，以及水电站建设等各个方面应用，大数据将会为宏观决策提供科学的数据支撑和高效的分析模型。水电站选址论证火电站环境污染分析风力发电质量与气象分析核电站运转情况分析电站持续型环境影响评估重大灾害电站应急指挥平台远程输电时段地域成本论证用电调度能效评估输电建设资源预测系统统一电价及电力营销行为分析电力巡检模型分析变电站覆盖区域负荷分析重点工业园区用电支撑调度平台大型活动临时配电调度管理变电站故障及处理平台智能巡检机器人数据管理用电量与环保关联性分析电量GDP关联分析用电区域分布引导管理错峰用电定价指导分析异常灾害电力负载应急管理电价舆情分析9SEFONSOFTSOLUTIONSABETTERWAY电力大数据——城市耗电量分析通过收集不同气候、不同时段期间以及其他关联的用电量情况，助力“智慧城市”应用的同时，有效预测用电需求，协助电力相关单位应对用电高峰期的电力调度和资源确保能力。10SEFONSOFTSOLUTIONSABETTERWAY电力大数据——雅砻江流域水电开发有限公司大数据案例分享（成果展示）基于3*12的大屏展示以下内容：电站发电生产数据、水文气象观测数据、日常KPI指标、视频监控数据11SEFONSOFTSOLUTIONSABETTERWAY电力大数据——四川电力物资公司典型建设配送资源物资调度中心调度大厅建设在途信息集成监控信息集成传感信息集成视频传输集成GPS信息集成物流设备集成库位规划集成采购部门合同招标管理需求预测管理平衡利库管理资金支付深化仓库物流规划辅助决策现场收发货财务部门仓库入库管理出库管理库内管理财务结算财物一体化1+23+84仓储网络布局图12SEFONSOFTSOLUTIONSABETTERWAY电力大数据——物资需求模型应用13SEFONSOFTSOLUTIONSABETTERWAY行业大数据应用面对的挑战硬件无法跟进数据规模的指数级增长过于分散和原始成为大数据应用的障碍复杂数据算法与业务模型衔接诸多大数据并行计算架构的选择大数据应用实现路径：从哪里开始？专业人才匮乏14SEFONSOFTSOLUTIONSABETTERWAYCONTENT1大数据应用生态2WYDC大数据平台3成都四方伟业公司简介15SEFONSOFTSOLUTIONSABETTERWAYDataDiscoveryFamily大数据交换汇集平台大数据基础架构大数据存储大数据治理平台大数据智能分析平台大数据知识认知平台大数据可视化平台大数据主题应用大数据智能运维平台原生态数据烟囱原始RDB原始FILE流媒体数据互联网数据分布式RDBHDFS流计算并行批处理Map/Reduce文件数据库元数据管理数据治理流程数据标准数据质量数据安全数据审计数据目录数据共享开放与服务主数据资源监控系统智能部署系统根因分析系统敏捷BI大数据门户展示政务大数据经济大数据政法大数据财税大数据民生大数据旅游大数据环保大数据工业大数据商用大数据ETL数据迁移实时采集爬虫软件数据适配框架数据转换数据清洗比对数据处理流程图数据库MPP数据库键值数据库RDB列式数据库Spark其他Hadoop生态DAC数据总线大屏显示控制模板可视化大屏移动数据可视化应用实时分析关系分析系统预测分析系统数据台账机器学习大数据应用驾驶舱Hadoop运维管理大数据应用智能调度大数据应用门户系统算法库管理模型设计模型训练模型发布模型管理选矿捡矿洗矿储运冶炼铸模成型16SEFONSOFTSOLUTIONSABETTERWAYWYDC大数据交换汇集平台构造大数据的数据之源17SEFONSOFTSOLUTIONSABETTERWAY大数据交换汇集平台核心价值开发环境用直观且以角色为基础的图形用户界面，管理数据处理，提供拖拽功能，源系统访问和可自定义的元数据树集成设计用可视化端到端的事件设计器，建立和编辑数据管理流程ETL抽取、转换、加载，通过开箱即用的基于SQL的数据转换功能支持ELT，获得更高的灵活性数据联合获得虚拟访问多种数据库结构、企业应用、主机遗留旧文件、文本、XML、消息队列和其它源的功能互联互通相较于其它解决方案，WYDC数据管理能够实时或批量地在更多的平台上链接更多数据源消息队列通过基于消息的连接整合异步业务流程管理与监控跟踪作业状态和性能报告以及趋势信息的各项指标迁移与同步可以在多种数据库、企业应用、主机遗留旧文件、文本、XML、消息队列以及其它源之间，进行数据的迁移和同步.18SEFONSOFTSOLUTIONSABETTERWAYETL概述数据源输出数据库结构化数据其它数据抽取清洗加工加载数据库数据仓库其它数据更多类型的数据来源支持各种数据源，包括DB2、Oracle、Mysql等各种主流数据库，以及结构化文件系统、Excel、Xml、LDAP、SOAP/WebServcie、CSV文件和RSS等各种数据源。更广泛的连接方式数据库连接支持集群，和数据库分区访问。数据库连接的方式支持JDBC、ODBC和JNDI方式，提供了数据连接池功能，能够大大提高数据库的访问效率。更人性化的控制方式提供了图形化界面的操作方式，开发人员只需拖动相应的组件到控制台即可。更强大的性能和处理速度采用并行处理的方式实现数据的高效处理，支持10Ｇ以内的大数据量的数据采集，并在网络断开后重新执行任务时，支持断点续传功能。ETL19SEFONSOFTSOLUTIONSABETTERWAYETL核心架构ETL服务器认证授权监控管理接口扩展接口ETL资源库集成开发工具统一管理平台数据资源库文件资源库数据源接入流程开发任务配置任务部署调试跟踪任务执行监控输出运行日志运行控制状态监控日志查看权限管理节点管理错误告警性能统计面板定制ETL引擎任务调度元数据处理流程性能管理交换管理任务引擎转换引擎转换组件适配器组件转换流程流程控制操作控制任务调度20SEFONSOFTSOLUTIONSABETTERWAY丰富的ETL构件库21SEFONSOFTSOLUTIONSABETTERWAY强大的处理性能四方ETL产品同类ETL产品主机配置曙光640AMD6136*2(x8)2.4GHZ4G*16SASST91000640SS1T*12曙光A-620r-GAMD6136*2(x8)2.4GHZ4G*16SASST91000640SS1T*12DataNode数量5台67台每天数据处理量1T8T数据处理时间9小时17.5小时单服务器计算能力22.756G/小时6