搜索
1基于大数据技术的用电信息采集系统设计与实现汇报单位：国网安徽省电力公司2017年5月2平台设计功能设计业务规划项目背景成效与下一步打算3一、项目背景采集系统建设安徽省公司用电信息采集系统经过5年的建设，实现了“全采集”、“全覆盖”、“全费控”功能，目前接入智能电能表2700万多只、40多万终端和340万采集器，已经实现采集96点负荷（三相电压、三相电流、有功功率、无功功率等）、日冻结电能示值、需量和电压合格率等数据，采集系统每天需要处理记录数达到5亿以上，新增的数据量达到70-90G，存量数据超过100T。采集系统建设及应用情况4一、项目背景采集系统建设采集系统业务不仅支撑营销部自动化抄表核算、实时费控、有序用电、计量在线监测、用电特征分析、采集管理、台区线损计算等业务，还支持运检部、安质部、运监中心、发策部等系统正常运行，为配用电网低电压分析、配变运行监测、配网抢修、供电可靠性、公司线损管理系统等业务提供数据支撑。采集系统建设及应用情况5一、项目背景项目必要性IEO用电信息采集系统应用存在的问题查询速度慢统计时间长数据质量差数据维度少缺少智能化不支持实时分析6一、项目背景不断增长的数据量与系统设计缺陷的问题7项目必要性一、项目背景提升采集系统性能，解决应用瓶颈•解决WEB查询海量数据效率低的问题•解决采集系统数据库性能瓶颈问题•解决采集系统考核指标和关键指标实时统计问题•解决四分线损、电量统计实时计算的问题应用大数据技术，完善采集系统应用•实现移动运营商区域信道质量在线监测的问题•实现台区低电压分析的问题•解决配电网停电故障实时分析问题•解决电能表、终端运行工况监测和整体状态评估问题8项目必要性一、项目背景应用数据挖掘技术，挖掘电力数据价值•解决数据质量不高和数据维度缺乏的问题•解决电力经济分析与电费回收风险的关联分析问题•解决市场开拓与业扩报装辅助分析的问题实现知识共享，提升业务应用•为公司计量工作决策提供支撑•为用户提供新颖优质服务•提升公司经营管理水平•计量与其他领域信息融合分析，提升系统价值9平台设计功能设计业务规划项目背景成效与下一步打算10二、业务规划整体思路简要分析描述项目的主要技术创新点。3、跨界思维：打破固有模式，通过业务融合提升数据价值2、业务思维：定量思维，数据替代经验，一切数据皆有价值4、实验思维：试验选择最优方案，快速迭代持续优化5、合作思维：通过合作共同推进电力业务的发展与创新1、技术思维：高效数据处理、高效数据服务、性能线性扩展11二、业务规划总体规划简要分析描述项目的主要技术创新点。3、支持海量数据快速存储、高效计算和有效归集2、实现关键业务实时监测和智能分析4、具备数据挖掘、机器学习等智能分析功能5、与业务深度融合，提高工作效率，提升辅助决策水平1、以“高内聚、松耦合”方式获取所需数据12二、业务规划用电信息采集系统性能提升解决海量数据查询高效统计与计算数据质量管控实时业务分析信道质量分析海量数据存储构建营销计量大数据应用平台构建大数据平台规划业务应用数据清理与集成数据挖掘机器学习数据发布与共享业务设计13二、业务规划数据分析业务-1•分析电能表运行情况，剖析运行过程中发生的故障和问题。•结合电能表运行的外部环境因素进行建模，关联分析外部环境对电能表发生故障和问题的影响。外部环境因素对电能表质量的影响分析•对现场计量设备运行工况进行实时监测。•检测采集设备数据完整性及数据合理性。•分析变压器运行情况、变压器负荷及故障情况。•建立计量装置异常预警模型。计量装置在线监测•分析负荷、电量、电压、电流、时钟、事件等计量数据出现的异常信息，并进行诊断分析。•对费控、通信功能出现的异常情况进行诊断分析。智能诊断分析14二、业务规划数据分析业务-2•从型号、厂家、批次等维度，分析计量设备、采集设备的质量情况。•根据运行数据、通信数据、事件数据，结合天气数据、检定记录等，分析影响设备质量的因素。运行质量分析•计算准实时线损，并对线损异动情况进行预警。•分析综合线损的构成情况及分布情况。•分析线损变化趋势，并通过负载率、三相不平衡率、理论线损的对比分析，提出降损措施建议。线损统计分析•通过对电量差动越限、断相、线损率超标、异常告警事件、电表开盖事件等数据，对窃电行为进行实时分析，并提出预警。•对窃电行为进行多维度统计分析。窃电行为分析15二、业务规划数据分析业务-3•分析大用户用电规律，预测未来用电情况。•分析居民用电习惯与节假日等外部环境的关系。•结合投诉数据，分析异常数据与投诉关系。•分析用电数据，为有序用电提供数据支撑和建议。用户行为分析•分析电力与经济运行的长期均衡关系。•分析各行业经济运行波动对电力的传导关系。•结合各行业经济增加值、用电量以及电价数据，建立电力强度因素分解模型，对电价对电耗强度的影响进行细化分析。•根据用户、线路、终端、计量点、台区、单位、客户群组等查询条件对用电数据进行统计分析，得出房屋空置率等社会关注问题。电力经济分析16平台设计功能设计功能需求项目背景成效与下一步打算17为了保证电力系统能安全、可靠运行，需要在标准原则基础上制定其未来IT架构，其技术架构的设计同样需要考虑完善的指导原则。开放性大数据平台的设计应选择开放式的技术，不能绑定某一厂家的特定产品，需要满足系统间灵活的信息交互的需要。服务性可扩展性充分考虑可扩展性，遵循“强内聚、低耦合”，满足更大规模的业务和不断发展的技术需求。大数据平台面向营销部或者网省公司提供基础支撑平台，为共性服务型平台，各部门基于大数据平台研发、运行各类大数据典型业务应用。先进成熟性大数据平台的设计应具有产品和技术先进性，产品和技术选型能够适应未来一段时间业务需求及技术发展变化的需要。同时，尽可能兼顾产品和技术的成熟性，增强信息基础设施的整体稳定性。大数据平台设计原则三、平台设计18大数据平台设计总体思路三、平台设计业务应用分析气象要素数据状态监测数据......地理信息数据节假日数据PMS数据人口经济数据MDS数据营销数据用电信息采集数据......95598数据计算、存储、分析组件支撑电力营销大数据平台运维管理专用数据池公用数据池数据集成数据处理数据分析分析方法库数据挖掘算法库分析模型数据展现多源大数据在线处理流数据处理批数据处理数据抽取流程控制数据转换质量规划数据加密数据清洗数据复制深入贯彻“IT服务化”的理念及国产化的思路，以大数据开源软件框架为核心，传统数据处理组件为补充，形成优势互补的混合体系架构。电力营销计量大数据平台从数据采集、数据集成、数据存储、实时计算、海量数据处理和分析挖掘等多个层面为营销业务应用提供必要的组件支撑。集群监控及配置安全防护及管理停电事件分析配网运行分析客户用电行为分析客户价值挖掘检定效率与现场作业行为窃电行为分析计量装置在线监测与智能诊断。。。19大数据平台技术提升点三、平台设计传统解决方案大数据平台方案•主要面向结构化数据处理，不适合处理非结构化或半结构化数据•海量数据处理成本高昂，对于硬件要求较高，例如依赖大规模并行处理系统(MPP)等•存在单点风险•线性扩展能力有限，MPP节点一般上限100+•处理数据量受限（PB），数据量大时响应时间明显延长•固定数据结构和模型•数据处理容易保持一致性，适合事务复杂的业务系统•可以混合处理任意格式数据•基于工业标准成本低廉的X86平台和开源Linux系统，降低成本，充分利旧•分布式容错，无单点隐患•极高的线性扩展能力，一般都在1000+•可处理大量数量（TB到1E），通过横向扩展，实现秒级响应•灵活的数据结构和数据模型•数据处理无法保证一致性，需要单独开发验证程序，适合追求分析效率的分析系统大数据不是RDBMS的替代方案，两者相辅相成才是最佳的解决方案！20基于国网大数据平台的功能设计三、平台设计21三、平台设计实时业务分析架构设计简要分析描述项目的主要技术创新点。2、设计配电网停上电事件实时分析与推送1、流处理子系统由Flume、Kafka、Storm和Redis等软件组成3、设计负荷数据异常实时校验与修复4、设计日冻结抄表数据实时校验与修复，及抄表失败实时刷新5、设计日电量实时计算、修复与补全……22三、平台设计分布式存储与并行计算架构设计简要分析描述项目的主要技术创新点。2、设计满足查询和统计二类应用的海量数据存储需求1、系统由分布式列式数据库（Hbase）、全文检索（Solr，Key_Value）、分布式数据仓库（Hive）、交互式查询（Impala）等软件组成3、设计关键指标准实时计算与按小时进行刷新4、设计各维度数据快速统计、按业务需求归集，支持高效查询与分析5、计量在线监测与智能诊断软件后台计算分析重构……23三、平台设计数据挖掘与机器学习架构设计2、离线海量数据以IBM可视化建模工具SPSS为主，实现模型学习、验证1、系统由SPSS、SPARK、模型库、数据抽取与预处理等软件组成3、在线机器学习以SPARK为主，通过引用SPSS分析模型实现分析4、按业务建立分析模型库，满足各专业部门工作需求5、设计模型自动迭代和优化，满足业务不断变化的需求……24三、平台设计可视化展现设计2、通过IBM可视化建模工具（SPSS）的展现功能满足简单的应用需求1、基于百度图形组件（Echart），结合业务需求开发WEB展现3、结合业务，通过热力图、散点图、GIS和地图体现业务特征……25三、平台设计数据共享与业务集成设计2、基于FTP实现不同区域业务实时交互应用需求1、基于Webservices实现同一区域业务实时交互3、结合数据交互实现模型迭代分析和自学习功能设计……4、与业务深度集成，将分析结果嵌入到业务流程中26系统网络架构三、系统设计网关1(Flume客户端)网关n(Flume客户端)……网关服务器STORM服务器n……流处理服务器网关3(Flume客户端)网关2(Flume客户端)STORM服务器1STORM服务器2采集系统前置机通信前置n通信前置1通信前置2……通信前置机业务前置n业务前置1业务前置2……业务前置机数据服务器集群采集系统数据库服务器1采集系统数据库服务器2业务报文采集系统消息服务器KAFKA服务器n……KAFKA服务器1KAFKA服务器2全部报文后台任务服务器……应用服务WEB服务器接口服务器分布式数据库计量生产调度平台……外部系统营销系统PMS实时业务分析缓存与算法等组件数据存储与并行计算及挖掘分析ETL、SQOOP和系统接口MemCached、Solr……HBASE+HIVE分布式文件系统HDFSFLUME服务端服务器n……FLUME服务端服务器1FLUME服务端服务器2日志抓取服务端27软件架构设计三、系统设计28数据分析流程三、系统设计关口电能量系统营销系统用电信息采集系统数据选择数据预处理（清洗）数据集成数据平台数据抽取与建模数据准备数据挖掘引擎聚类算法分类算法多维规则关联算法……时间序列算法辅助分析决策知识库黑名单白名单按设定流程分析业务集成与数据共享……29平台设计功能设计业务规划项目背景成效与下一步打算30配电网停上电实时监测与分析功能-1四、功能设计日志分析一类数据分析停上电事件终端事件判断终端停上电判断终端停上电是分析线路停上电是否成立推送配电网抢修系统保存采集系统成立判断台区停上电是否退出否退出是否成立退出推送配电网抢修系统保存采集系统成立否退出否用电信息采集系统通信日志信息是否实时负荷数据31配电网停上电实时监测与分析功能-2四、功能设计基于用电信息采集系统实时负荷、停电事件和通信流量等信息，95598计划停电信息，生产实时管控的线路故障停电及光纤网管ONU掉电事件，实现配电网停电事件监测与分析；并实时将负荷数据和停电事件推送给省调配网SCADA、运检部、95598、安质部和海量数据平台；此功能目前已经应用于生产环境，实现每天对安徽省电力公司5亿多条记录进行实时分析与诊断32采集数据实时校验与修复-1四、功能设计业务分流调用科大负荷算法进行修复实时校验与修复数据入库（表：e_mp_cu