大数据管理可视化平台设计与实践-江樱

2014电力行业信息化年会论文集大数据管理可视化平台设计与实践江樱，戴波，王志强囯网浙江省电力公司信息通信分公司抗州摘要：从大数据相关技术在国网浙江省电力公司的应用情况出发，结合大数据平台建设、管理和运维等方面的实践经验，重点讨论了如何利用可视化技术解决大数据开源生态系统的开发与管理问题；构建了大数据管理可视化平台，为等开源系统的实用化和易用性提供了有力支撑；总结了平台的设计、实现和应用实践经验，对平台各模块功能进行了阐述。关键词：大数据；系统；管理；可视化平台弓胃计，保证平台与各应用服务进行有效的融合集面对大数据发展的机遇和挑战，电网企业应结合成，提高信息互联互通效率。自身需要，积极研究大数据相关技术，将大数据技先进性：选择主流而成熟的技术和架构，使得术融入企业整体信息基础架构，深挖数据价值，提升平台能够最大限度地适应大数据技术的发展变企业核心竞争力。目前，国网浙江省电力公司（以下化，保证平台的技术领先态势。简称公司）已在大数据体系架构、关键技术及应用实用性：考虑提供清晰、简洁、友好的应用界面’等领域展开了研究与验证，并在海量用电信息采集、便于通过可视化平台对分布式系统进行便捷的多类型数据关联分析等方面实现了良好应用。而以操作、管理和维护，提高系统的实用性和易用性。系统为主的开源技术存在一些与生俱来的薄可扩展性：采用柔性设计原则’使系统拥有良弱环节，应用入口基本在系统的技术底层，实用性和好的扩展性，具备灵活配置能力，同时结合未易用性较差，对系统的开发、应用和运维提出了较高来业务发展需要，各功能模块采用松稱合设计，要求。大数据技术的开源特性也决定了，它难以形成便于将来平台的扩升级。自成体系的技术和服务的规范和标准，需要企业进行大量的二次开发和封装。因此，对处于大数据研究公司大数据平台整体架构由业务源系统、及应用初级阶段的企业用户，迫切需要构建集开发分布式系统、应用中心和管理可视化平台部分组成，支撑、运维管理和可视化配置于一体的大数据管理并预留流计算、内存计算等计算模式的扩展及融合应可视化平台，实现对分布式系统的可视化用。大数据管理可视化平台针对大数据采集、存储、作业、监控和运维，有效提升大数据平台服务支撑处理及应用，提供可视化的作业、监控及运维支持，能力。平台采用主流的架构和面向对象的开发框架，采女教抿管理可挪仆平夂的设计与实现入±±力胃理、开发支持、作业调度和运维监控。公司大数据平设计原则台整体架构如图所示。在充分理解大数据相关技术及公司大数据应用需平台功能求的基础上，科学设计大数据管理可视化平台的功能（数据管理模块架构，设计时主要遵循以下几项原则。数据管理模块是对分布式文件系统）、合理性：充分了解企业大数据应用的需求和现分布式数据库）、分布式关系型数据库等数据状，统筹规划平台架构和功能，从总体上保证存储对象和存储数据的可视化管理，主要包括数据服系统设计的合理性。务接口管理、元数据管理、数据管理，具体功能结构集成性：考虑提供开放、灵活、稳定的集成设如图所示。2014电力行业信息化年会论文集应用中心大数据管理“；一‘可视化统计分析预警分析预测分析运营监测数据挖掘实时决策数据管■！分，式系统螯■§霄数据挖掘数据分析数据仓库数据流处理分；布！开发支持幻才分布式计籠架丨！￡§作丨丨目实时、分布式、高维数据库服？！！分布式文件系统；縣，运维监控财务管控生产计划用电采集营销系统图大数据平台整体架构能结构如图所示。服务接口注册元数据维护警数据维护开发支持接口管理管数据、源管難查旬可视化应用丨丨理■■■■可视化管理可视化管理存储匿」带系统纖缓存可视化管理可视化管理图豫猶管理模块功邋数据服务接口实现服务接口輕册和營趣功能，平圓髮支■模魏翁能台提供准的输入和输出接栽親数据输入接，蹄视化贊堙实现系讓中表输出接口以及接口技术标椎，弁提供接口运行状态的的创建、修改及数据餐看的便捷操作；可视化食时监控、接和错误信息管無等功能》管通实现窗口式的文件上传、下载、复彌、移动、删除、元数纏管理实现对分布式系统中的文件、表、视权限变更等功能；可视化管載生饔现将國暮数据对象逻辑结构的维护和管理，包楚元数裾的最句转换为分布式并行计霧的任务，实现在：查询、分析和数据流全程展示等功能。可视化构建数据仓库，以存储结构化数据，并执行数数据管理实现对存储数据的可视化査询和维护功据库靠衰创建、修改等功能；可视化管’能，改变本身霈要敲命令査询和维护衰中存理提供用户寶看大数掘集群：在系上注册储数据的方式。的节点信息，包括节点名、节点属性列表、节處数据、并发支持模块节点版本等信息，能够帮助用户快速查看寒群状态并开发支赞模块对系親中、、追踪问题故障》的操作功能进行封装，通过可视化手怍业调度段实现纏于页面的向导：式操作，将原先霄蘧由糖？作业调度檎块由资源：管通器、队到管理器和作业开发实现的功能轎变为图形可视化的方式直接操作’太调度器組成，齊提供平台作业管理和调度贅理功能，幅提升了大数据凌用的开发效率、开发支持模块具体功支持的作业类型包括批处理作业、交亙式作业、串行 2014电力行业信息化年会论文集和并行作业，具体功能结构如图所示。可视化管理功能为例，阐述大数据管理可视化平台的应用为开发操作带来的转变。細周度是生态系统内的数据仓库平台，用作业实时流数据数据挖掘龍同步作于在上构建数据仓库以存储结构化数据。管理作提供了类似于的查询语言可以提供数据表的创建、查询、变更等操作。在原生大业调度管■作业髓设置数据环境中，若要使用在上创建数据库表，需要登录到服务器，并在服务器端命令窗口中编图作业调度模块功能写脚本才能完成，如图所示。作业管理使用户可以通过可视化查看管理平台中作业运行情况，如对实时流数据作业、数据挖掘作业等多种作业类型的管理和监控，实现对复杂业务流程的集中管理和协调；调度管理提供用户新增、修改或删除作业的功能，平合独创性地提供以时间驱动和事件驱动相结合的作业方式，配合服务器集群负载实时监控功能，卖现作业的智能调度。运维监控运维监控模块实现对大数据集群环境运行状态的在线集中监控和预警以及对大数据平台参数的统一配置管理，构建集可视化监控、告警、配置管理、集群维护等功能于体的运维监控平台，具体功能结构如图所示。图原生系统中创建数据库表界面运维监控基于大数据管理可视化平台创建数据库表，用户监控预警可视化配置管理■口只需要进行步骤式的配置操作，按照向导执行操作即状态扩容配置可。平台通过适配器自动将前端的操作命令编译为管理管理管理服务艄语句，并提交给执行相应的操作，整个监控、、、―、等产品和集群过程不涉及程序编写，用户即使没有语言基账户角色础，也能基于进行幵发。图为大数据管理可视■“、化平台创建数据库表时，定义表字段的操作界面。图运维监控糢块功能创建表向导监控预警实现主机资源和服务进程监控、预警通。知以及预警阈值管理等功能，平台提供用户实时查看集群各节点、内存、硬盘等系统资源棚情况，—■—■同时对隨超时縣统銭鮮点进行实时體，户可以按需对服务器节点执行重启、更新或移除等‘操作；配置營理提供用户以树型方式管理、，统计单元编码等大数据集群配置项功能，实现大数据平台配，置项的统一维护与集中管理。应用实例图大数据管理可视化平台定义数据库表字段界面通过大数据管理可视化平台创建数据库表大数据平台运行情况监测预警以大数据管理可视化平台开发支持模块中的通过大数据管理可视化平台实时在线监测服务器电力行业信息化年会论文集菜单钱主页〉运维监控〉监测预窖系统理度运维监控—當要勝二要置丨：开发支持増加新节点图大数据平台运行情况在线实时监测预警使用率■内使用率曲线酬使用率■内使用率曲线；内存使用率内内存使用率曲线■°图大数磨等台运指的趋集群各节点的运行情况，包括、内存、硬盘等系结束语统运行指标数据，并对、超值系翁：运行监测指标预大数据營裡可视化乎合是公司在大数掘技术研究如图所示。与应用领域的￡作成果之该平台实现了公司大数若要进—分析费警栺标的详细信息，则可以追据资源的：集中鲁理、实时监测和可视化管理，发了搠查看该指标内资源耗用情况的趋势，如图所稳定、高敛、灵：活的系统幵发、运维和管理支撑工具，便于运雒人员有针对牲地开展原面分析，尽快解提升了生态裹霸管理、开发操作的实用性和决问题易用性2014电力行业信息化年会论文集参考文献言工禾呈中心工页目◎■、高双工禾呈师’人中心相关系统的建设实施工作。刘鹏，黄宜华，陈卫卫实战开启通向计算的捷径：！匕京电子工业出版社，戴波，男，囯网浙江省电力公司信息通信分公司信息通赵刚大数据技木与应用实践指南北京电子工业出版社，信工程中心主任、高级工程师，主要从事信息化技术和赵云山，刘焕焕大数据技木在电力行业的应用研究电信科学，王志强，男，囯网浙江省电力公司信息通信分公司副总工作者简介程师、高级工程师，主要从事信息化技术和管理工作。江樱，女，囯网浙江省电力公司信息通信分公司信息通（收稿日期：