基于归档日志的数据同步服务平台研究与应用

基于归档日志的数据同步服务平台研究与应用李功新1刘升1刘金长2杨成月2张翔2（1福建省电力有限公司，中国福州350003）（2厦门亿力吉奥信息科技有限公司，中国厦门361009）摘要：福建电网构建数据服务平台的目标是通过对基层电网生产数据整合，来提供省公司一级对电网生产管理所需的数据源，构建稳定可靠的电力业务数据支撑平台。在整体架构设计上将其划分为三层，其中数据抽取层通过直接解析Oracle数据库归档日志，来高速有效的获取原始数据；数据转换层采用基于XML的数据抽取接口，来屏蔽各基层电网生产数据的差异性；数据集成层通过建立具有福建电网自身业务特色的数据集成模型，使数据既能保证现有业务需求又能满足后期业务扩展需要。该平台的设计方案和技术路线对于电力行业中相关数据同步系统的建设具有一定的参考意义。关键词：数据同步；归档日志；GPMS；CIM模型1概述2007年，福建电力在全省各地市级电网部署、安装了电网生产管理系统基层版（GridProductionManagementSystem，GPMS），使福建电力输变电生产管理的规范化、信息化水平上了一个新的台阶。GPMS系统基于GIS理论并结合电力生产业务加以实现，同时根据业务需求分别在各地市部署了基层版并在省公司部署了省公司版。省公司GPMS系统业务数据来源是各基层版的业务数据，同时根据业务需求作相应的转换、集成，主要具有如下三个方面的功能：1)基层版与省公司版数据的同步根据GPMS系统各版本面向的对象不同，省公司版需要抽取、同步、复制各基层GPMS系统的数据，来为省公司版系统的各项业务提供数据支持。因此，必须建立一套机制和体系，在确保数据库性能和安全的情况下，让基层公司业务数据库中的数据有选择性地在受控的情况下同步到省公司的数据库中。2)业务与负载均衡在数据同步过程中，需要确保在海量数据的抽取、同步及复制时，现有系统业务仍然可以顺利开展，不对现有的业务处理造成任何性能上的影响。3)数据中心的建设为在当今市场竞争中保持优势，越来越多的电网公司在建设数据中心系统，以便为公司的决策支持系统提供稳定、可靠的数据源。如何为数据中心提供完整的数据抽取、转换和装载的解决方案，一直是信息化建设面临的挑战，同时也是平台建设所需达到的目标。2平台分析数据同步服务平台研发的关键在于：1)与GPMS系统无缝集成电力系统本身特点决定了为保证供电的可靠性，电力系统生产环境中所采用的软硬件系统必须能够保证7*24小时无间断稳定运行，这就要求在实现数据同步时所采用的技术实现方案，必须要能够同现有的GPMS系统实现无缝集成。即要求数据同步服务平台在部署时不会中断现有系统业务运行，因为即便是有计划的业务中断，也会对电力企业造成巨大的损失，大大降低服务质量和客户满意度。据业界估计，80%的停机时间都源于计划的下线，其中包括软件系统部署、升级和硬件迁移等。因此尽量缩短软件系统部署过程所需要的时间是提高系统连续运行的关键，因此，如何保证数据同步服务平台同现有GPMS系统的无缝集成，并尽可能的缩短平台部署时可能造成的业务中断时间是本项目最关键的环节之一。2)屏蔽数据差异性GPMS基层版设计目标针对的是各个地方局的生产业务。由于地域性的差异，在描述相同业务上，也可能会存在数据格式、数据编码上的不一致，因此在数据同步过程中需要对数据差异性进行屏蔽，将其进行统一的转换，保证在省公司进行数据集成时具有统一的数据编码格式。3)满足业务发展需求省公司和基层局由于组织定位的不同，即使对于相同的业务，所要求的数据结构和编码也会不尽相同，因此在数据集成时，要根据相关需要建立起相应的数据集成模型，来描述相关业务，以便满足省公司层面对于业务数据的需求。同时，建立的业务模型还需要满足后期业务发展要求，并可方便灵活地进行修改和扩充。基于以上三个关键出发点，在平台架构的设计上采用分层设计思想，将其划分为三层（图1）。其中，数据抽取层负责从基层版中获取基础数据；数据转换层负责屏蔽各基层版数据间的差异性；在数据集成层中增加省公司相关业务需求，并对各基层版数据进行集成转换以满足业务需求。数据集成层数据转换层数据抽取层数据源图1系统层次结构3平台设计3.1数据抽取层数据文件目标数据库端进程数据库源端数据库实例Redo日志归档日志源数据库端进程目标端数据库实例数据库TCP/IP图2数据抽取层工作逻辑数据抽取层在业务数据获取上采用了Oracle数据库归档日志解析方式来获取基础数据，主要通过以下步骤实现数据同步（图2）：1）数据收集数据抽取时，通过源端进程结合数据抽取接口来收集数据，此进程的独特之处在于它几乎不对源端数据库产生任何开销，主要体现在以下几个方面：源端进程从Oracle归档日志文件中读取信息，因此收集过程不会给生产数据库实例带来性能问题；只有发生改变的数据被传输，而不是日志文件中的全部信息，因此进程对于网络负载的影响非常小；尽管需要在Oracle数据库中安装少量的对象用来存储有关复制的一些基本信息，但源数据库不需要参与到数据收集和传输过程中。源端进程驻留在源数据库系统上，自动读取Oracle的归档日志文件。这种读操作是从操作系统的角度来完成的，而不是通过数据库。通过将日志文件作为获取变化信息的源泉，可以完成数据的收集而不会给生产系统带来额外的开销。由于Oracle使用日志文件进行系统恢复，因此日志文件信息足够，其数据格式也足够稳定。源端进程连续监控日志文件用以收集变化信息。源端进程将判断归档日志中的变更是否属于被收集对象，如果是，则将其加入数据文件中（数据文件存在于数据库之外）。数据文件将被发送到目标系统中，从而在目标系统中完成相对应的操作。2）数据传输数据抽取过程中，结合其自身的网络协议和TCP/IP协议来完成源和目标系统之间的数据文件传输。其相关进程会确保数据文件的正确接收和网络数据包的正确顺序，并提供网络传输冗余，以确保数据文件的完整。整个数据文件传输过程无需其它的中间件。3）数据应用数据抽取目标端进程将传送到目标系统中的信息结合数据集成模型转化为SQL语句，然后发送给Oracle执行。其中，能够实现精确数据同步的一个重要原因就是其能保证从源数据库到目标数据库的Oracle读一致性，不但按顺序复制事务，而且也复制上下文信息，将源数据库中发生变化的全部事务信息都复制到目标数据库中。3.2数据转换层和数据集成层各地市GPMS系统根据自身业务需求，在描述上存在一定差异性，因此首先需要定义统一的数据抽取接口，将存在差异的数据转换为统一的数据格式，利用省公司实际业务需求建立起的数据集成模型，将各地市数据进行统一汇总集成。3.2.1数据抽取接口在平台中数据接口是定义数据抽取时基层版GPMS系统间集成数据格式的标准。考虑系统目前实际情况及未来需求，我们使用XML描述（DTD或Schema）数据交换接口。XML可用于机器与机器间的数据交换,及不同应用之间的通信。由于XML是独立于任何体系结构和语言之外的数据格式，并且其数据展现与表示是分开的（同一数据内容可灵活地展现为不同的显示形式）。其中立性，非常适用于系统集成中的信息交换之用。3.2.2数据集成模型通过建立数据集成模型将为数据抽取提供规范和指导。数据同步平台采用的数据集成模型是基于福建电网数据中心数据集成模型，并结合GPSM系统业务特点建立的，是数据中心模型的补充和完善。数据中心模型是以CIM规范为基础建立的，图3是基于数据中心现有模型建立的一个简单的GPMS业务模型（该模型只是描述了GPMS业务的极小一部分）。图中的包是一种将相关模型元件分组的通用方法，没有特殊的语义意义，包的选择是为了使模型更易于设计、理解与查看。公共信息模型由完整的一组包组成。实体可以具有越过许多包边界的关联。每一个数据的集成将使用一个或多个包中所表示的信息。图3数据集成模型3.2.3数据抽取接口和数据集成模型应用流程图4应用流程从基层版中获取的原始导出数据，通过XML定义的接口转换文件，转换为统一的数据格式，结合数据集成模型和相关的其他数据信息，转换为SQL语句，在目标端的数据库中进行执行，从而到达数据同步的效果。3.3平台拓扑结构基层局数据库源端进程基层局数据库源端进程基层局数据库源端进程基层局数据库源端进程电力专网省公司数据库目标端进程数据同步服务运维平台图5平台拓扑结构平台整体由三部分构成，分为源端进程、目标端进程和数据同步服务运维平台（图5）。其中，源端进程以后台服务的方式运行，实现平台架构中的数据抽取层功能，通过对归档日志解析获取原始数据，并将其通过网络传输给目标端进程；目标端进程同样以后台服务的方式运行，实现平台架构中的数据转换和数据集成功能，通过使用XML定义的数据转换接口，进行数据转换，然后使用CIM模型进行数据集成，转换为相关的SQL语句，进行数据入库操作，达到数据同步的目的；数据同步服务运维平台用以监控数据同步服务平台的运行情况，并提供数据转换接口和数据集成模型的维护界面，降低整个平台的运维成本。4应用效果表1数据同步服务平台技术优势优势说明保证事务的一致性和其它解决方案不同，上述数据同步平台在实现数据抽取方面提供了一个数据库级的软件解决方案，能够保证每个数据库事务在源系统与目标系统间的一致性，能够实现精确复制的一个重要原因就是其能保证从源数据库到目标数据库的Oracle读一致性，不但按顺序复制事务，而且也复制上下文信息。对数据库系统性能影响小通过Oracle日志获得数据的变化信息，它所具有独特的技术优势在于它对源系统的资源占用很小。在生产系统中，实际对源系统的影响和源系统复制事务的多少，事务的处理方式有关。对系统性能影响对主系统CPU占用率5%。网络资源的使用低数据抽取时数据的收集只通过数据的归档日志文件，并结合了数据抽取接口，只获取需要的数据，同时通过TCP/IP方式而不是采用中间件方式，从而使得网络负载降至最低。灵活性和扩展性强平台提供了数据集成模型，使用户可以灵活地构建新的业务模型，满足业务扩充性需求，充分保护投资。异构环境的支持基于日志文件的同步原理，使其不受操作系统及数据库版本的限制，可支持各种不同平台、数据库版本之间的数据复制。实施周期短不需要对硬件、软件、磁盘卷的划分进行任何额外的操作。减少了建立同步环境对系统结构和应用所做的修改工作。5结语实践表明，通过采用对Oracle归档日志直接进行解析获取数据的方式可成功实现与现有GPMS系统间的无缝集成，并能够高效地获取所有的基础数据；基于XML描述的数据抽取接口解决了数据格式不一致的问题；采用基于福建电网数据中心CIM模型建立的数据集成模型可以有效满足业务扩展的需要。数据同步服务平台已经在福建电网GPMS系统中投入运行，依靠这个先进的数据同步平台，有效提升了福建省电力生产业务管理与服务的能力。参考文献1.李功新．基于GIS的电网生产管理系统建设与应用[M]．北京：科学出版社，2008-5．2.肖伟，赵嵩正．异构环境下Oracle数据移植问题研究[J]．中国电力教育，2004(2)．3.刘翔，程文青，刘威．一种从XML建立关系数据库的模式映射方法[J]．中国电力教育，2006(12)．