数据中心同步平台建设方案

数据中心同步平台建设方案第一章概述1.1平台建设背景当前政府、企业的信息化的状况是，各政府和企业一般都设计和建设了属于机构、业务本身的应用、流程以及数据的信息处理系统，独立、异构、涵盖各自业务内容的信息处理系统，系统设计建设的时期不同、业务模式不同，信息化建设缺乏有效的总体规划，重复建设；缺乏统一的设计标准，大多数系统都是由不同的厂商在不同的平台上，使用不同的语言进行开发的，信息交互共享困难，存在大量的信息孤岛和流程孤岛。为了有效整合分散异构的信息资源，消除“信息孤岛”现象，提高政府和企业的信息化水平。宇思公司要开发的数据共享交换平台，主要目的是有效整合分散异构系统的信息资源，消除“信息孤岛”现象，提高政府和企业的信息化水平，灵活实现不同系统间的信息交换、信息共享与业务协同，加强信息资源管理，开展数据和应用整合，进一步发挥信息资源和应用系统的效能，提升信息化建设对业务和管理的支撑作用。要求新构建的数据共享交换平台要遵循标准的、面向服务架构（SOA）的方式，基于先进的企业服务总线ESB技术，遵循先进技术标准和规范，为跨地域、跨部门、跨平台不同应用系统、不同数据库之间的互连互通提供包含提取、转换、传输和加密等操作的数据交换服务，实现扩展性良好的“松耦合”结构的应用和数据集成；同时要求数据共享交换平台，能够通过分布式部署和集中式管理架构，可以有效解决各节点之间数据的及时、高效地上传下达，在安全、方便、快捷、顺畅的进行信息交换的同时精准的保证数据的一致性和准确性，实现数据的一次数据共享交换平台-设计方案采集、多系统共享；要求数据交换平台节点服务器适配器的可视化配置功能，可以有效解决数据交换平台的“最后一公里”问题，快速实现不同机构、不同应用系统、不同数据库之间基于不同传输协议的数据交换与信息共享，为各种应用和决策支持提供良好的数据环境。要求数据共享交换平台能够把各种纷繁复杂的数据系统集成在一起完成特定业务，提供同构数据、异构数据之间的数据抽取、格式转换、内容过滤、内容转换、同异步传输、动态部署、可视化管理监控等方面功能，支持的数据包括各主流数据库（如Oracle、SQLServer、MySQL等）、地理空间数据（如卫星影像、矢量数据）、常规文件（word、excel、pdf）等各种格式，并可以根据用户需求定制开发特定业务服务。1.2应用场景场景一：中国科学院电子学研究所的信息交换需求实现各个数据中心间的数据库层面的数据共享交换，各中心之间是双向的、实时的数据交换，各数据节点的数据库是同构的数据库系统（即Oracle），数据的类型是基于数据库表格的规则数据，字段类型包含BLOB字段类型。目前各数据节点的数据结构（表）是相同的，主要是一表对一表的数据交换，数据抽取和过滤需求比较简单。目前数据共享交换是通过OracleGoldenGate数据库同步工具来实现的。用户具体需求包括：1）可视化的交换节点配置管理，包括：动态添加数据交换节点、配置交换节点间的表的同步映射关系、配置表的同步规则、过滤条件等。数据共享交换平台-设计方案2）OGG交换进程监控管理实时监控各节点间的ogg交换进程的统一管理，包括：按照进程的分类（如抽取、投递）来管理，并实时监控每个进程的运行状态，发生异常时通过短信或者声光报警的方式来告知用户。3）统计分析实时统计各交换节点间的数据流量统计（按天、月、年来统计；按表）、数据同步状态统计（如更新的、插入的、删除的、成功的、失败的）。场景二：国土资源部航遥中心的信息交换需求以高分地矿示范应用系统为例，其数据交换节点是各个分系统，各分系统之间存在频繁的，海量的数据交换，其数据类型主要是表格数据、影像文件、地理矢量数据、多媒体数据等；数据交换时需要做数据抽取、格式转换、内容过滤、同步或者异步传输等业务操作，数据共享交换是通过应用层面调用服务接口的方式来实现的。场景三：河北国土资源数据中心的信息交换需求场景四：场景N：1.3术语介绍（1）企业基础信息数据共享交换平台-设计方案工商、国税、地税、质监等部门涉及到企业注册登记、变更、注（吊）销、年检、税务登记、组织机构代码登记等业务内容的基础信息，具有跨部门共享需求的特征。（2）企业基础信息交换平台工商、国税、地税、质监等部门之间进行企业基础信息交换的通讯、传输与管理系统。企业基础信息交换平台是指成熟的应用集成和数据交换中间件产品。（3）交换前置机企业基础信息交换平台中与工商、国税、地税、质监等交换节点进行信息交换连接的交换前置服务器。（4）信息交换桥接工商、国税、地税、质监等部门业务应用信息库与前置交换信息库之间信息安全交换的连接通道。（5）企业基础信息库存储、管理企业基础信息的数据库。（6）前置交换信息库工商、国税、地税、质监等部门与企业基础信息交换平台之间共享信息双向交换的中转数据库。（7）业务数据库业务数据库是指各个委办局保存业务数据的数据库，运行在委办局的内网中。如税务部门的税务征管数据库，工商部门以“经济户口”为主要内容的工商业务数据。（8）应用系统应用系统是指本项目开发的部署在各委办局节点前置机上的桥接系统、中心数据管理系统、数据比对和整合系统等应用的总称。（9）中心数据管理系统中心数据管理系统是指本项目开发的实现交换数据查询和管理等功能的应用系统。（10）数据比对整合系统数据比对系统是用来加工整理各单位发送的企业基础信息的系统。按照一定的比对规则和条件，数据比对系统对各部门的信息进行对比，形成完整、统一的XX市基础信息数据库。数据共享交换平台-设计方案1.4编制依据及参考资料《全国企业基础信息共享和应用建设实施要求》（国信办[2005]10号）《电子政务信息共享互联互通平台总体框架技术指南》（国办秘函[2004]79号）《政务信息交换体系》（GB/T21062-2007）（国信办[2006]2号）《国家电子政务总体框架》-9-数据共享交换平台-设计方案第二章必要性、可行性及效益分析2.1必要性分析在信息化建设过程中，各职能部门通常采用不同的技术和体系结构来构建自身的信息系统，虽然为各自业务发展起到了很好的促进作用，但各信息系统数据独立存储形成一个个信息孤岛，使得各业务系统之间很难实现数据共享，严重制约着政府各职能部门、业务系统之间的协作及工作效率的提升。如何在不改变原有系统的基础上实现跨平台数据访问也成为信息化建设道路上必须思考的一个问题。2.2可行性分析在技术上，当前市场已经涌现很多实现数据交换的平台产品，形成先进的信息交换和共享服务技术体系，能为数据交换平台的建立提供很好的技术架构。2.3效益分析通过数据交换平台的建立可以打破当前的“信息孤岛”现象，建立不同业务系统的数据共享平台，形成政府综合信息库。同时，通过统一的数据交换平台实现各业务系统之间数据交换的单一安全通道，在实现信息共享的基础上也确保了各自数据信息的安全。从未来发展的角度看，当前建立数据交换平台可以为以后新的业务系统的建设提供标准，一旦标准形成，审批、监察等业务都可以直接利用共享的基础信息库数据，从而减少了数据采集的资本投入，也提高了监管工作效率和公共服务水平，取得了良好的经济效益和社会效益。数据共享交换平台-设计方案第三章建设目标、思路及原则3.1建设目标核心目标是全市建设数据交换平台，作为今后数据交换的支撑，将来在平台上不断的扩展应用。本期建设目标搭建政务数据交换中心，实现政府部门业务系统之间的数据交换，为政府内部办公提供数据交换采集综合信息库；建立全市电子政务建设地方标准和规范，为以后信息系统的建立提供规范指导。远期建设目标通过数据交换建立企业信息库，实现政务、企业数据共享，为网上行政审批提供决策数据；建立业务数据的集中采集平台，实现了行政审批电子监察数据的在线、实时采集。3.2建设思路要实现各部门的数据共享，必须先建立统一的数据交换平台，通过交换平台实现各异构数据库之间的数据集成，实现原有各业务系统在数据级集成，保证异构数据库之间的数据交换与共享。在建立的数据交换平台基础上，针对各业务系统的技术和体系结构，配置各业务系统的数据交换映射关系，形成各业务系统的应用。当平台建立好以后，业务应用可以任意扩展，添加新的共享数据。3.3建设原则全市信息交换平台建设必须遵守以下原则：不影响现有或其它相关信息系统的使用和信息安全；技术要成熟、可靠，在节约成本投入的前提下确保平台建设质量；建立一个坚实的系统应用平台，便于系统的管理和维护，技术易于更新，网络及业务规模可以逐步扩展。统一规划，分步实施。数据共享交换平台-设计方案第四章关键问题解析4.1数据交换平台能解决什么问题对数据交换平台的理解有一种误区，就是有了数据交换平台不同系统之间的信息交换就可以随便实现了，而不需要任何编码；实际上这是不对的。数据交换平台的应用主要是在异构系统之间的信息交换，但在信息交换过程中交换平台本身要解决的问题只是一小部分，它本质是一个中间件，面向客户时屏蔽了很多系统底层的信息，比如网络的协议、数据的传输安全等，据交换平台本身不具有业务本身的处理功能，比如无法自动从某个业务系统中直接获取数据信息，只能通过编程把数据从业务系统中提取出来，再送到数据交换平台。利用数据交换平台使开发过程中不需要关注数据各式转换、消息的传输、数据路由等，只需要关注与业务本身的数据处理部分。4.2数据交换平台与业务应用的关系在电子政务系统建设过程中，有些应用系统必须充分利用数据交换平台，比如资源目录管理系统、人口基础信息库、企业基础信息库的关系、决策支持系统等。这些业务系统从不同单位的不同系统中获取数据，数据交换平台为信息交换和传递提供一个安全可靠的通道，不同的应用系统可以公用相同的数据交换平台，因为数据交换平台好比是高速公路，可以有不同的车道和车辆，而业务系统本身有自身的业务逻辑。所以从功能和应用层次的角度交换平台≠业务应用。4.3数据交换平台无法解决实时性的业务需求假设有A、B两套完全独立的系统，中间通过数据交换平台连接，能实现一部信息的交换，若从A系统发起一个请求查询B系统的数据，这类应用就是实时性业务。这类业务数据交换平台是无法实现的，因为查询是针对A系统的数据库，如果要看到B系统的信息必须B系统在查询前把信息传递到A系统，否则无法直接查询B系统的信息。数据共享交换平台-设计方案第五章总体设计5.1系统总体结构门户层内外门户外网门户应用系统层交互社区企业式网OA信息信用上办化系信息系统公系统系统统城市基础设施建设与维护系统决策支持系统其他应用系统政策法规与标准规范体系政务信息共享交换层数据交换服务基础构件库信息安全服务信息导航服务政务信息资源目录层数据服务应用用户目录目录目录目录信息安全体系元数据管理数据资源层元数据库决策支持库主题库基础库业务规则库业务信息库平台日志库其他数据库信息基础平台网络基础设施、主机、系统软件等5.2系统逻辑结构业务系统的资源交换是通过中间件进行交换和共享。其中，发送模块负责从业务系统接收信息、把信息的格式转换成中间件可识别的格式、和把转换后的信息发送给中间件;接收模块负责从中间件接收信息、把信息的格式转换成接收系统可识别的格式、和把转换后的信息发送给业务系统。5.3系统物理结构业务系统通过交换平台接入点连接业务系统，接入交换平台的业务系统，需要开发相应的适配器，如下图：数据共享交换平台-设计方案第六章数据交换平台功能设计6.1交换中心管理系统6.1.1数据交换标准定义根据对目标系统综合性应用内容的需求分析，定义出一系列的数据交换标准。这些标准将反映各个应用所需要的数据的结构。同时在标准中定义的还有数据“宿主”位置等信息，表示该块数据将向哪个业务系统请求获得。所有的数据交换标准定义信息，均以XML结构记录。可以通过数据交换标准定义管理工具完成如下功能：新建标准、修改或删除标准；维护标准中的属性，包括数据结构、数据“宿主”位置、缺省过滤条件等；实现对用户身份识别与管理权限控制；6.1.2数据交换流程定义数据交换是依据数据交换流程实现的，针对不同的数据，需要设定和管理不同的数据流转过程。该模块的作用是提供图形化界