数据交换服务

1.1.1数据交换服务本项目的数据交换应用主要包含在以下两个方面，即：（1）内外网门户平台之间由于逻辑隔离，需要进行数据交换。（2）在内网范围内存在已建系统、在建系统和待建系统，系统之间存在数据交换的需求。1.1.1.1数据交换功能分析本交换服务基于统一的数据交换平台，数据交换平台基于面向服务的SOA架构，采用消息服务服务总线（ESB）技术实现多个节点之间的数据交换。数据交换平台在统一数据规范和数据接口的基础上构建，主要功能如下：（一）实现（但不限于）以下多种信息资源的共享交换方式基于SOA的设计思想，数据交换以统一的基于服务的交换来管理。服务可以绑定文件，也可以绑定数据库或其它服务产生的SDO。在源服务到目标服务的执行路由上，我们设置中间格式转换服务，注册到ESB上，负责适配数据格式。通过ESB的交换也可以和操作权限、数据权限的管理相结合，满足管理需求。主要交换方式如下：1、文件交换。实现各委办局之间、各应用系统之间灵活的、可定制的一对一、一对多的文件交换。2、数据库之间的数据交换。实现各应用系统数据库之间的数据交换及中间格式转换。3、基于服务的交换。能够实现基于Web服务的信息资源交换，能够方便、快速地包装、解析委办局提供的各类服务接口中的数据，并转化为需求方的数据格式。（二）支持多种会话策略实时：基于事件驱动，由系统运行时动态产生和控制的会话方式；定时：由系统定时器根据预设的定时策略产生和控制的会话方式；手工：系统运行时由用户手工产生和控制的会话方式。（三）支持多种灵活的交换策略。包括两种数据交换方式交换共享(数据“落地”集中)模式：各应用系统之间通过交换服务实现交换，数据中心在ESB上注册源到目标的路由监听服务。交换数据时，ESB将源数据及目标返回数据作为参数，调用数据中心注册的服务。交换的数据通过此监听服务，将数据“落地”，存储在基础数据库中，形成需要共享的基础数据。对等交换(数据“不落地”)模式：各应用系统之间通过交换服务实现交换，交换的数据不需存储在交换中心节点中。这种模式实际上建立了一种数据交换通道或交换总线。（四）支持多种数据接口和传输协议基于数据交换产品可提供数据库、文件系统、WebService等多种接口服务方式，支持不同格式数据内容的交换共享。同时，遵循国际主流成熟的、通用的传输标准、规范和协议，如TCP/IP、XML等。以XML应用为例，XML数据交换格式和标准：以XML为基础，定义了数据标识、数据传递、数据操作、数据存储映射等内容。根据行政学院的数据情况和SOA平台的实际采购情况，可以有两种对协议的处理。数据提供方及数据接收方都使用标准协议，SOA平台对此交换支持协议间转换；数据提供方及数据接收方都内部处理数据，产生XML或SDO，SOA平台提供接口适配功能，处理数据接口的适配。（五）支持跨网段数据交换：支持HTTP、HTTPS协议，能够在不影响交换性能的前提下跨网段、跨防火墙访问，提供相同或不同网络之间的消息传输服务，以透明方式支持数据各类数据的交换共享。（六）交换安全保障服务能够基于产品自带的安全服务功能，对敏感信息交换进行MD5、DES、SSL加密，根据数据加密应用途径进行交换信息内容的加密（可逆或不可逆），保障数据交换传输过程中的安全。同时还将具有数据合法性验证功能，能够对交换服务与应用系统之间以及交换系统之间的两类合法性验证，确保数据可信交换。拥有断点续传功能，保证数据“只传一次”，即不重传、不漏传、断点续传,实现高效传输。用户可根据实际需要指定任务的优先级顺序，实现任务调度功能。（七）提供数据交换日志能够对所有的数据交换任务纪录详细的日志信息，信息内容包括交换节点名称、交换节点IP地址、端口号、交换内容、交换时间、是否成功等各类信息，确保能够对数据交换任务进行追踪和事后审计。（八）能够支持灵活部署模式建成后的数据交换服务除了支持通常的统一平台集中部署模式外，还将根据实际应用需求，灵活支撑分布式部署模式，确保在能够针对交换业务系统实际应用环境，适时调整，满足行政学院的信息资源共享交换建设需求。（九）可视化配置和管理功能可视化交换服务配置功能，用户无需了解底层XML、WebService、Adapter等编译环境，通过平台提供的可视化配置管理服务组件，由用户在交换服务组件安装配置过程中，定义组件类型（文件、数据库适配器组件等）、组件应用途径（文件收发、数据收发等）、组件配置（连接本地数据库IP地址、服务名称、端口号、DBSA、Password），并可在组件管理功能中修改、维护现有交换服务配置；可视化管理，为便于交换服务的维护和管理，系统还将提供全局运行监控管理，管理员可通过此功能实时掌握中心以及各交换节点的运行状态，最终实现共享交换功能及信息资源共享交换过程的可视化管理与展示。（十）路由解析与在线维护基于数据交换ESB总线服务实现数据交换路由解析服务，支持数据的多步多级传输，解析的规则可通过交换中心节点控制台服务管理工具进行在线更新和维护。（十一）强大的自适应性、扩展性和兼容性基于数据交换搭建行政学院管理信息系统数据交换服务，数据交换基于业界主流J2EE、JMS、WebService、XML、Adapter、Socket等一系列开放性技术标准和规范，因此建成后的行政学院管理信息系统数据交换将独立于具体应用、具体编译运行环境以及具体开发框架，平台与应用之间松散耦合，能够通过可视化的配置管理操作适应各个应用系统的变化。1.1.1.2数据交换架构分析数据交换平台的技术架构分析如下所示：数据交换平台的技术架构数据交换服务按SOA的思想，将功能封装为符合J2EE、Web服务等国际主要标准的接口。数据交换服务的体系结构如上图。数据交换服务由表现层、业务过程合成层、业务逻辑层、基础设施层、安全访问管理层组成。表现层在用户级别上调用业务逻辑提供的服务，提供用户界面，接受用户的交互。业务过程合成层对业务逻辑层提供的服务进行编排和组合，形成组合服务，以支持特殊的用例和业务过程。业务逻辑层完成数据交换中间件的基本功能，以服务形式提供给业务过程合成层进行组合或者被应用程序发现、绑定最后完成调用。安全访问管理层对服务进行安全管理，提供服务质量保证。在上述的数据访问可进一步细化为数据采集、数据类型转化、模式转换等，数据采集又可以分为对结构化数据、非结构化数据的采集，分布封装为不同的服务甚至调用其它的应用提供的服务。数据交换平台提供图形化的设计和管理工具，方便业务人员的使用，系统支持远程的部署和管理功能，便于系统的维护和管理。数据交换系统是基于SOA的服务总线软件，不依赖于任何应用服务器产品，用来构成交换平台的中心枢纽，实现可靠的消息传输和路由功能。应用适配器系统提供与各类不同政务应用系统与数据库的接口组件，支持结构化文件与非结构化文件的读写，对XML、Domino、EXCEL、TXT等结构化文件、文档，提供文件内容解析功能，支持大数据文件的读取，通过简单的配置即可实现部门间的信息共享与交换，大大提高交换平台的实施速度。流程管理系统是利用企业或政府机构的现有IT机制来管理业务流程，通过和业务应用的紧密连接组成了一个完整的业务流程管理系统。流程管理系统从根本改变了应用系统的设计与集成方法，第一次将业务流程的设计交还给业务人员而不是信息技术员，使业务流程能真正满足业务不断变化的需求。服务总线系统示意图如上图所示，在各节点的交换前置机上安装前置机交换系统或应用适配器系统，在交换中心的中心交换前置机上安装中心交换系统和应用适配器系统。部门交换前置机和中心交换前置机共同组成信息交换总线。应用适配器系统支持Oracle、MS-SQL、Sybase、Mysql等多种数据库，可解析读取XML、Domino、Excel、TXT等结构化文件、文档，并通过服务总线系统支撑如联合审批、流程管理、市场监管、辅助决策等多种应用和各类服务。部门交换前置机上的应用适配器系统负责自动提取部门交换信息库发送到交换服务总线，同时，从交换服务总线上获取信息并存储到部门交换信息库。部门交换前置机上的应用适配器系统还实现部门业务信息库与部门交换信息库之间的信息交换桥接功能。中心交换前置机上的应用适配器系统从交换服务总线上提取部门发送的信息并保存到中心交换数据库，也自动提取中心交换数据库中需要交换给部门的信息并发送到交换服务总线。数据交换流程的配置采用工具软件实现交换流程的动态配置。通过交换平台提供的管理监控系统实现对整个交换平台的管理与监控。数据交换支持消息中间件及WebServices两种信息交换方式，消息传送支持http/https、ftp、JMS等协议，消息打包采用SOAP，支持消息确认、消除重复、断点续传等可靠性要求，支持XML消息加密、XML消息签名，支持差错处理，业务数据封装采用标准规定的业务表示标准，提供统一的管理监控系统，从交换结点、交换服务、日志管理、消息监控等几个方面实现对交换平台的全面的远程监控与管理。1.1.1.3数据交换实现方式数据交换网桥用来实现各部门业务系统和前置交换库之间的数据交换。为了保护业务系统的安全性和独立性，数据交换平台通过交换前置机与业务系统相连，在前置机上建立前置交换库，用于存储各节点向外发布的信息和从其他节点交换过来的信息，如图系统总体框架所示。桥接系统负责业务系统与前置交换库之间的数据提取与交换，包括从业务系统中提取需要发送、共享的数据保存到交换库，以及从交换库中提取信息保存到业务数据库。本项目利用应用适配器技术，实现业务系统的业务数据库之间的数据交换和转换，通过图形化的设计、管理工具，对系统进行配置，不需要编写程序代码就可以实现信息交换。由于各个部门对安全的要求不同，造成了局域网和交换网络之间的网络连接方式不一样，针对国家行政学院内、外网逻辑隔离及其业务系统的状况，对于数据交换的实现如下：逻辑隔离情况下数据交换的结构如下：逻辑隔离情况下的数据交换示意图对于业务数据发布过程，在业务网络中的适配器从业务库中提取新鲜数据进行转换并保存到交换库中。防火墙只允许通过从内部到外部的访问。从到外网到受限外网的数据同步过程和上述过程类似。1.1.1.4数据交换流程（一）各单位向交换中心发送数据的流程各单位向交换中心发送数据的流程如下：各交换节点发送数据流程（二）交换中心向各单位发送数据的流程交换中心向各交换单位发送数据的流程如下：交换中心发送数据流程