统一数据交换平台.

统一数据交换平台四川赛思特科技有限公司项目总体概述统一数据交换平台内核采用AMQ4.1.1，服务器容器完全兼容Tomcat、Weblogic，JAVA虚拟机要求1.5以上版本。客户端目前支持JAVA、C和C++三种协议，是一个高效的、可管理的数据交换平台。交换平台设计框架图核心交换模块接口1用户界面业务应用1核心交换区接口区客户区...业务应用2业务应用N...接口2接口N配置管理监控系统安全管理日志管理管理功能模块…系统特点管理方式灵活：管理模式采用集中和分布式管理相结合，上级节点可以管理和监控下级节点；各级节点也可以管理和监控本节点。路由可配置：可以通过复合队列配置多种路由形式，支持一个消息既路由，又不影响侦听的路由模式。接口封装优化：对外接口将消息队列的协议和错误处理等复杂细节优化封装，实现消息传输的稳定性最大限度地和业务系统剥离。跨平台特性：系统采用java开发，可以兼容主流的软硬件平台以及J2EE中间件，同时也兼容各种主流的数据库产品。核心交换接口描述1．支持多种数据交换方式（1）同步请求/回答方式:适合客户端向服务器端可靠的发送关键数据（2）异步请求/回答方式:适合客户端向服务器实时发送非关键数据（3）对话方式:适合长时间在客户端和服务器之间相互发送大量数据（4）广播通知方式:适合服务器端向多个客户端单向发送消息。（5）管道方式:适合多服务器端逐级传送消息，对于区域中心要在实现管道的同时，保存消息队列到数据库中。（6）队列方式:适合网络环境较差情况下发送数据发布订阅方式:适合服务器端向多个客户端单向发送数据。2．数据传输优先权管理和访问路由数据传输优先权管理是统一数据交换平台提供的另一个核心能力。某一服务请求经常需要比其他服务更高的优先权。例如，同步数据的优先级要比异步数据的优先级高，对大多数需要传输的数据来说，要尽可能的优先满足同步数据的传输。3．大容量数据传输支持（大于1G）4．断点续传网络中传输数据，网络的短暂中断不可避免，统一数据交换平台通过缓存、存取、数据源管理来保障数据传输的时效性，稳定性，安全性。即使出现网络中断，统一数据交换平台也能在一定范围内保证数据不被丢失，并在网络恢复后，在有硬件支持的情况下可断点续传N小时以前的数据,对未传输的数据，在保证相关实时数据可靠稳定传输的情况下，根据优先级和不同的策略重新传输，并保证数据传输不重复。5．压缩传输6．生命周期控制网络中传输数据，网络的短暂中断不可避免，统一数据交换平台通过缓存、存取、数据源管理来保障数据传输的时效性，稳定性，安全性。即使出现网络中断，统一数据交换平台也能在一定范围内保证数据不被丢失，并在网络恢复后，在有硬件支持的情况下可断点续传N小时以前的数据,对未传输的数据，在保证相关实时数据可靠稳定传输的情况下，根据优先级和不同的策略重新传输，并保证数据传输不重复。管理功能描述1.服务配置管理设置核心交换接口的各种参数，管理消息队列，保证数据交换平台的灵活性，稳定性和效率性2.服务管理：控制数据交换平台的启动停止，并且可以查看信息服务器的状态信息，例如服务器类型，服务器ip，数据库信息，cpu使用率，内存使用率，硬盘剩余空间等等。3.帐号管理：系统管理员知对本系统的管理员帐号，进行管理。包括帐号的增删改。4.实时监控管理，报警：查看系统运行的状态，查看实时消息队列。查看各种日志信息，过滤出错日志。启动报警机制：例如email通知，手机提醒。5.日志管理：系统自动记录历史数据传输日志，历史维护日志以及升级日志。提供日志下载的功能。。6.信息统计：信息统计：分类统计数据传输信息7.集中管理监控：统一交换平台支持国家中心和区域中心的集中管理以及监控系统流程图国家中心AMQ台站AMQ区域中心AMQ管理，接受消息区域中心AMQ1...n管理，接受消息1...n台站AMQ管理，接受消息1...n发消息发消息管理，接受消息数据交换平台部署图国家中心数据交换平台应用服务器：1-2台（设为主从服务器）区域中心数据交换平台服务器(1...n个)台站中心数据交换平台服务器（1...n个）国家中心用户国家中心用户区域中心用户区域中心用户台站用户台站用户台站用户WEBLOGIC+(SUSE10或者SUSE9）+数据交换平台安装包WEBLOGIC9（或者TOMCAT5以上版本）+(SUSE10或者SUSE9）+数据交换平台安装包WEBLOGIC9（或者TOMCAT5以上版本）+(SUSE10或者SUSE9）+数据交换平台安装包使用说明1.1系统配置系统配置的功能分为：节点管理、数据库管理、服务管理和报警策略。1.1.1节点管理在节点管理里，可以配置本级节点的基本属性及其上级节点的管理信息，作为管理节点，也可以在这个模块中监控下属节点的工作状态，配置其基本节点属性。节点属性参数名说明本级节点属性节点名称该节点的名称，可以用中文表示节点标识该节点的表示，全网唯一，不能用全角心跳间隔向上级节点发送心跳信息的时间间隔，以秒为单位自动升级系统是/否采用自动升级机制上级节点属性节点IP上级节点的IP，如果是多个，用半角的“,”隔开HTTP端口上级节点的HTTP服务端口JMS端口上级节点的JMS服务端口（本地节点向该节点以UDP方式发送心跳信息）1参数说明节点管理的参数说明如下表4所示：表4节点管理的参数说明2配置界面——节点管理本地节点管理的配置界面如下图5和图6所示：图5本地节点管理配置界面1图6下级节点视图在下级节点视图中，可以实时监控所有该节点的下级节点的工作状态。1.1.2数据库管理数据库管理模块配置持久化消息的存储格式，系统运行后更改其参数，会造成队列中已有的消息丢失。1.参数说明数据库管理参数表如下表5所示：数据库管理参数名说明数据库类型持久化消息存储形式，系统内置“文件形式”、“Mysql”、“Oracle”、“Derby”，其中“文件形式”为缺省方式数据标识对应不同的数据库类型，不可更改。表5数据库管理参数表数据库配置界面如下图7所示：2配置界面——数据管理图7数据库配置界面不同类型的数据库，其配置参数不同，图上所示为Oracle的标准JDBC配置参数。1.1.3服务管理服务管理是系统配置的核心部分，每一个节点可以配置多个服务；每一个服务可以配置多个连接方式和相应队列。1.参数说明服务管理的参数说明如下表6所示：服务管理参数名说明基本参数服务名称该服务的名称，用英文表示启动时清空消息是否在系统启动时清空队列中的所有的消息。持久化消息是否持久化消息数据路径如果是文件形式持久化消息，则应设置其路径数据源名称数据源的beanId，对应于数据库设置中的beanid表6服务管理参数表在基本参数中可设置服务的名称，是否持久化，数据源名称，数据路径等参数，输入后点击“添加”即可添加新的服务，也可点击“修改”保存修改的服务。服务管理配置界面如下图8所示图8服务管理配置界面2.配置界面——服务管理在服务管理界面可以对本节点以及下属节点的服务进行管理和监控。针对一个节点，可以新建、修改、删除某一个服务。对于某一个节点里具体的某项服务内容，点击该服务名内容可以设定该服务名的参数。这些参数包括:基本参数、传输设置、物理队列、复合队列、路由设置、队列策略。需选中服务的单选按钮，再点击启动即可使设置生效。在服务管理界面可以对本节点以及下属节点的服务进行管理和监控。针对一个节点，可以新建、修改、删除某一个服务。对于某一个节点里具体的某项服务内容，点击该服务名内容可以设定该服务名的参数。这些参数包括:基本参数、传输设置、物理队列、复合队列、路由设置、队列策略。需选中服务的单选按钮，再点击启动即可使设置生效。基本参数设置如下图9所示：图9服务管理界面－基本参数传输参数设置如下图10所示：图10服务管理界面－传输参数设置对于每一个服务，可以设置若干连接，目前可以支持的协议分为：Tcp、Stomp、Udp三种,而Tcp是最常用的，也是完全可以满足业务需求的一种协议。物理队列参数设置如下图11所示：图11服务管理界面－物理队列通过这一参数设置可以增加修改该服务的消息队列，每一个消息队列可以设置日志级别；对应文件形式传输的队列，建议单独使用一个队列。复合队列的参数设置如下图12所示：图12服务管理界面－复合队列复合队列是物理队列的集合。一个复合队列，可以包括多个物理队列；当消息到达该复合队列时，服务器将自动将该消息路由到物理队列里。物理队列可以使用选择器对接收的消息进行筛选。路由设置的参数设置如下图13所示：图13服务管理界面－路由设置通过这一参数设置可以设置到达本地节点的某一个队列的消息，自动路由到目标队列中。设置服务管理的任意一项，设置后点击顶端的返回可回到服务的列表页面，此时若要使设置后的服务生效，需点击启动可重启服务使设置生效。图13服务管理界面－路由设置通过这一参数设置可以设置到达本地节点的某一个队列的消息，自动路由到目标队列中。设置服务管理的任意一项，设置后点击顶端的返回可回到服务的列表页面，此时若要使设置后的服务生效，需点击启动可重启服务使设置生效。1.1.4报警策略为了在过量负载情况下仍然保证系统的可靠性。当出现系统没有可用空间或没有可用内存的情况时，平台就会采用报警策略，同时自动放弃，而不是重试使情况变得更糟。1.参数说明报警策略的参数说明如下表7所示：报警策略参数名说明报警阀值硬盘剩余空间小于当硬盘剩余空间小于某一个值时触发报警内存使用大于当内存使用大于某一个值时触发报警CPU占用大于当CPU占用大于某一个值时触发报警报警策略短消息使用短消息报警，需填写手机号码（需要网络支持）电子邮件使用电子邮件报警，需填写邮件地址（需要网络支持）重新启动强制重新启动表7报警参数说明2.配置界面——报警管理报警的配置如下图14所示：图14报警策略配置1.2帐号管理1.2.1操作说明：统一数据交换平台将分两个角色：系统管理员和普通管理员。只有系统管理员登陆，才能显示如图所示的界面，普通管理员是无法看到该界面的。统一数据交换平台通过帐号管理可以添加删除修改本系统下的所有系统管理员和普通管理员的帐号和密码。1.2.2帐号管理页面帐号管理页面如下图15所示：图15帐号管理1.2.3实时监控数据交换平台能够通过管理工具的实时监控功能监控和控制数据交换过程。所有的实时信息又分为实时的系统信息和实时的消息信息两大类。1.3实时系统信息1.3.1操作说明：通过实时监控，将集中显示主节点及其子节点的所有的实时系统信息。1.3.2实时系统信息页面：图16实时系统信息系统的实时系统信息页面将提供如下图16所示的信息：1.4实时消息信息1.4.1操作说明：通过实时监控，将集中显示主节点及子节点的消息信息，点查看按钮，会在本页面列出所有发送过的消息对列，点击显示消息队列的按钮，还会把此队列下的所有消息显示出来。1.4.2实时消息信息页面：实时消息信息页面如下图17所示：图17实时消息信息页面点击图中的“查看”，该页会出现对应的消息队列信息，如下图18所示：图18对应的消息队列信息点击消息队列中的队列名称，又会在该页出现具体的消息列表，如下图19所示：图19具体的消息列表信息1.5日志管理数据交换平台提供各种日志，分别帮助用户跟踪、分析、调试应用系统和方便地进行运行审计，并在系统出现故障时可以快速地进行运行故障定位。日志统计分析功能提供用户在各个部署点查看一段时间内本部署点上交换平台所处理的数据的各种信息。通过对日志信息的综合统计分析，提供给平台管理员或普通用户关于平台运行状态的直观信息。数据交换平台提供了以下三种日志：（1）历史日志；（2）日常维护日志（3）升级日志1.5.1历史日志：传输历史日志是根据数据种类、收发地址等记录数据交换的日志。1.5.1.1操作说明：点击历史日志，会出现本系统和子系统的日志查询页面，选择查询条件，点击查询，该页面会出现查询结果。1.5.1.2历