气象数据一体化平台设计方案

项目编号：RJ20150020设计方案气象数据一体化信息服务平台设计方案2016年1月南京助事达软件科技有限公司气象数据一体化平台-设计方案2/19目录1概述....................................................................................................................................................................31.1背景与预期................................................................................................................................................31.2建设内容....................................................................................................................................................42设计方案................................................................................................................................................................52.1系统架构....................................................................................................................................................52.1.1.平台总体架构图................................................................................................................................52.1.2.数据流概览........................................................................................................................................62.2分布式解析引擎........................................................................................................................................62.2.1.分布式解析引擎概述........................................................................................................................62.2.2.分布式解析设计架构........................................................................................................................72.3气象分布式数据库设计..........................................................................................................................122.3.1.气象一体化平台分布式数据库设计概述......................................................................................122.3.2.分布式数据库设计架构..................................................................................................................152.4气象资料云服务引擎..............................................................................................................................172.4.1.应用授权机制..................................................................................................................................172.4.2.授权认证机制..................................................................................................................................172.4.3.服务请求基础参数体系建立..........................................................................................................172.5服务版本管理体系建立..........................................................................................................................182.5.1.版本管理设计..................................................................................................................................182.5.2.建立服务API帮助文档.................................................................................................................18气象数据一体化平台-设计方案3/191概述1.1背景与预期针对以往基础数据库建设分散、标准不统一、服务能力差等问题，按照“系统集成，数据集中，资源集约，功能完善，突出特色”的思路，经过两年半的努力，依托江苏预报业务一体化平台项目建设，初步建成全省统一的基础数据环境，有效提高了信息资源的利用率和数据服务能力，为本省率先实现气象现代化提供了有力支撑。信息中心在全省气象信息业务建设的基础上，先后出台几十项标准或规范，为一体化体系提供标准支撑，完善了我省气象信息的标准规范体系；优化数据传输流程，时效性可靠性提升显著，省内区域自动站可实现60秒内、雷达数据8分钟之内、省际共享上海市区域自动站100秒内到达预报员桌面；通过“软CAST”同步机制，省市间数据实现了秒级流转；完成了自动站、土壤水份、精细化等50多类数据的解析入库，数据解析的种类和覆盖范围在不断扩充，确保了数据的完整性、一致性。架设全省云平台实现硬件资源的统一管理与分配，达到资源集约化、应用多样化的目标。为进一步提高和增强气象数据服务能力，科学准确的做好数据服务工作，结合前期预报业务一体化平台使用和市县推广应用情况，在气象数据传输、数据存储和数据应用方面，提出诸多改进措施和方案，旨在不断的提高气象数据服务能力和质量。气象数据一体化平台-设计方案4/191.2建设内容根据江苏气象现代化发展的需求，在现有工作基础上，进一步完善全省基础资源配置和管理，开展智能化、个性化的基础数据环境信息服务平台的设计和开发，继续优化各类基础资料的收集处理流程，做好统一数据环境在市县的推广应用，着手开展适合本省的实时质量控制方法研究和质控系统的设计和开发工作，提高数据服务质量。通过建立团队协作机制，联合进行数据处理和信息技术应用开发，建立数据规范；完成实时/历史数据库设计、解码和入库。气象数据一体化平台-设计方案5/192设计方案2.1系统架构2.1.1.平台总体架构图图表1平台总体架构图气象数据一体化平台-设计方案6/192.1.2.数据流概览图表2数据流概览2.2分布式解析引擎2.2.1.分布式解析引擎概述气象资料的来源有多种，包括上百种类型的气象资料报文、各个业务系统产出的气象服务产品、来自于CIMISS的数据资料等等。由于资料种类繁多、场地分散、解析入库方式及质量参差不齐等等各种问题的存在，同样为了满足集中管理、统一标准的业务目标需求，我们最终使用了气象数据分布式解析引擎来实现其各种功能。气象数据一体化平台-设计方案7/192.2.2.分布式解析设计架构图表3分布式解析设计架构分布式解析云的核心主要由四个部分组成：a)解析云服务主要通过实时发布远程对象的方式为各个功能域提供分进程间信息共享平台。共享的远程对象主要包括：报文资源文件夹监控对象、分布式解析器运行时对象、服务全局控制对象、智能化解析配置对象、全局报文解析组件适配对象等。气象数据一体化平台-设计方案8/19实质：远程对象以信道作为发布渠道，来进行客户端和服务器之间的通信。信道包括客户端的信道部分和服务器的信道部分。发布的内容以消息作为载体，消息包含远程对象的信息、被调用方法的名称以及所有的参数。图表4分布式客户端与服务间通信原理报文资源文件夹监控对象：每种资源文件都存储在一个或多个文件夹中，当有新的文件加入时解析云自动将待解析的文件加入到解析资源池（即任务队列）。当分布式解析器中有存在空闲的解析器时，此解析器则会自动向服务申请一个解析任务。之后，当一个任务被解析器处理完毕后，其就会从任务队列中自动删除，同时将相对应的原始数据文件自动移动到已处理文件目录下面。气象数据一体化平台-设计方案9/19分布式解析器运行时对象：每个报文解析器分别部署在一个或多个服务器上，那么各个解析器运行状态的管理就十分的重要。为了满足全局监控，定向管理的目标，云解析平台将分布式解析器运行时对象作为各功能域内部可见的全局对象进行发布。即各个解析器运行后自动向云服务发送注册请求，云服务接受请求后则将此解析器加入到解析器队列中用于后期的监控及管理。服务全局控制对象：主要负责服务的启动、暂停、重启以及重新加载配置文件等工作。智能化解析配置对象：此对象主要为分布式解析引擎提供解析知识库，为了实现解析组件的可插拔我们将智能解析配置对象也作为全局对象进行发布。可以从云解析管理器中对其内容进行更改，更改后云服务自动通知各个解析器接下来的解析工作使用新的解析知识库进行报文识别及智能解析。全局报文解析组件适配对象：为了使报文的识别实现动态化扩展，我们将解析适配器对象进行全局发布，当云解析管理器对解析适配器信息进行更改后云解析服务将自动应用新的解析适配方案。所有的分布式解析器都使用云解析服务提供的统一解析适配器进行解析适配工作，所以当云服务的适配器方案改变后各个解析器自动使用新的方案进行适配工作。气象数据一体化平台-设计方案10/19b)云解析管理器云解析管理器是云解析服务的一个客户端，主要用于辅助云解析服务工作，为