中国气象数据网建设方案

中国气象数据网建设方案国家气象信息中心2020年7月7日汇报提纲一．工作背景二．建设目标三．建设原则四．建设内容五．技术方案六．投资估算七．实施计划一、工作背景2015年2月4日顾司长主持召开两网建设方案讨论会•明确中国气象数据网为气象基本数据和产品的开放共享服务平台•明确与卫星遥感数据服务网、中国天气网的关系。2015年8月21日《气象信息化行动方案（2015-2016年）》整合中国气象数据服务网、卫星遥感数据服务网等对外数据服务网站，建设面向民生的公共气象数据资源池，开放基础气象数据服务清单，面向公众提供统一的气象基础资料与产品，成为权威、公益性的气象基础资料与产品开放共享服务平台。行动方案--总体技术架构整合天气业务内网、气候业务内网、气象产品共享平台等，完善国家级气象业务内网整合中国气象数据网、卫星遥感数据服务网，建立面向民生的公共气象数据服务平台一、工作背景任务23.整合面向民生的公共气象数据服务平台•整合中国气象数据服务网，卫星遥感数据服务网等公共气象数据资源;•开放基础气象数据服务清单，面向公众提供统一的气象基础资料与产品;•挖掘分析用户行为模式，开展个性化、交互式、可定制数据分析服务;行动方案重点任务一、工作背景三、建设目标构建中国气象局权威的气象数据中心支撑平台打造中国气象局开放共享的气象数据服务门户提供面向公众、惠及全民的气象数据服务支撑总体目标需求引领，技术驱动公共气象服务的性质、气象信息服务市场化的快速发展、市场主体的多元化需求，互联网、云计算技术的应用；统一集约，开放高效统一标准规范、统一规划与建设，利用公有云资源、服务，实现能力提升、建设高效；面向用户，面向服务以为用户提供好的服务为中心思想，基于服务框架的建设好用的平台；边建边用，逐步推进循序渐进、逐步推进的，从服务市场的角度考虑，不求大而全，做一步成一步，扎扎实实推进，不断完善和改进。三、建设原则系统逻辑架构一个服务门户、三个支撑平台、四个保障体系、十个应用系统四、建设内容数据共享服务门户天气气候：近期观测资料与天气气候产品发布展示服务数据服务：源于气象基础资料及产品的发布、检索、订购、下载、数据接口服务移动应用：移动APP、个性化服务用户支持：资料使用法律法规、标准规范、共享服务政策、专业知识与常见问题、常用工具软件及互动功能气象大数据：数据融合处理、服务分析、用户分析四、建设内容数据目录与元数据服务系统数据发现和数据导航数据发现数据目录资料分类用户视角多维度四、建设内容数据资源服务系统检索、浏览、下载四、建设内容提升用户发现、下载和使用数据集的能力，提供数据集的描述（即元数据），关于如何访问数据集的信息，使用数据集工具的指导说明数据资源服务系统数据接口服务基于CIMISS统一接口服务规范对各类气象资料提供标准、开放的数据服务接口，面向气象服务用户提供及时数据服务。四、建设内容-待细化梳理再修改-何小明可视化综合显示：提供通用图形图形浏览、基于GIS提供多种数据服务图形产品的叠加显示数据分析与可视化服务系统四、建设内容数据统计分析提供交互式在线分析功能，可以动态设定统计参数，支持气象要素的平均、总量、极值、距平、方差、排序等标准算法的统计和分析数据分析与可视化服务系统四、建设内容数据可视化服务结合GIS、多种图形图形处理等技术，根据气象资料的特点，开发气象要素数据图形处理服务组件，提供数据可视化展示、数据叠加显示等功能。数据分析与可视化服务系统可视化工具包独立显示平台，支持数据网数据的可视化显示和远程访问，提供API开发接口四、建设内容服务订单处理系统四、建设内容订单管理对数据定制订购提交的订单进行管理，实现订单队列的创建、撤销和订单顺序管理订单处理服务负责订单的数据准备和定制处理，包括对ASCII、XML、GRIB、NetCDF及自定义格式等多种观测资料和产品的格式解析、格式编码、信息抽取、标准化处理、格式转换等格式处理服务产品加工系统为数据网提供高水平的资料分析加工产品，基于基础数据环境已有的气象资料或气象产品自动生成所需的统计加工产品、格点分析产品和图形图像产品。四、建设内容移动应用服务系统个人空间：提供数据网移动个人用户空间管理；订单查询：用户及时获得订单处理状态和结果；数据查询：用户实时查询数据网最新数据动态；四、建设内容用户支持系统用户支持系统为数据网用户提供专业化和个性化服务支持。四、建设内容个人空间服务实现对用户信息、用户热点数据、用户历史数据、用户订单、购物车的统一管理专业技术支持订单处理服务提供相关法律法规、技术标准规范、工具软件的管理和下载服务，建立气象知识库和帮助手册，提供新媒体、电子邮件、电话等多种方式的为用户提供技术支持。服务支撑系统提供对服务内容、用户服务信息和系统配置信息的统一管理，为管理员提供统一的系统运维和服务管理支持，包括用户管理、用户认证、内容管理、日志管理、服务配置管理与运行管理等服务功能。四、建设内容数据支撑系统负责与整个应用相关的气象元数据、气象数据和服务产品的管理。数据支撑系统根据服务需要负责气象私有云到公有云的元数据同步、数据推送，负责维护气象元数据和元数据目录，负责服务产品管理，负责实况资料、热点数据和用户数据的缓存管理。四、建设内容-何小明补充应用大数据技术，提供多维度的网站服务分析和用户分析，帮助提升网站专业化、个性化服务能力。实现基础气象资料和产品与其它行业数据和社会经济数据的融合处理，分析天气、气候因素如何影响用户行为和活动，建立用户行为与气象因子的关系数据模型，充分挖掘气象资料价值。气象大数据服务系统四、建设内容四、建设内容-与卫星遥感数据服务网整合中国气象数据网NSMC中国气象数据网NMIC元数据、用户信息同步用户用户主要业务数据处理数据存储管理用户访问服务测试和整合环境统一用户认证统一目录、分类导航应用开发元数据、用户信息同步主要工作24四、建设内容气象数据分类及表示气象资料分类编码气象要素特征值、文件命名数据目录建立数据清单、有序注册公共信息管理气象资料属性、核心元数据、气象要素属性、台站元数据气象数据标准格式气象数据标准格式转换中国气象数据网全部采用标准规范进行约束标准规范气象访问接口气象数据标准访问接口规范25气象私有云+气象公有云应用系统总体框架五、技术方案系统技术架构五、技术方案系统总体信息流程五、技术方案性能指标•（1）精度要求数据服务保证准确性和时效性，数据处理、数据传输保证数据精度要求•（2）用户访问量同时在线用户数2万人，最大检索和下载资料并发数2,000次/分钟。•（3）业务处理能力和系统响应时间2,000个并发用户访问时，数据条件查询响应时间小于3秒，最长不能超过8秒。•（4）系统的扩展延续性支持未来5年的系统使用，预计到2018年：系统最大并发用户10000；•（5）容灾用户访问量20000个用户并发情况下运行8小时五、技术方案关键技术应用服务框架技术作业调度与工作流技术数据访问中间件技术HTML5技术WebSocketWebGL大数据技术移动互联技术云计算五、技术方案投资估算：项目所需资金估算为980万元第一阶段（2014.1～2014.12），平台主体软件开发及硬件设备采购，所需经费估算260万元。第二阶段（2015.1～2015.12），完成气象数据网数据服务功能建设，所需经费估算330万元。第三阶段（2016.1～2016.12），气象数据网服务能力提升建设，所需经费估算220万元。第四阶段（2017.1～2017.12），综合服务能力建设，所需经费估算170万元。六、投资估算平台主体软件建设（2014年）完成数据网系统分析、软件设计，完成主体软件开发，实现基本气象资料服务能力，通过集成测试，具备上线服务能力。数据服务功能建设（2015年）完成“一个门户、三个支撑平台和十个应用系统”建设，数据网正式上线运行，相对于科学数据共享网，数据共享范围与力度有质的提升。服务能力提升建设（2016年）初步完成中国气象数据网与卫星遥感数据服务网整合工作，面向全社会多元化市场服务主体，完善数据网服务功能，建设数据网公有云应用，开展气象大数据分析工作，数据服务能力显著提升，成为气象公有云的主要门户应用系统，成为国内权威的气象基础资料与产品开放共享服务平台。综合服务体系建设（2017年）与科技部数据平台中心、工程院知识中心联合，深入开展跨部门、跨行业协作，完善支撑平台建设，成为开放我国气象服务市场和构建新型气象服务体系的数据支撑平台。七、实施计划滚动改进，不断完善扩大影响，形成品牌主体软件建设开发建设能力提升扩大影响描绘蓝图梳理需求启动设计主体上线开发建设实现功能上线服务扩展产品提升服务提升性能满足需求整合提高形成品牌2014201720162015加快气象数据网建设，提升基本气象资料共享能力，满足气象信息服务市场开放和发展需求七、实施计划融合创新服务社会感谢预报司的指导！不当之处敬请批评指正！