全球海洋预报与科学大数据

2015年第60卷第5-6期：479~484引用格式:王辉,刘娜,逄仁波,等.全球海洋预报与科学大数据.科学通报,2015,60:479–484WangH,LiuN,PangRB,etal.Globaloceanforecastingandscientificbigdata(inChinese).ChinSciBull,2015,60:479–484,doi:10.1360/N972014-01083《中国科学》杂志社SCIENCECHINAPRESS观点全球海洋预报与科学大数据王辉*,刘娜,逄仁波,孙晓宇国家海洋环境预报中心,北京100081*联系人,E-mail:[e-mail]2014-10-17收稿,2014-12-30接受,2015-01-20网络版发表国家科技支撑计划(2011BAC03B00)和国家自然科学基金(41106023)资助摘要全球海洋预报是当前国内外海洋预报领域的前沿方向之一,与实施海洋强国战略、维护国家海洋权益,以及开发深远海资源等各类海洋活动日益走向深海大洋的迫切需求有着密切的关系.全球海洋预报的突出特点是使用并生成海量的数据,充分体现了大数据的基本特征.本文从论述大数据的起源、概念和本质开始,介绍了全球海洋预报的基本理论,进一步结合数据同化、模式数据和产品分发等3个方面具体阐述了全球海洋预报中使用的观测数据和生成的模式数据等大数据.最后展望了全球海洋预报以及海洋大数据未来发展中面临的挑战和亟需解决的关键科学问题.关键词全球海洋预报科学大数据海洋数据海洋观测1科学大数据概述1.1大数据起源随着信息技术快速发展,互联网和计算机广泛普及,科学计算、网络交易和社交媒体等应用日益增多,音频、视频、文字和图片等数据大量涌现,数据存储量、规模、种类飞速增长,一个崭新的大数据时代已经到来.据IDC公司统计,2011年全球被创建和被复制的数据总量为1.8ZB,远远超过人类有史以来所有印刷材料的200PB数据总量[1],全球数据总量还以每两年翻一番的速度骤增,预计到2020年将达到40ZB[2].学术界、工业界以及政府部门对大数据都表现出极大的兴趣,大数据自2008年以来得到了快速发展.Nature在2008年首先发表“BigData”专刊[3],Econo-mist在2010年刊登“Data,dataeverywhere”文章[4],Science在2011年推出“DealingwithData”专刊[5],麦肯锡研究院在2011年发表“BigData:TheNextFron-tierforInnovation,Competition,andProductivity”报告[6],美国DivyakantAgrawal等20名专家在2012年撰写发布“ChallengesandOpportunitieswithBigData”白皮书[7].2012年,美国奥巴马政府宣布投资2亿美元启动“大数据研究和发展计划”.1.2大数据概念和本质现有大数据定义一般从特征提取和归纳总结两个方面提出,但目前尚未有一个统一公认的定义.例如,麦肯锡研究院对大数据定义为:所涉及的数据集规模已经超过了传统数据库软件获取、存储、管理和分析的能力;维基百科给出的大数据定义为:数据量规模巨大到无法通过人工,在合理时间内达到截取、管理、处理并整理成为人类所能解读的信息;IBM则用4个特征相结合来定义大数据:数量(Volume)、种类(Variety)、速度(Velocity)和真实(Veracity)[8];互动百科和国家数据公司IDC也提出4个特征来定义大数据,但与IBM定义不同的地方,将第4个特征由真实(Veracity)替换为价值(Value)[9].虽然大数据未有明确的定义,但对大数据存在以下共识,即大数据具有数量巨大(Volume)、种类多样(Variety)和处理时效紧(Velocity)的3V基本特征.2015年2月第60卷第5-6期480与传统的逻辑推理研究不同,大数据研究的本质是对数量巨大的数据做统计性的搜索、比较、聚类和分类等分析归纳,进行关联性分析,利用数据间的关系,找出具有价值的信息[10].由于大数据的海量数据以及处理实时性需求,对现有的计算机硬件、网络和数据处理算法提出重大挑战,需要为之开发性能和效率更高的大数据基础平台和支撑技术.因此,在大数据时代,云计算、并行文件系统、新型数据库设计、快速索引和查询算法等得到了快速发展.随着科学技术的日益发展,科学技术相关的数据日益增多,与科学相关大数据被称之为科学大数据.随着海洋观测和预报技术快速发展,相关数据量爆炸式增长,海洋大数据发展正成为科学大数据的重要应用之一.海洋大数据主要包括雷达和卫星等观测资料、数值预报模式结果以及预报产品等数据.根据以往关于海洋数据量的研究[5,11~13],估计2009~2030年全球海洋数据量增长趋势如图1所示,2014年全球各种海洋数据总量约为25PB,预计2030年全球海洋数据总量将达到275PB.科学大数据将复杂性、综合性、全球性和信息与通信技术高度集成性等诸多特点融于一身,其研究方法也正在从单一学科向多学科、跨学科方向转变,从自然科学向自然科学与社会科学的充分融合方向过渡[14].2全球海洋预报全球海洋预报是采用海洋观测系统收集和处理的数据作为近实时高质量的输入场,通过高效的资料同化系统和数值模式对覆盖全球范围包括两极地区的多种时空尺度上的海洋状况和海洋现象提供未来环境演替的预测[11].面向复杂的非线性和多时空尺度海洋过程的海洋模型构建与定量分析,一方面需要高性能计算机系统的支撑,另一方面是对海量数据存储、快速处理、高效访问和实时分析的需求.随着高速度、大容量的高性能计算机及存储系统的快速发展,加快了全球海洋预报的发展步伐.国内外许多国家在科学研究和业务化应用的基础上,通过完成全球海洋预报系统模型构建、多尺度表达、数据集成和可视化等复杂问题,实现全球海洋系统的模拟及预报.国际上对发展全球海洋预报系统高度重视,在全球海洋数据同化实验(GODAE)的支持下,美国和欧洲为代表的发达国家和地区已经发展常规全球海洋预报系统,用于发布业务化服务[15].现阶段全球预报系统中有少数的模式(HYCOM/NCODA,Merca-tor)能够达到全球1/10°分辨率.大多数系统采用逐级嵌套加密的方法来达到局部的1/10°分辨率,如日图12009~2030年全球海洋数据量增长趋势Figure1Increaseofthevolumeofglobaloceandatain2009–2030481观点本的Move/MRI系统,从全球1°嵌套到北太平洋1/2°再在黑潮区域加密到1/10°;澳大利亚的BLUElink系统,从全球1°在澳大利亚周围加密到1/10°.全球海洋预报的实际应用需求促使各国海洋预报机构投入大量人力和财力提高高性能计算速度和存储能力.如美国国家海洋和大气管理局与欧洲中期天气预报中心现有高性能计算系统计算能力分别为1亿亿次和1.5亿亿次,同时投入巨资建设存储系统,美国国家海洋和大气管理局以及欧洲中期天气预报中心现有存储系统均超过3PB容量,并不断持续增加存储系统容量.MercatorOcéan全球预报系统每年的总存储量达到60TB.例如,美国国家海洋和大气管理局每日接收35亿个观测数据,生成150万个预报产品[16];国家海洋环境预报中心每天观测数据和预报产品的数据量超过500GB,1年数据总量超过180TB,30年数据总量超过5PB.近年来,我国科学家在全球海洋预报领域做了大量工作,在“十二五”国家科技支撑计划项目的支持下,国家海洋环境预报中心研发并建立“全球海洋环境数值预报系统”,开展了全球海面风场、全球海浪、海洋环流和极地海冰数值预报关键技术研究,预报区域由中国海逐渐向全球扩展,建立起由观测、数据传输、分析、预报、产品制作与分发等环节构成的我国首个涵盖全球大洋的综合业务化海洋学预报系统.该预报系统是包括海冰等预报要素在内的复杂多界面预报系统,体现了我国海洋数值预报技术的发展和进步,为我国对深海大洋海洋环境的迫切需求提供有力保障,具有重要意义.同时,国家海洋环境预报中心积极参与国际业务化海洋预报组织(GODAEOceanView),扩大了中国在海洋预报领域的国际影响.全球海洋预报关注多变量、多尺度和高度时空属性的复杂海洋过程的时空要素分析和非线性、多过程海洋系统的建模以及全方位、多层次的公众服务与决策支持.随着海洋预报精度的不断提高,需要计算的海域增大、分辨率提高、物理过程参数化描述更为复杂.从单一的海洋预报服务走向多源、多变量、异构和多尺度的海量空间数据的汇聚与分析,提供定时、定点、定量化的全球海洋数值预报,通过多层次、多要素预报产品完整描述海洋结构及其变化.以全球海洋数值预报为基础,多种释用技术和方法的综合应用,增加海洋预报服务的时效性、准确性及产品的多样性,为深入研究地球系统中全球海洋发展变化规律提供了重要依据.3全球海洋预报与大数据在全球海洋预报领域,海量数据充分体现了体量巨大、类型多样和要求处理速度快等大数据的基本特征.在体量上,海洋预报相关数据和产品的数据总量非常庞大;在类型上,海洋预报系统所应用的数据涉及观测资料、预报产品和分析产品等多类数据.随着大数据时代的到来,需要对观测及模拟的海量数据进行快速、及时地分析和处理,以在较短的时间内构建准确的、实时的预报数据.如何利用科学大数据技术,结合海洋预报应用特点,提高海洋大数据查询和分析效率,提升预报模式的实效性和准确性,成为海洋大数据发展的关键问题.全球海洋预报中的数据包括海洋观测数据和海洋数值模式数据两个部分.海洋观测系统利用现场观测和遥感观测等各种观测和探测技术手段,获取海洋物理、气象等要素数据,并实现观测数据的无缝数据传输、海量存储、处理分析以及分发.经过质量控制的观测数据在全球海洋预报中一方面可以应用于数值预报中的模式数据同化,使系统模拟的海洋状态尽可能与观测的真实海洋相接近,另一方面可用于预报产品的检验和评估.海洋数值模式数据具有大空间尺度和高时间分辨率的特征,随着数值预报精度的提高,模式数据具有多种类型、丰富信息量和海量数据等特点.数值预报产品经由网络专线、卫星通讯和互联网等方式发给服务保障目标,向公众提供服务.全球海洋预报中大数据的处理与分析涉及数据同化、模式数据和产品分发等3个方面.对全球海洋预报中这3方面有针对性的加以重点分析和研究,将深入理解全球海洋预报中科学大数据的机理和特点.全球海洋预报系统将各种不同来源,不同时空分辨率的原始观测资料进行反演、订正和分析等处理,通过同化大量准实时海洋观测资料,为海洋数值预报模式提供一个尽可能准确的初始状态,提高海洋预报的准确度[17~20].海洋观测系统中海量的卫星遥感资料、浮标等资料为海洋数值模式提供了更大的空间尺度、更短的更新周期、更丰富的观测信息和内容.全球海洋预报系统建立了以大规模并行计算为支撑的较完备的数值预报体系,需要高性能计算设备来运行高分辨率的全球海洋预报系统[21,22].高性2015年2月第60卷第5-6期482能计算速度的快速提高离不开海洋预报等实际应用需求的发展,如美国国家海洋和大气管理局计划在2023年将推出WoF(Warn-on-Forecast)系统,该系统可为全美和邻近海域提供精细化天气预报和灾害预警,美国本土计算网格大小精细至3~10km,全球区域内网格精细至15km,该系统的计算需求高达1万亿亿次,是目前全球计算速度昀快“天河二号超级计算机系统”计算性能的182倍.研究全球海洋数值预报模式及模式数据,在海量的数值预报数据中获得海洋过程及变化的信息,需要通过数值模式数据研究海洋过程的发生、传播和反馈机理,各种时空尺度上海洋与大气的相互作用和海气界面过程.建立以数值预报为支撑,从数值预报中提取有用信息,以统计学、人工智能为基本方法的数值预报产品解释应用和分发系统[23].按照时间、空间和要素类型等条