基于云计算的多源遥感数据服务系统研究

现代电子技术ModernElectronicsTechnique2015年2月1日第38卷第3期Feb.2015Vol.38No.30引言遥感技术凭借其具有的全球性、高动态、连续性、全天候、全天时、多样化数据获取特点，已被广泛应用于农业、林业、水利、测绘、交通、气象、海洋等领域。经过多年的发展，我国遥感信息获取、处理及应用技术取得了显著的成绩，逐步形成了气象、资源、海洋、环境减灾四大民用遥感卫星系列。在“863”计划、高分专项、陆海规划、“623”规划等大型课题的推动下，我国遥感应用研究进入了大型化、快速化的发展阶段。我国卫星遥感地面站接收的数据目前已经超过300TB，很快将会达到PB级，并将以TB/天的速率增长。随着各个专项建设进度的不断推进，必将进一步产生大量的遥感影像资料，海量遥感数据和简单的数据服务方式之间矛盾突出[1⁃2]。随着互联网技术的发展，IT资源的使用、应用和服务模式不断地发生演变。云计算技术以其弹性服务、资源池化、按需服务、服务计费、泛在接入五大特点，成为近年来IT界的一个研究热点。云计算已经成为目前用来解决高性能计算、海量数据存储、分布式应用、异构服务集成、按需提供服务等问题的主要途径。云计算遥感应用方面，也有许多积极的探索，ESRI、Google、中国科学院遥感应用研究所、中国科学院计算技术研究所等都进行了探索性和基础性的研究工作，证实了云计算技术应用于遥感领域的可行性。基于云计算技术，可将遥感数据、信息产品、处理技术与计算资源打包成类似公共设施（如自来水和电力等）的可计量的服务，提供给用户通过网络或移动终端随时随地按需使用，解决遥感应用中的数据、技术、设备、成本和人员的瓶颈，实现遥感信息技术在政府和公众日常业务中的普及应用[3]。本文充分利用了云计算技术所具有的按需计算能力及动态可扩容能力，设计了一种适合于遥感数据管理和分发部门的数据共享分发系统，并在HDFS，YARN，基于云计算的多源遥感数据服务系统研究张树凡1，吴新桥2，曹宇3，王英洁2，张贵峰2（1.航天恒星科技有限公司，北京100086；2.南方电网科学研究院有限责任公司，广东广州510080；3.中国资源卫星应用中心，北京100094）摘要：在分析了遥感影像数据及数据使用现状的基础上，综合考虑了云计算技术在遥感应用领域使用的必要性和可行性，设计了基于云计算的多源遥感数据服务系统。阐述了基于云计算的多源遥感数据服务系统体系结构及关键业务流程，包括遥感数据云存储、遥感数据云处理、遥感数据应用服务及遥感业务注册组装等。最后，通过原型系统的实现验证了系统设计既能保护原始数据的安全，又能降低数据使用的成本，同时还能够提高数据的共享率和用户使用率。关键词：遥感数据处理；云计算；遥感数据服务；海量数据管理中图分类号：TN911⁃34；TP3文献标识码：A文章编号：1004⁃373X（2015）03⁃0090⁃05Researchonmulti⁃sourceremotesensingdataservicesystembasedoncloudcomputingZHANGShu⁃fan1，WUXin⁃qiao2，CAOYu3，WANGYing⁃jie2，ZHANGGui⁃feng2（1.SpaceStarTechnologyCo.，Ltd.，Beijing100086，China；2.ElectricPowerResearchInstitute，Guangzhou510080，China；3.ChinaResourcesSatelliteDataandApplicationCentre，Beijing100094，China）Abstract：Basedonanalysisofremotesensingimagedataanddatausagestatus，amulti⁃sourceremotesensingdataser⁃vicesystembasedoncloudcomputingwasdesignedinconsiderationofthenecessityandfeasibilityofcloudcomputingtechnolo⁃gyapplicationinremotesensingfield.Thearchitectureandkeybusinessprocessofthemulti⁃sourceremotesensingdataservicesystemaredescribed，includingremotesensingdatacloudstorage，remotesensingdatacloudprocessing，remotesensingdataapplicationserviceandremotesensingbusinessregistration.Theapplicationoftheprototypesystemprovesthatthesystemcanprotecttheoriginaldata，reducethecostofdataapplication，andimprovedatasharingrateandusagerate.Keywords：remotesensingdataprocessing；cloudcomputing；remotesensingdataservice；massivedataadministration收稿日期：2014⁃10⁃14基金项目：民用航天十二五预研项目支持9090第3期张树凡，等：基于云计算的多源遥感数据服务系统研究XenServer等开源云计算软件的基础上实现了基于云计算的多源遥感数据服务系统原型系统。该系统为用户提供原始数据、计算能力以及业务按需组装调度能力，使得用户在不直接接触原始数据的前提下，以使用数据服务的方式分享数据的使用价值，降低数据使用成本，提高数据的使用共享率。1数据服务方式云计算提供了一种按需计费、按使用量计费的服务方式，这种方式恰好适用于数据费用较高的卫星遥感数据的分发共享[4⁃5]。常规的遥感数据付费下载一般按照数据的长久使用权考量的数据费用，云计算基础的上述特点可以提供一种按次使用，非长久持有的数据付费方式。这种数据付费使用方式下，原始数据的保有权一直留存在数据分发单位，不会丧失，同时可以降低数据使用的单价，有利于扩大数据的共享使用范围。尤其，对于科研性质的原始数据使用，这种情况下项目资金有限，并且数据的使用时间有限，上述模式将是一种更佳的选择，如图1所示。图1多源遥感数据服务模式设计图实现上述的遥感数据服务模式，需要提供数据分发服务和算法注册服务，让用户能够提交自己的算法在系统内部获取原始数据完成计算，并下载计算后的结果，按照数据使用数量和业务执行次数进行计费。本文设计的基于云计算的多源遥感数据服务系统就是对这种遥感数据服务模式的一个探索。2系统总体功能针对遥感技术发展带来的海量数据存储和处理需求，构建基于云服务的多源载荷数据处理与应用原型系统。系统建设内容包括海量数据归档与存储、遥感数据处理任务分布式并行计算、基于云服务的多源载荷数据处理应用集成技术。海量数据归档与存储用于解决海量遥感数据条件下难以保证数据的海量吞吐量、难以动态无限扩容且造价高的问题。遥感数据处理任务分布式并行计算解决海量数据条件下高性能快速计算需求。基于云服务的多源载荷数据处理应用集成技术解决多源载荷数据处理应用多样，快速集成困难的问题。结合业务需要，综合上述技术内容设计的基于云服务的原型系统应当具备以下功能：（1）实现数据处理算法和多源载荷应用示范产品等系统软件模块的集成框架，支持新算法注册及远程算法调度，为多源载荷数据综合处理及管理、多源空间信息综合互补应用提供系统集成服务；（2）实现基于分布式云存储技术的国产遥感卫星数据的存储管理。基于可靠性要求和访问控制需要，提供虚拟文件系统组织与管理、数据副本管理、负载均衡、数据完整性检测、数据迁移与恢复和存储集群管理等分布式云存储服务功能；（3）提供分布式并行计算服务，为多源载荷数据综合处理及管理、多源空间信息综合互补应用技术开发的模块、软件提供并行化计算服务；（4）提供符合工业标准的通信协议以及模块集成接口，以便二次开发人员开发新的特定的通信协议，以及实现多源载荷应用示范软件的集成；（5）提供门户服务系统，对外提供产品分发定制、处理流程监视、产品数据展示、新算法注册的入口及示例程序演示等功能。3系统体系结构基于云服务的原型系统在云平台的基础上提供多源遥感数据间辐射校正、国产遥感影像正射校正、多源空间数据融合、高分辨率光学影像的无云产品生产、作物面积监测、森林火灾综合监测、土壤含水量协同反演、地理数据动态更新、海洋灾害监测与应急、土地变化信息提取、应急安全监测功能，构建农业、林业、水利、测绘、海洋、安全等领域应用示范服务能力。上述服务以及对上述应用示范产品的数据分发服务直接面向云端用户使用，对应于云计算的云端应用服务层（即SaaS）。数据管理分系统、并行处理分系统向多源数据处理应用示范软件提供数据归档、数据检索、数据提取、并行任务调度、任务管理、算法注册等服务，对应于云计算的基础平台服务层（即PaaS）。集群管理服务由基础设施层（即IaaS）提供，通过在操作系统层之下虚拟化的方式对集群主机硬件状态进行监视和控制（包括计算能力分配、动态内存管理、在线91现代电子技术2015年第38卷迁移等），能够进行服务部署，并对平台上部署的服务进行监控。基于云服务的原型系统架构方案如图2所示。图2系统架构方案图4系统组成从基于云服务的原型系统应当具备的功能出发，将原型系统划分为数据管理分系统、并行处理分系统、应用服务分系统3个分系统。基于云服务的原型系统组成方案如图3所示。图3系统组成图数据管理分系统提供分布式数据管理能力，提供对结构化数据、非结构化数据等海量数据的归档、检索及提取服务，并对云服务原型系统中其他模块屏蔽存储方式等信息，降低了数据处理及各类典型应用模块的开发难度，提高了原型系统的扩展性。数据管理分系统可存储多个数据源提供的原始数据，提供TB级以上数据的存储服务能力，在系统运行过程中，数据管理分系统需要统一管理所有应用示范的各类资源的编目信息、各类遥感数据产品、多源载荷应用示范产品等数据。并行处理分系统实现对已集成多源载荷应用示范软件的多任务并行处理功能。并行处理分系统根据各个节点资源情况动态分配处理节点，通过将生产任务指派到不同的数据处理节点实现任务的并行处理，同时实现分布式文件存储位置感知功能，将生产任务尽可能的指派给数据所在节点，减少了计算节点之间数据的迁移，从而达到降低整体数据I/O量提高生产效率的目的。应用服务分系统是基于云服务的原型系统各类产品的分发与订制门户。应用服务分系统主要任务是数据分发及产品生产任务定制。数据分发功能完成多源遥感数据产品以及农业、林业、水利、测绘、海洋、区域等综合应用示范产品的分发，为用户提供产品数据的查询检索、浏览等服务。产品生产任务定制提供对农业、林业、水利、测绘、海洋、区域等综合应用示范产品的生产任务定制服务，同时应用服务分系统还提供算法注册功能，实现多源载荷数据处理应用的集成功能。5系统集成方案基于云服务的原型系统软件提供集成框架，为多源载荷应用示范软件提供生产任务的并行化调度服务。基于云服务的原型系统软件并行化调度工作由并行处理分系统负责，通过感知数据存储位置及计算节点任务负载信息实现任务并行化调度均衡。多源载荷应用示范软件在原型系统中直接集成于并行处理分系统，部署于分布式计算节点。多源载荷应用示范产品生产任务的定制通过应用服务分系统提交生产订单的方式实现。生产任务首先由并行处理分系统接收，并行处理分系统再将生产任务调度给部署于某一个数据计算节点上的相应的多源载荷应用示范软件进行生产。多源载荷应用示范软件生产开始时依据订单内容从数据存储节点提取所需数据，生产结束时将生成的产品归档到数据存储节点形成闭环。多源载荷应用示范软件归档后的产品数据通过应用服务分系统进行检索和分发。多源载荷应