航天卫星遥感监控一体化海量存储方案

航天卫星遥感监控一体化海量存储方案【IT168案例】引言：航天事业最能体现一个国家的国力水平和科技实力，随着近年来国家科技实力的大步提升，航天领域也取得了长足进步。航天信息作为一种不可恢复的国家信息资源非常宝贵，需要进行快速处理和永久存储，因而对航天信息系统建设提高较高的要求。同时，航天领域的发展也依赖于各种先进的设计应用程序和工具。这些工具通常由包括多种操作系统、服务器和存储系统的复杂基础设施提供支持，存储系统需要为整个网络提供稳定可靠的数据存储支持，它的运行状况将直接影响到整个网络系统的访问速度、管理和运行效率以及大量重要数据的安全和稳定。实时、高清、安全高效需求成为发展瓶颈航天领域典型应用模式为多颗卫星负责空间、地面信息的遥感、扫描，在卫星过境前，根据卫星轨道预报的参数和数据接收计划，地面数据中心的数据接收集群按照预设的时间启动，捕捉遥感卫星数据下传的信号，并于有限时间内完成数据的接收，此过程具有较强实时性要求。▲航天领域信息系统典型案例卫星资源数据信息通过自动接收后由专用的数据处理集群完成对原始数据进行数据的标准化处理并加工为满足不同应用的需求的数据产品，由于目前高分辨卫星的陆续发射，地面数据的压力成倍增大。由于航天领域信息系统建设的长期性、复杂性，以及卫星数据的复杂性，关联性，卫星数据管理十分复杂，通常分为在线存储区、近线存储区、离线存储区，以及远程灾备区，并实现所有的数据的统一归档/迁移/备份，需要卫星数据管理系统支持完善的数据存储和管理策略，并提供相应的用户权限控制及监控功能。卫星资源数据信息在国家多方面建设和发展中发挥十分重要的作用，通常会进一步加工和处理，经过处理过的各级数据就可以用于农业估产，防汛，探矿，城市规划，环境状况估测等，实现信息价值的充分利用。核心发展趋势带动海量存储的大规模需求通过长期分析和实践，我们认为分布式并行处理、集中存储管理、统一业务调度与资源管理的体系结构是航天领域信息系统的主要发展趋势。这些趋势对存储系统的建设和持续发展提出多项核心需求：1、海量高可扩展并行数据存取当前的航天信息系统中文档、报表、图像等非结构化数据增长越来越快。SAN架构因扩展性有限、跨平台数据共享困难、管理复杂等问题，不能很好的满足非结构化数据的存储需求。传统NAS架构和设备由于协议开销大、带宽小、延迟高、可扩展性差等原因，不利于海量数据的并发访问。因此，主流厂商逐渐向海量存储需求的用户推广并行文件系统，这些并行文件系统具有性能高、扩展性，高可用等特点，并在流媒体应用、工程设计、视频监控等领域取得成功的应用。2、异构平台的数据共享访问支持航天领域依赖于大量不同用户使用的各种先进的设计应用程序和工具。这些工具通常由包括多种操作系统、服务器和存储系统的复杂基础设施提供支持。通常经过数十年的系统建设，信息系统可能包含Unix、Linux、Windows等不同操作系统，以及FC-SAN、IP-SAN或作为单一设备而存在的NAS存储设备，这给数据的集中访问和处理以及系统的统一管理提出了极大的难题。如果不能有效地管理此类环境，管理员将面临永无休止的软硬件升级和互操作性问题，而无法满足不断增长的航天事业建设需求。3、完善、可靠的在线、近线、灾备等多级存储结构PB级海量存储系统一定是多级存储结构的。在航天领域，在线存储区为卫星数据的在线接收、处理提供低延迟、高并发、高吞吐量的支持，满足数据接收对时效性的需求;近线存储系统则为数据的进一步加工、处理级在线归档等应用提供支持，这一过程通常产生海量的数据信息以满足不同研究分析的需求。离线存储提供数据的归档/备份支持。远程灾备系统则为系统提供意外情况下的可用性支持。4、统一存储管理由于卫星数据的复杂性、关联性，以及类型繁多的处理、应用需求，信息系统必须支持对在线、近线、离线及远程灾备区的统一存储资源管理，以及FC、IP、Infiniband等多种网络的网络管理，和结构化、非结构化数据的统一数据管理，支持对数据存储策略设定，并提供对系统事件的日志记录和系统工作状态的检测报警功能。一体化解决方案实现统一的数据管理针对以上核心需求，浪潮推出融合最新存储技术和产品的软硬件一体化的整体解决方案。存储设备层包含浪潮集群存储AS3000，浪潮高性能盘阵AS2000，以及其他类型的存储设备和磁带库等，其中AS3000可以满足并行数据处理子系统对海量并行数据处理及异构平台的数据共享访问支持需求，高性能盘阵AS2000为系统中的数据库应用提供高性能、低延迟的访问支持，磁带库等设备用于进行数据备份/归档等应用。利用分级存储、虚拟化等技术构建可构建包含卫星数据接收资源池、生产资源池、近线存储资源池、离线存储以及远程灾备资源池的多级存储池，并实现这些资源池的迁移、复制、备份、归档应用。浪潮AS3000、AS2000均可支持QDRInfiniband、10GbE网络接入，为本系统提供兼容多种高性能存储网络的能力。浪潮海量存储系统管理软件具备统一存储资源管理、分级管理、网络管理、数据管理以及用户管理功能，可实现航天信息系统的统一存储管理。▲浪潮航天领域统一存储解决方案统一存储管理重点解决海量存储系统的高效管理和利用问题，根据管理对象的不同，实现存储资源管理、网络管理、数据管理等几大部分功能的统一。存储资源管理对存在FC-SAN、IP-SAN、NAS多种存储设备由统一的资源管理界面进行管理;网络管理采用子网管理协议对网络中的交换机和路由等进行管理;用户管理结合安全管理进行用户身份识别和认证;数据管理采用以策略为中心的架构，管理服务器按照转换器方式解析多个策略并将数据分布在多级存储之上进行高效管理。▲浪潮海量存储系统软件方案亮点：1、多种高性能接入网络支持：浪潮集群存储系统AS3000、高性能磁盘阵列均支持QDRInfiniband、10GbE主机接口2、PB级海量高可扩展并行数据存储能力：AS3000提供可扩展至10PB、聚合带宽数十GB的非结构化数据的并行存储能力;AS2000最大存储容量可扩展至1PB。3、异构平台的数据共享访问支持：本解决方案可支持NFS、CIFS标准共享协议。4、完善、可靠的在线、近线、灾备等多级存储结构：5、统一存储管理：由浪潮海量存储系统管理软件实现统一存储资源管理、网络管理、数据管理和用户管理。浪潮航天领域存储解决方案提供PB级海量高可扩展并行数据存储能力，异构平台的数据共享访问支持，具备完善、可靠的在线、近线、灾备等多级存储结构，并提供对海量存储系统的统一存储管理，可以解决目前航天领域信息系统多方面问题。