网络存储技术论文(二)

网络存储技术论文（二）课程名称：网络存储技术姓名：梁霄学号：2012211479学院专业：计算机学院网络工程摘要阿里、Amazon、Microsoft等互联网巨头为我们描绘了云计算的美妙场景：云计算时代到来之时，不必在你的计算机上安装各种各样的软件，只需要访问云端就可以了，互联网将会像提供现实资源一样提供随时可用的计算能力。云存储是云计算的存储部分，并且可以作为一种服务提供给用户，任何经过授权的合法用户都可以通过网络访问云存储，享受云存储带来的便利。云存储是随着互联网和云计算逐步发展起来的，从大规模系统软件架构的角度看，云计算后端架构的难点集中在云存储。本论文首先论述设计云存储中心需要考虑的各方面问题，接着给出设计的总体架构，并阐释相关的海量数据存储策略、网络存储架构、可靠性保障策略和安全保障策略等。关键词：云存储系统对象存储可靠性保障目录一、关于云存储.........................................................................................................................3二、云平台设计.........................................................................................................................3（一）设计原则.....................................................................................................................3（二）关键技术.....................................................................................................................3三、云平台架构.........................................................................................................................3（一）系统架构.....................................................................................................................4（二）平台实现.....................................................................................................................4四、管理技术.............................................................................................................................7（一）数据可靠性.................................................................................................................7（二）资源服务层集群.........................................................................................................8五、安全保障策略.....................................................................................................................8（一）数据传输安全.............................................................................................................8（二）数据存储安全.............................................................................................................8（三）数据完整性保护.........................................................................................................8（四）数据机密性保护.........................................................................................................9六、参考文献.............................................................................................................................9一、关于云存储云存储是是指通过集群应用、网络技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对用户提供数据存储和业务访问功能的一个系统。这是一个在云计算概念上衍生、发展出来的一个概念，它除了可以节省整体的硬件成本外，还具备良好的可扩展性、对用户的透明性、按需分配的灵活性和负载的均衡性等特点。云存储属于云计算的底层支撑，它通过多种云存储技术的融合，将大量普通PC服务器构成的存储集群虚拟化为易扩展、弹性、透明、具有伸缩性的存储资源池，并将存储资源池按需分配给授权用户。云存储将存储资源集中起来，通过专门的软件进行自动管理，无须人为参与。用户可以动态使用存储资源，无须考虑数据分布，扩展性，自动容错等复杂的大规模存储系统技术细节，从而更加专注于自己的业务，有利于提高效率、降低成本和技术创新。二、云平台设计（一）设计原则本技术的核心在于存储系统，完成数据整合和容灾保护，建立坚实的信息基础设施，在统一的信息存储平台上高效的完成业务处理。存储系统的可靠性，可用性和可扩展性将直接影响整个系统的运行，进而影响到整个系统的正常运作。按照前述的需求分析，我们可以总结出所需的存储系统设计的基本原则如下：数据的安全性和系统的高可靠性；系统的高性能；系统的可扩展性；系统的多平台支撑能力；灵活性和系统的简单性；存储的虚拟化。（二）关键技术存储的虚拟化是其中最为关键的技术之一。将存储资源虚拟成一个“存储池”，这样做的好处是把许多零散的存储资源整合起来，从而提高整体利用率，同时降低系统管理成本。与存储虚拟化配套的资源分配功能具有资源分割和分配能力，可以依据“服务水平协议”的要求对整合起来的存储池进行划分，以最高的效率、最低的成本来满足各类不同应用在性能和容量等方面的需求。特别是虚拟磁带库，对于提升备份、恢复和归档等应用服务水平起到了非常显著的作用，极大地节省了企业的时间和金钱。除了时间和成本方面的好处，存储虚拟化还可以提升存储环境的整体性能和可用性水平，这主要是得益于“在单一的控制界面动态地管理和分配存储资源”。在当今的企业运行环境中，数据的增长速度非常之快，而企业管理数据能力的提高速度总是远远落在后面。通过虚拟化，许多既消耗时间又多次重复的工作，例如备份或恢复、数据归档和存储资源分配等，可以通过自动化的方式来进行，大大减少了人工作业。因此，通过将数据管理工作纳入单一的自动化管理体系，存储虚拟化可以显著地缩短数据增长速度与企业数据管理能力之间的差距。三、云平台架构本文设计的云存储中心基于分布式处理技术、网格计算技术和集群技术，通过一系列标准接口提供海量数据存储能力和存储相关服务。支持多种存储方式，包括对象存储和文件存储等。针对不同方式的存储，提供灵活、可配置的存储控制策略以及访问控制策略，如数据压缩、重复数据删除和数据分片存储等。云存储中心以多应用为基础进行业务的管理，应用拥有专有存储策略、SLA保证、可统计的资源服务单元。同时提供了统一的管理功能，包括配置存储空间、获取运营数据、统计和监控云存储内的各网元、管理存储服务器和存储设备。（一）系统架构为了实现系统的分布式、高可扩展性，云存储中心采用了两级架构，下层为云存储能力平台，上层为云存储接入平台。而使用云存储的应用可通过云存储接入平台接入到云存储中心。云存储系统技术架构如图1所示。图1云存储系统技术架构应用层泛指内部应用和外部应用等接入到云存储平台的所有应用。内部应用指云存储中心自身业务，外部应用指开放后接入的第三方应用等。云存储接入平台主要提供包括应用管理平台的门户管理，应用的接入认证、应用管理、站点管理、存储策略及模板的设置、应用统计分析及日常运维管理。应用注册成功后，CSAP为应用分配应用ID（AppID）。云存储能力平台对存储空间资源、能力等进行管理；提供分布式、高安全性、高可靠性和可扩展的基础存储能力，以及对象、文件和元数据存储的功能。云存储能力平台可跨地域部署，同一应用资源可存储在不同地域。通过添加CSRP站点，即可实现站点级别的系统存储扩容。在CSRP站点内部，还可以通过添加资源组、资源组节点实现相应级别的站点存储扩容。（二）平台实现对象存储系统（Object-BasedStorageSystem）是综合了NAS和SAN的优点，同时具有SAN的高速直接访问和NAS的数据共享等优势，提供了高可靠性、跨平台性以及安全的数据共享的存储体系结构。云存储能力平台（CloudStorageResourcePlatform，CSRP），负责存储能力的提供，可异地多站点部署；云存储接入平台（CloudStorageAccessPlatform，CSAP），负责管理信息的接入和分发，为多个CSRP的统一管理节点，目前为单点部署。对象存储能力由CSRP提供，包括租户、接入码、容器的管理以及租户、容器、对象的存储策略控制。一个租户可申请多个接入码，可对接入码进行授权操作；同时，CSRP提供数据流的访问，可通过扁平化的对象ID方式访问，也可以通过目录服务方式访问。CSAP提供应用的管理，一个应用映射为CSRP中的一个租户。应用对存储的使用，首先需要在CSAP上进行申请存储空间，通过使用CSRP提供的管理接口创建接入码和容器，以及使用数据流接口对CSRP进行数据访问。云存储接入平台（CSAP）的模块组成如图2所示。图2云存储接入平台架构图云存储接入平台（CSAP）主要提供应用管理平台的门户管理，应用的接入认证、应用管理、站点管理、存储策略及模板的设置、统计分析及运维管理。应用注册成功后，CSAP将为应用分配应用标识（AppID），并在CSRP上分配存储空间（即租户，该空间也使用应用标识来表征和访问）。CSAP提供应用自助服务门户；应用提供者可在门户上进行注册、修改、注销申请和策略配置等自助服务操作。同时可为CSAP的管理员提供相应的管理入口。CSAP管理员只需要登录管理门户，即可完成诸如站点的管理、资源管理、应用管理、统计分析及日常的运维管理工作。云存储能力平台架构图如图3所示。图3云存储能力平台架构图云存储能力平台（CSRP）为业务平台提供对象存储、文件存储服务，业务平台可将数据以对象、文件的形式存储至CSRP。CSRP包括存储能力模块、存储管理模块和存储设备。存储能力模块向上提供存储能力和数据访问接口；存储管理模块提供对CS