对象存储研究综述

322012年第2卷第11期-1-对象存储研究综述#罗莎，鄂海红，宋美娜，黎燕**基金项目：本论文得到了国家科技支撑计划课题（2012BAH01F02），国家自然科学基金项目（61072060），国家高技术研究发展计划课题（2011AA100706），高等学校博士学科点专项科研基金课题（20110005120007），中央高校基本科研业务费专项资金资助（2012RC0205,2012RC0206），北京市教育委员会共建项目专项基金和教育部信息网络工程研究中心资助。作者简介：罗莎（1988-），女，硕士研究生，主要研究方向：服务科学与工程、宽带无线移动系统与互联网通信联系人：宋美娜，女，教授，主要研究方向：服务科学与工程、宽带无线移动系统与互联网.（北京邮电大学计算机学院，北京100876）摘要：信息社会的信息量和服务量的爆炸增长给网络存储提出了更高的要求，对象存储鉴于其高智能性、高共享性和高安全性为企业提供了一种大规模并行分布式集群存储方案，缓解了大型企业的存储压力，因而许多高校学者及科研人员对对象存储中的关键技术进行了研究。本文通过对大量相关文献进行分析，概述了对象存储及其当前的研究现状，主要从对象存放策略和元数据管理优化这两个关键因素进行了归纳与总结，分析了各种策略的优缺点，最后提出了对象存储可能的发展趋势。关键词：计算机应用；对象存储；对象存放策略；元数据管理优化中图分类号：TP399TheresearchonObjectStorageLuoSha,EHaihong,SongMeina,LIYan(BeijingUniversityofPostsandTelecommunications,Computerscienceandtechnology,Beijing100876)Abstract:BecausetheexplosivegrowthoftheamountofinformationandserviceintheInformationsocietyhasputforwardhigherrequirementstothenetworkstorage,ObjectStorage,whichhashigherintelligence,highersharingandhighersecurity,providesalarge-scaleparalleldistributedclusterstorageschemefortheenterprisetoalleviatethestoragepressureoflargeenterprises,thusmanyscholarsinuniversitiesandscientificresearchpersonnelhavedonemuchresearchonthekeytechniquesoftheObjectStorage.Basedonthelargenumberofliteratureanalysis,thispapergivenanoverviewofObjectStorageanditscurrentresearchsituation,mainlyconcludedandsummarizedtheobjectstorestrategyandthemanagementandoptimizationofthemetadata,whicharethetwokeyfactorsoftheObjectStorageatfirst,thenanalyzedtheadvantagesanddisadvantagesofeachmethod.FinallyputsforwardthepossibletrendoftheObjectStorage.Keywords:ComputerApplication;ObjectStorage;ObjectPlacementStrategy;MetadataManagementandOptimization0引言随着计算机和互联网的发展，信息量和服务量呈爆炸性增长，传统的网络存储技术已经无法满足人们对存储容量、访问速度、可用性和便利性等方面日益增长的需求，对象存储鉴于其高智能性、高共享性和高安全性[1][2][3]引起了广大学者的关注。对象存储系统同时具有传统存储技术NAS和SAN的所有优点，已经成为了构建大型存储系统的优选方案。对象存储技术主要包括对象定义、对象存储设备、文件系统、元数据服务器和网络连接几个部分，目前对象存储系统的研究，主要集中在对象存储设备和元数据服务器的研究，具体表现在元数据管理策略及优化的研究和数据放置策略的研究上。2012年第2卷第11期33-2-本文第1节对对象存储进行了概述，指出了对象存储系统的几个关键部分，说明了对象存储的特征及其相对于其他网络存储技术的优势。第2节分析了对象存储的研究现状，重点说明了对象存储中对象存储设备和元数据服务器的研究现状。第3~6小节详细分析了对象存储技术中几种不同的对象放置策略以及元数据管理优化策略，包括对象存储设备中多磁盘之间的放置、对存储设备之间的放置；元数据的分配策略和元数据的管理优化等内容，分析了各种策略的优缺点，最后对对象存储进行了总结。1概述1.1对象存储概述及主要特征对象存储是一种网络存储技术，相对于传统的文件存储系统，其最大的特点就是将数据与元数据的存储及操作分离，体系结构如图1所示。它主要包括对象(Object)、OSD（对象存储服务器）、文件系统、元数据服务器(MetadataServer，MDS)和网络连接几个组成部分。客户端缓存客户端POSIX文件访问接口文件系统元数据服务器MDS元数据服务器MDS数据对象访问接口对象存储设备OSD对象1对象2对象N„„网络连接图1对象存储结构图Fig.1StructurediagramoftheObjectStorage对象存储[4][5][6]系统的基本操作单位是对象[7]，这里的对象是容纳了应用数据和一个可扩展的存储属性的基本容器。每个对象可以包含各种类型的数据，数据在对象容器中是不透明的，用户通过数据属性来操作数据，数据属性可以根据应用的需求进行设置，对象维护自己的属性，从而简化了存储系统的管理任务，增加了灵活性。对象存储系统通过对象存储设备管理本地的对象，每个对象存储设备都具有自己的存储介质、处理器、内存以及网络系统等[7]。对象存储设备不仅存储数据对象，同时还记录每个对象的属性信息，分担数据的管理工作。对象存储设备（OSD）只是提供了对象的数据访问接口，而应用程序通常不直接使用对象接口，因此，对于对象存储系统来说，必须提供一种标准的文件访问接口，这里采用的也是标准的POSIX文件访问接口[7]，文件系统对用户的文件操作进行解释，并在元数据服务器和OSD间通信，完成所请求的操作。对象存储系统实现了数据与元数据的分离，采用元数据服务器(MetadataServer，MDS)342012年第2卷第11期-3-为客户端提供元数据，主要是文件的逻辑视图，包括文件与目录的组织关系、每个文件所对应的OSD等。对象存储系统中的客户端、MDS和OSD通过网络连接联系起来构成了一个完整的系统。对象存储系统相对于传统的网络存储技术拥有以下特征[8]：（1）相对于传统的网络存储技术，对象存储系统不仅提供了数据对象，还提供了对象数据的描述属性，更有利于数据在不同平台的共享。（2）对象存储系统中的对象存储设备能够对I/O进行认证，所以使得对象存储系统具有更好的安全性。（3）对象存储系统分担了部分管理功能，使得对象存储更加智能化。1.2对象存储技术与传统存储技术的区别文献[7]指出对象存储技术与传统存储技术的主要区别如下：（1）传统存储技术采用的是块结构存储，而对象存储技术面向的是对象容器，块的大小是固定的，而对象的大小是可变的。（2）对象存储的对象存储设备分担了部分文件系统底层的功能，比如空间管理等，设备接口由块接口转变成了对象接口。结构区别如图2[8]所示：图2传统存储模型与对象存储模型比较Fig.2Thecompareofthetraditionalstoragemodelandtheobjectstoragemodel1.3对象存储关键技术目前对象存储的研究大多数都集中在对象存储设备部分以及元数据服务器部分，主要是对象的存放策略以及元数据管理办法的研究。在大规模对象存储系统中，50%-90%[9][10]的操作都是元数据的操作，元数据的访问非常频繁，元数据操作的速率直接影响到了对象存储系统的效率以及资源发现率，因此研究高性2012年第2卷第11期35-4-能和高可扩展的元数据管理办法是提高对象存储性能的关键因素。用户在访问对象时需要能够快速的定位到对象存放的存储设备，如何存放文件对象是至关重要的。数据放置策略负责将文件映射为对象，并为对象选择合适的对象存储设备进行存放，因此选择恰当的数据放置策略对存储系统的性能有重要影响。本文将对以上两点关键技术进行详尽的归纳和总结，并对各研究方案进行比对分析，并简单预测可能的发展趋势。2研究现状对象存储最开始起源于卡内基梅隆大学并行数据实验室的NASD项目，在这个项目的基础上，出现了很多对象存储的项目。国外有一些已经成型的项目，比如加州大学圣克鲁斯分校的存储系统研究中心开发的OBFS、EMC的Centera、IBMHaifaResearchLab实现的Antara、Lustre、Panasas公司的PanFS、美国加利福尼亚大学存储研究中心研制的CEPH系统、位于以色列的IBM实验室、Haifa大学和MountCarmel共同研制的Zfs[11][12][13]等等。目前，国内的对象存储尚处于研究阶段，国家973计划项目《下一代互联网信息存储模式》正在集中研究基于下一代互联网的可扩展、多层次的面向对象网络存储系统体系，形成基于存储对象模式的系统理论，已经成型的有中科院计算所研究的“曙光”系列机群服务器上的文件系统COSMOS和DCFS。国内有很多学者对对象存储中对象放置策略以及元数据管理策略进行了研究，成果较为突出的是华中科技大学，有多篇论文对对象放置策略进行了分析和优化；同时，在传统的元数据管理策略的基础上，许多研究者对元数据管理策略进行了优化分析，提出了许多高性能的元数据分配管理策略。3对象放置策略用户在访问对象时需要能够快速的定位到对象存放的存储设备，如何存放文件对象是至关重要的。数据放置策略负责将文件映射为对象，并为对象选择合适的对象存储设备进行存放，因此选择恰当的数据放置策略对存储系统的性能有重要影响。数据对象放置策略主要是针对的除元数据以外的数据资源本身，解决了对象存储设备中数据对象存放的分布问题。数据对象放置策略主要包括以下几个方面：（1）一个存储结点或磁盘阵列内多个磁盘之间的放置；（2）网络存储中多个存储设备之间的放置。3.1多个磁盘之间的放置每个OSD具有多个网络接口以及多个磁盘接口，当外界向OSD发送创建对象命令时，OSD需要根据对象放置策略为对象分派磁盘，针对不同类型的数据对象，放置方式是不同的。对象在多个磁盘之间的放置主要是找到最优的分配方案使得代价函数最小。应用不同，代价函数也是不同的。有文献通过对流媒体应用及事务处理/科学计算应用两种应用进行了研究，提出了基于阻塞概率模型的对象放置策略和基于响应时间模型的对象放置策略。3.1.1基于阻塞概率模型的对象放置策略基于阻塞概率模型的对象放置策略是指采用阻塞概率最小作为代价函数来为对象分配磁盘。作者通过采用阻塞概率理论，定义了磁盘访问强度和代价函数，通过预设获取请求采用泊松到达，将请求分配到磁盘，通过找到最优的磁盘访问强度使得代价函数的阻塞概率最小。362012年第2卷第11期-5-3.1.2基于响应时间模型的对象放置策略基于响应时间模型的对象放置策略是把OSD（对象存储设备）的响应时间最小作为代价函数来分配磁盘的。与阻塞概率模型对象放置策略不同的是，用户请求到达不会被阻塞，而是会排队等待，对象存储设备通过对用户访问进行