对象存储系统的元数据管理

分类号__________学号______________学校代码__________硕士学位论文对象存储系统的元数据管理学位申请人：张顺达学科专业：计算机系统结构指导教师：王芳副教授答辩日期：2006年5月104872003612100113AThesisSubmittedinFulfillmentoftheRequirementsFortheDegreeofMasterofEngineeringMetadataManagementinObject-BasedStorageSystemCandidate:ZhangShundaMajor:ComputerArchitectureSupervisor:AssociateProf.WangFangHuazhongUniversityofScienceandTechnologyWuhan,Hubei430074,P.R.ChinaMay,2006I摘要*随着网络技术和信息数字化的快速发展，面向海量数据的大型应用纷纷涌现，进一步对存储系统性能提出更为苛刻的要求。尽管磁存储技术仍在不断发展中，但受到块级存储访问接口制约，无法改变I/O性能远落后于CPU和内存速度的状况。对象存储系统（Object-BasedStorageSystem）以对象为接口，将有望解决这些问题。容纳海量用户数据的对象存储系统中高效的元数据管理成为了新的挑战和研究课题。对象存储系统由客户端、元数据服务器和各个对象存储节点三部分组成。用户数据存放在直接联网访问的智能存储节点上。元数据服务器在对象存储系统中的位置非常重要，是整个系统潜在的瓶颈。在这种具有分布式体系结构特征的对象存储系统中，文件被映射到一个或多个对象存储节点上。合理的对象分布策略对系统性能显得尤为重要。针对常用对象分布策略哈希(Hashing)算法和分片(Fragment-Mapping)算法存在的优缺点，提出一种能够结合两者优点、又尽量避免其缺点的柔性对象分布算法，同时分析了影响对象存储系统性能的主要因素。元数据服务器的设计及元数据的组织和存储是面向对象系统中元数据管理的重要组成部分。元数据服务器使用了轻量级目录访问协议（LightweightDirectoryAccessProtocol，LDAP）作为存放元数据的平台，针对这个平台设计了相应的数据分配算法和数据转换模块，针对元数据访问特征，构建缓冲机制优化元数据访问性能。通过测试验证了柔性对象分布算法和元数据组织管理模式在对象系统中是行之有效的，并对系统性能的提升起到了重要作用。关键词：网络存储，对象存储系统，元数据管理，对象分布策略，轻量级的目录访问协议*本文的研究工作受国家重点基础研究发展计划(973计划)资助项目(2004CB318201)和中国国家自然科学基金资助项目(60303032)资助IIAbstract*Therapiddevelopmentofnetworktechnologyanddigitalinformationhasstimulatedtheemergenceofmassinformationapplications.Thecurrentstoragearchitecturebecomestheperformancebottleneck.TherapiddevelopmentofmagneticstoretechnologyleadstothesituationthattheI/OperformancefallsbehindthespeedofCUPandmemory.However,thetraditionalblockaccessinterfacecannotchangethissituation.TheObject-BasedStorage(OBS)providingobject-basedaccessinterfaceisexpectedtochangethesituation.Anditsmetadatamanagementbecomesnewchallengesandresearchtopics.Theobject-basedstoragesystemcontainsthreemajorcomponents,namelyareclients,MetadataServer(MDS)andobject-basedstoragenodes.Dataisstoredonthenodesthatcanbedirectlyaccessedthroughthenetwork,whilemetadataismanagedseparatelybyoneormorespecializedmetadataservers.ThepositionoftheMDSintheobject-basedstoragesystemisveryimportant,anditcanbeapotentialbottleneckofthesystem.Intheobject-basedstoragesystemfilesaremappedontooneormoredataobjectsstoredonthenodes.Thepolicyforobjectallocationisacriticalaspectaffectingtheoverallsystemperformance.Hashingandfragment-striparetwocommontechniquesusedformanagingobjects,butbothhavetheirdisadvantagesandadvantages.Wepresentanefficientalgorithmthatcombinestheadvantagesofthesetwoapproacheswhileavoidingtheirshortcomings.Thekeyfactorswhichcanimpacttheperformanceintheobjectsallocationarealsobediscussed.ThedesignofMDSinobject-basedstoragesystemandtheorganizingandmanagementofmetadataarealsoveryimportant.TheMDSinoursystemusesLightweightDirectoryAccessProtocol(LDAP)tostorethemetadata.Andwedesigndataallocationanddataconversionmodulesespeciallyforit.Wealsobuildbufferstooptimizetheperformance.Wetestthesystemandprovethatourobjectallocationalgorithmiseffectiveandthebuffersoptimizetheperformance.Keywords:NetworkStorage,Object-BasedStorage,MetadataManagement,ObjectAllocation,LightweightDirectoryAccessProtocol*TheresearchissupportedbyNationalBasicResearchProgramofChina(973Program)underGrantNo.2004CB318201andtheNationalScienceFoundationofChinaunderGrantNo.60303032.III目录摘要*................................................................................................................IABSTRACT*.........................................................................................................II1绪论...............................................................................................................11.1课题背景.....................................................................................................11.2面向对象的存储技术简介.........................................................................21.3面向对象的存储技术的历史和发展.........................................................51.4元数据分配算法的相关研究工作.............................................................71.5本文研究的主要内容.................................................................................92元数据管理的功能设计与实现......................................................................102.1对象存储系统的体系结构和各主要部分...............................................102.2元数据服务器软件设计...........................................................................132.3本章小结...................................................................................................223元数据的组织与存储.....................................................................................233.1LDAP简介..............................................................................................233.2在对象系统中使用LDAP........................................................................243.3性能分析及优化.......................................................................................253.4本章小结...................................................................................................284柔性对象分布算法的研究..............................................................................294.1对象系统中的对象分布策略.........................................