07-对象存储技术

对象存储Object-BasedStorageHistoryofObjectStorageTheDataAccessTaxonomyTheBlockParadigmDAS,SANTheBlockParadigmTheDataAccessTaxonomyTheFileParadigmLocalFS,DistributedFS:(NFS,CIFS,WAFS)SharedFS:(ClusterFS,SANFS)Global,Distributed&ParallelFSNASLocalFileSystemsOnemorelevelofindirectionDistributedFileSystemse.g.NASwithNFS,CIFSProtocolNASAggregation/VirtualizationGlobalNamespaceNASAggregation/VirtualizationGlobalNamespaceNASClusterTightlyCoupledNASNASClusterLooselyCoupledNAS:GlobalNamespacewithNFSv4.1andpNFSTheDataAccessTaxonomyTheObjectParadigmOSDCASOSSTheOldBlockParadigmTheNewObjectParadigmBlockParadigmTheNewObjectParadigm•WRITE26,763Bytes•QoS=High•Description=“X-Ray”•Retention=50years•AccessKey=*&^%#•DataPayload........ObjectStorageResponsibilities:•SpaceManagement•AccessControl(IdentityMgmt)•QoSManagement•Cache,Backup•PolicyMigration,RetentionSelf-ContainedObjectsMetadata:creationdate/time;ownership,size...Attributes–inferred:accesspatterns,content,indexes...Attributes–usersupplied:retention,QoS…BlockAccess-InodesTheinodecontainsafewblocknumberstoensureefficientaccesstosmallfiles.AccesstolargerfilesisprovidedviaindirectblocksthatcontainblocknumbersBlockAccess-InodesInodesvs.ObjectsANSIT10OSDSCSITargetsSCSIStandardsArchitectureObjectAutonomyStoragebecomesautonomous:–capacityplanning–loadbalancing–backup–QoS,SLAs–understanddata/objectgrouping–aggressivepre-fetching–thinprovisioning–search–compression/de-duplication/encryption–strongsecurity–compliance/retention/securedelete–availability/replication–audit...DataSharingHomogeneous/HeterogeneousDataSharingHomogeneous/HeterogeneousDataMigration-ILMHomogeneous/HeterogeneousAdditionalLayerofSecurity•strongsecurityviaexternalservice–authentication–authorization–NIS,LDAP....•finegranularity–perobjectLivinginaFlatNamespaceVirtualView/VirtualFileSystemsTheFirstGenerationofObjectStorageObjectDecomposition对象存储系统结构元数据服务器客户端数据元数据管理基于对象的存储设备互联网络对象存储系统组成对象(Object)–包含了文件数据以及相关的属性信息，可以进行自我管理OSD（Object-basedStorageDevice)–一个智能设备，是Object的集合文件系统–文件系统运行在客户端上，将应用程序的文件系统请求传输到MDS和OSD上元数据服务器(MetadataServer，MDS)–系统提供元数据、Cache一致性等服务网络连接1.对象(Object)对象存储的基本单元。每个Object是数据和数据属性集的综合体。数据属性可以根据应用的需求进行设置，包括数据分布、服务质量等。在传统的存储中，块设备要记录每个存储数据块在设备上的位置。Object维护自己的属性，从而简化了存储系统的管理任务，增加了灵活性。Object的大小可以不同，可以包含整个数据结构，如文件、数据库表项等。对象分类2、OSD（Object-basedStorageDevice)每个OSD都是一个智能设备，具有自己的存储介质、处理器、内存以及网络系统等，负责管理本地的Object，是对象存储系统的核心。OSD同块设备的不同不在于存储介质，而在于两者提供的访问接口。OSD的主要功能数据存储和安全访问对象放置管理：OSD使用Object对所保存的数据进行管理。它将数据存放到磁盘的磁道和扇区，将若干磁道和扇区组合起来构成Object，并且通过此Object向外界提供对数据的访问。对象操作：每个Object同传统的文件相似，使用同文件类似的访问接口，包括Open、Read、Write等。但是两者并不相同，每个Object可能包括若干个文件，也可能是某个文件的一部分，且是独立于操作系统的。除了具体的用户数据外，OSD还记录了每个Object的属性信息，主要是物理视图信息。将这些信息放到OSD上，大大减轻了元数据服务器的负担，增强了整个存储系统的并行访问性能和可扩展性。应用程序应用程序系统调用层系统调用层文件系统用户组件文件系统存储管理LBA层I/O块管理器介质文件系统用户组件OSD层OSD存储管理I/O块管理器介质传统模型OSD模型3、客户端文件系统文件系统对用户的文件操作进行解释，并在元数据服务器和OSD间通信，完成所请求的操作。现有的应用对数据的访问大部分都是通过POSIX文件方式进行的，对象存储系统提供给用户的也是标准的POSIX文件访问接口。接口具有和通用文件系统相同的访问方式，同时为了提高性能，也具有对数据的Cache功能和文件的条带功能。同时，文件系统必须维护不同客户端上Cache的一致性，保证文件系统的数据一致文件系统读访问实例：1)客户端应用发出读请求;2)文件系统向元数据服务器发送请求，获取要读取的数据所在的OSD;3)然后直接向每个OSD发送数据读取请求；4)OSD得到请求以后，判断要读取的Object，并根据此Object要求的认证方式，对客户端进行认证，如果此客户端得到授权，则将Object的数据返回给客户端；5)文件系统收到OSD返回的数据以后，读操作完成。4.元数据服务器(MetadataServer)为客户端提供元数据，主要是文件的逻辑视图，包括文件与目录的组织关系、每个文件所对应的OSD等。4.元数据服务器(MetadataServer)在传统的文件系统中，元数据由本机或者文件服务器负责维护，每次对数据块的操作都要获取元数据。在对象存储系统中，由于每次操作只有一次对元数据的访问，具体的数据传输都由OSD和客户端通过直接连接进行，大大减少了元数据的操作，降低了元数据服务器的负担，从而为系统的扩展提供了可能性。4.元数据服务器(MetadataServer)特点–客户端采用Cache来缓存数据当多个客户端同时访问某些数据时，MDS提供分布的锁机制来确保Cache的一致性。–为客户端提供认证为了增强系统的安全性，MDS为客户端提供认证方式。OSD将依据MDS的认证来决定是否为客户端提供服务。5.网络连接网络连接是对象存储系统的重要组成部分。它将客户端、MDS和OSD连接起来，构成了一个完整的系统。对象存储与传统存储的对比存储接口存储系统优点缺点块级存储块块存储设备如:SAN,提供高性能的随机I/O和数据吞吐率可扩展性和可管理性较差、价格较高、不能满足成千上万CPU规模的系统文件储存文件块存储设备＋文件系统如:NAS,扩展性好、易于管理、价格便宜开销高、带宽低、延迟大,不利于高性能集群中应用对象存储对象块存储设备＋文件系统＋定位逻辑＋应用程序支持高并行性、可伸缩的数据访问,管理性好、安全性高、适合高性能集群使用处于发展阶段,相应的硬件、软件支持有待进一步完善对象存储的特性（总结）性能优势存储设备的智能化数据的共享更容易管理更方便更好的安全性对象存储系统实例：LustreAsharedfilesystemforHPCclusters–OpenSourcesoftware(GPL)–linuxclusterVeryhighmetadataandI/Operformance–5,000filecreations/secin1dir,1,000nodes–Singleclientsupto290MB/sec.–Aggregateupto11GB/secScalableto1,000’sofnodesInproductionnowonsuchclustersLustreRetrospective1999Initialideas@CMUSeagate:managementaspects,prototypes–Muchsurvivestoday2000NationalLabs–CanLustrebenextgenerationFS?100GB/sec,trillionfiles,10,000’sclients,secure,PBs2002–2003–Manypartners:Dell,HP,Cray,LNXI,DDNothers–Productionuse,1.0releasedALustreClusterLustreSystemsClients–1000’snow,10,000’sfuture–ObtainaccesstoLustrefilesystem–Typicalrole:LinuxcomputeserverOSS–100’snow,1000’sfuture–Objectstorageservers–Linuxservershandling(stripesof)filedataMDS–10‘s,100’snodes–Metadatarequesttransactionengine.–LinuxserverhandlingmetadatarequestsKeyDesignIssue:ScalabilityI/Othroughput–HowtoavoidbottlenecksMetadatascalability–Howcan10,000’sofclientsworkonfilesinsamefolderClusterRecovery–Ifsthfails,howcantransparentrecoveryhappenManagement–Adding,removing,replacing,systems;datamigration&backupReferenceLustre:ASANFileSystemfor