基于LDAP的广域网存储虚拟化目录管理方案

基于LDAP的广域网存储虚拟化目录管理方案庞丽萍周润松（华中科技大学计算机科学与技术学院）摘要：本文提出一种新的广域网范围内的存储虚拟化目录管理方案，旨在糅合现有的存储资源，提供基于多用户的存储目录视图方案。该系统采用基于轻量级目录访问协议（LDAP）的目录服务器管理用户存储的目录信息。关键词：存储虚拟化轻量级目录访问协议LDAP目录随着信息数字化的深入发展，数据存储的需求日益增长。存储虚拟化带给我们最直接的益处就是，提高存储利用率，降低成本，简化存储管理，而基于网络的虚拟存储技术将成为未来的一种趋势，它的开放性、扩展性、管理性等方面的优势将在数据量大、集中、异地容灾等应用中充分体现出来。存储虚拟化是指将具体的存储设备或存储系统（如SAN、RAID等）同服务器操作系统分隔开来，为存储用户提供统一的虚拟存储池。它是具体存储设备或存储系统的抽象，展示给用户一个逻辑视图，同时将应用程序和用户所需要的数据存储操作和具体的存储控制分离。存储虚拟化的任务首先是在多个物理存储设备或存储系统上创建一个抽象层，屏蔽在一般系统、特别是在异构环境下地复杂性，简化管理；其次是对存储资源进行优化。传统的广域网存储资源大都是独立运行，分而治之，利用效率很低，大量地文件信息在不同地存储资源上反复拷贝。另外，在资源地共享方面，也是一个薄弱环节。本文探讨一种广域网存储虚拟化的目录管理实现方案，能有效地统一管理各个域中的存储资源，为用户提供统一的存储视图，真正地实现体贴用户的目的，方便用户使用，提高资源的利用率。一、广域网存储管理中目录服务的特点传统的目录服务只是单个计算机系统的一个构件，为相应的应用程序服务，但没有提供集成管理的机制。广域网范围目录服务，建立在现有的单个计算机系统的目录服务之上，实现一种映射机制，提供集中的单点管理机制，方便用户的使用，适应复杂环境所必须的灵活性，提供公共的目录服务。就存储虚拟化系统而言，需要屏蔽现有存储系统的异构性，实现单一的目录入口管理，为用户提供透明的访问，简化系统的复杂管理程度，同时减少非目录应用程序的冗余管理。目录像是一个简单的数据库，倾向于提供更多的描述性、基于属性的信息，存储虚拟化系统将将在现有的文件系统之上丰富更多的文件目录信息，提供更好的访问效率。同时目录服务还应该能快速反应大容量查询或者搜索操作，能够大范围地复制信息，以增加目录可用性和可靠性的适用范围。二、存储虚拟化系统介绍存储虚拟化系统的整体结构框图如图一所示。整个系统由CA(授权论证中心)，SSP（存储服务提供商），DS（目录服务器），Agent（存储服务器代理）和用户组成。用户首先与SSP建立连接，通过CA验证身份确认后取得系统资源的使用权限。SSP通过辨别用户的权限信息后访问相应的DS，获取用户文件资源存储的状态信息，实现从逻辑文件名到文件物理位置的转化。而数据的传输由Agent与用户之间直接交互，提供系统的整体性能。该系统旨在糅合现有的存储资源，以一个独立的设备形态展现给用户，实现广域网范围内的存储虚拟化，提高资源的利用效率，保护存储资源的现有投资。CACACA存储服务SSPSSPSSP用户AgentAgent123控制通道数据通道存储服务提供商SSPCA授权认证中心DSAgent目录服务器存储服务器代理5DS高速海量存储设备4DSDS高速海量存储设备图一：存储虚拟化系统框图三、目录服务器的功能及实现目录服务器的功能就是维护一个当前存储资源使用的目录信息表，包括系统中每个用户、用户组的资源使用分配信息以及访问权限信息，并实现从逻辑文件名到文件物理位置的转换；同时，依托现有的目录信息，提供更高层次地目录服务，如基于资源属性的搜索查询功能。下面对目录服务器具体实现的相关环节进行详细地阐述：1、目录服务的根基——轻量级目录访问协议(LDAP)在系统中，采用了LDAP协议标准。LDAP的英文全称是LightweightDirectoryAccessProtocol（轻量级目录访问协议），它是基于X.500协议标准的，但进行了相应的简化，并且可以根据需要定制。LDAP在以下四个方面对X.500进行了简化：传输：LDAP直接运行在TCP上，避免了OSI多层通信的高层开销；功能：LDAP简化了X.500的功能，抛弃了较少用到的功能和冗余的操作；数据表示：X.500的数据表示结构复杂，LDAP采用简单的字符串对数据进行表示；编码：LDAP用于网络传输的编码规则比X.500的编码规则更加简单。LDAP协议是跨平台的标准的协议，在许多大型的系统中都取得了广泛的应用(如全球网格基础项目Globus2.0中的许多组件都使用了基于LDAP协议的目录服务器，在Windows系统中的活动目录系统中也支持LDAP协议)，LDAP协议已经成为了目前网络目录服务的一个标准。LDAP协议规定的目录结构与UNIX文件系统非常相似，信息存储模型是使用目录信息树(DIT:DirectoryInformationTree)的方式管理目录信息，目录信息以条目的方式按树型结构摆放，每一个数据项都是一个条目（entry），每个条目都是具有唯一区别名DN(Distinguishname)的属性(Attribute)集合。属性是由属性类型(type)和多个属性值(values)所构成。目录信息被集中存储在目录服务器上。目前已经有很多成熟的基于LDAP协议开发出的资源管理系统和工具，如Openldap、NDS（NovellDirectoryService）和ADS（ActiveDirectoryService）等。本系统采用开放源项目的目录服务平台Openldap。目录服务平台由于有数据库支持的缘故，数据的查询速度比现有的文件系统要快得多。Openldap服务器的数据库支撑平台一般使用Unix下面的GDBM或者BerkeleyDB，这些轻量级的数据库项目都是针对（key，value）类型的信息存放，采用hash散列或者B+树的方式存储数据，查询效率比较高。2、目录服务器的具体结构组织广域网存储虚拟化系统提供基于多用户的名字空间服务，每个用户都有自己的逻辑存储视图，同时还提供用户之间的资源共享，所有的这些存储信息和控制信息都以条目的形式记录在目录服务器中。遵循LDAP协议，为了实现相应的目录管理功能，必须定义一定的模式(Schema)来满足管理的需求，有效的组织目录服务器的内容。模式是对条目信息组织格式的定义，是一个数据结构的问题，定义属性类型、对象类别和相关信息的集合(目录服务器在比较操作中用来定义如何匹配一个表达式或者假定属性值的规则以及是否允许添加，删除条目的操作权限)。为了适应于存储虚拟化目录管理的需要，系统定义了相应的文件、目录、以及用户，组等模式，在以后的功能扩展上，将定义更多的模式，来适应目录组织管理的需求。图二展示了一个文件对象的模式的部分定义：图二：文件对象模式（schema）的定义从文件对象的模式定义中可以看出，每个条目就是一个对象（objectclass），每个对象都具有自己的对象名以及所包括的属性(attribute)，由MUST和MAY指定，其中由MUST指定的是必须的属性，而由MAY指定的是可有可无的附加属性。属性(Attribute)条目的定义中指定了属性的名称，以及一些匹配的规则，还有属性使用的语法定义(SYNTAX)，规定了属Attributetype(8.2.2.1.1NAME'FileName'SUPnameEQUALITYcaseIgnoreMatchSUBSTRcaseIgnoreSubstringsMatchSYNTAX1.3.6.1.4.1.1466.115.121.1.40{256}SINGLE-VALUE)Attributetype(8.2.2.1.2NAME'FileLength'EQUALITYnumericStringMatchSYNTAX1.3.6.1.4.1.1466.115.121.1.27SINGLE-VALUE)。。。。。。其他属性定义省略Objectclass(8.2.2.2.1NAME'FileAttributeObject'DESC'DSFileAttributeObject'MUST(FileName$FileLength$FileUID)MAY(FileCreateTime$FileModificationTime$FileCreator))性的数据类型(如整形、字符串、GMT时间等)。SINGLE-VALUE表示单值属性，默认属性可以对应多个值(value)。在目录服务器中，系统按图三所示的目录信息树层次结构安排条目信息。目录信息树(MIT)是由三个大的分支组成，其中一部分以DC=FAT，DC=HUST(目录信息树的条目DN表示方式，由每个节点的相对区别名(RDN:RelativeDistinguishName)之下而上组成)指定一个整体的系统文件目录信息树，另外两个分支分别保存用户信息(DC=USER，DC=ICCC)和用户组(DC=GROUP，DC=ICCC)信息。在系统的目录树结构中，采用类似于Unix文件系统的目录树结构组织系统的目录文件结构，与用户信息和用户组信息分开。在用户访问得过程中，通过用户信息条目中的属性信息指定的用户根目录以及用户之间的共享目录信息，在系统的统一目录树中映射出用户的逻辑目录信息视图，从而实现多用户的目录空间，并附加文件访问的权限控制。图三：目录服务器目录信息树3、目录服务器的工作流程目录服务器的工作流程如下：编制相应的模式文件，完成目录服务器的初始化配置工作，启动目录服务器，绑定目录服务器、启动网络监听进程、等待SSP的操作请求或者特定的客户端的请求，解析SSP相关的文件、目录或用户等操作请求，进行相应的目录操作请求，增删相应的目录条目，返回操作结果给SSP。4、基于性能的优化工作由于广域网范围内的用户数量的不断提升，目录服务器的负载以及规模都会越来越大，必须采用一定的措施减轻目录服务器（DS）的负载。在系统中，系统采用分布目录服务器的方式来减轻单个目录服务器的负载，尽量的保证服务质量。利用LDAP协议规定的Referral(参考指针)，将系统的文件目录信息树进行分割，分布在多个目录服务器上，这样就可以缓解单个目录服务的压力。例如，可以将对目录服务器A上的对DN为DIR=PUB，DC=FAT，DC=HUST的操作重定向到目录服务B上。另外，LDAP进行目录服务器进行优化可以从以下几个方面着手，首先，在与SSP的交互过程中，尽量的简化操作，采用线程的工作方式。其次，在LDAP目录数据库的维护上下功夫，尽快的提高查询的速度。数据库性能的一个重要方面就是索引机制的建立，对经常需要使用的属性建立相应的索引(如文件名、目录名、用户等)，以达到提高性能的能力；其次，提高目录服务器的硬件性能。DC=HUSTDC=FATDC=USERDC=GROUPDIR=PUBDIR=MUSICDIR=HOMECN=AliceCN=GeorgeCN=GROUPACN=GROUPBDIR=GeorgeDIR=AliceDIR=BACKUPFILE=SHOW.ASFCN=GeorgeCN=…四、进一步的工作目录服务的可靠性以及性能的优化是进一步工作的重点，提高目录服务的容错容灾难能力，同时扩展相应的目录服务功能，如丰富基于现有目录信息的查询和搜索工作，进一步完善模式的定义。参考文献1、韩华，代亚非，李晓明，郭朝阳“一种基于分布式LDAP的分布对象名字服务机制”高技术通讯2002年10期2、LDAPRFC文档3、、GregorvonLaszewskiandIanFoster“UsageofLDAPinGlobus”ASchemeofWide-AreaStorageVirtualization’sDirectoryManagementBaseonLDAPPangLipingZhouRunsongAbstract：It’saboutanovelarchitect