存储虚拟化(非常详细)

存储虚拟化技术什么是存储虚拟化•SNIA(存储网络工业协会)对存储虚拟化的定义：•Theactofabstracting,hidingorisolatingtheinternalfunctionofastorage(sub)systemorservicefromapplications,computeserversorgeneralnetworkresourcesforthepurposeofenablingapplicationandnetworkindependentmanagementofstorageordata.•Theapplicationofvirtualizationtostorageservicesordevicesforthepurposeofaggregating,hidingcomplexityoraddingnewcapabilitiestolowerlevelstorageresources.Storagecanbevirtualizedsimultaneouslyinmultiplelayersofasystem,forinstancetocreateHSM-likesystems.•参考译文：•通过对存储(子)系统或存储服务的内部功能进行抽象、隐藏或隔离，使存储或数据的管理与应用、服务器、网络资源的管理分离，从而实现应用和网络的独立管理。•对存储服务和设备进行虚拟化，能够在对下一层存储资源进行扩展时进行资源合并、降低实现的复杂度。存储虚拟化可以在系统的多个层面实现，比如建立类似于HSM(分级存储管理)的系统。什么是存储虚拟化虚拟化的原理16857管理2客户管理员物理资源逻辑资源为什么要存储虚拟化存储虚拟化的原动力虚拟存储池复制空间资源整合镜像快照统一数据管理迁移标准化接入存储虚拟化的目的抽象Abstract统一数据管理功能“Virtualization”降低管理难度数据跨设备流动提高可扩展性提高设备使用效率隐藏Hide隔离Isolate设备构件化•1、融合：技术基础（更可靠、更可控、更灵活、更易扩展、更低成本）•2、开放：个性化基础（SOA的标准中间件架构和应用开发接口）•3、面向应用：以应用为先导，资源动态分配、统一管理用虚拟化简化IT架构存储系统计算节点互连网络虚拟信息架构VirtualInformationInfrastructure应用Applications(ERP,SCM,CRM,OA…)WhatyouhaveWhatyouwant•基础架构技术融合；•面向应用的计算、网络、存储的IT资源池•开放中间件，实现可定制•应用与基础架构分离•ESG报告表明，早期采用虚拟化技术平均每年可节约:•24%硬件成本•16%软件成本•19%管理成本•如果预算共$1，000，000，花费$500，000于硬件，•$200，000于软件和$300，000于管理。存储虚拟化的价值•每年可节约$209，000存储虚拟化实现模式存储虚拟化实现的结果存储虚拟化磁盘虚拟化块虚拟化磁带、磁带驱动器、磁带库虚拟化文件系统虚拟化文件/记录虚拟化基于主机的虚拟化基于网络的虚拟化基于存储设备、存储子系统的虚拟化带内虚拟化带外虚拟化实现结果实现位置实现方式两条存储路线的斗争—ScaleUp&ScaleOutConventionalStorageClusteredStorageFaster…………………………………………………………….Slower…………………………………………………………….TRAINSTOPS!!!!!!!!!!!!TRAINKEEPSGOING!!•1.磁盘扇区的物理地址一般用C-H-S(柱面号-磁头号-扇区号）表示•2.磁盘虚拟化就是将扇区地址用LBA（逻辑块地址）表示，屏蔽底层物理磁盘的概念•3.磁盘虚拟由磁盘自身固件完成•4.磁盘虚拟化的结果是使磁盘的使用者无须了解磁盘的内部硬件细节，通过块地址就可以访问磁盘磁盘虚拟化001002003004005006007…磁盘虚拟化LBA•1、块虚拟化是指对多块硬盘建立RAID，划分逻辑卷（LUN）。•2、每个逻辑卷对于使用者都完全等同于一块物理硬盘。物理上来说，这个逻辑卷的所有数据块，都是通过RAID处理，分布在不同的物理硬盘上。•3、块虚拟化的结果是使存储的使用者无须关心RAID实现的具体过程，只要象读写普通硬盘一样读写这个逻辑卷，就能获得RAID对数据的保护功能。块虚拟化物理磁盘Raid、磁盘分区逻辑资源块虚拟化•1.采用类似RAID的技术对多盘磁带进行条带化和校验，以期提高磁带使用的可靠性和性能•2.由于磁带读写缓慢，难以满足条带和校验的需要，因此RAIT技术很少使用磁带、磁带驱动器、磁带库虚拟化VTL虚拟磁带库磁带虚拟化RAIT条带化功能多个磁带驱动器一个逻辑驱动器磁盘•1.提高磁带驱动器使用效率•2.加快数据备份的速度•VTL将磁盘阵列虚拟为磁带库，使用户在无须改变备份习惯和现有备份软件配置的情况下，获得以下优点：•1、大幅度提高性能，缩短数据备份和恢复窗口•2.获得磁盘阵列的RAID保护功能，避免磁带介质故障•3.持续扩展备份的性能和容量NAS虚拟化NAS的特点支持异构主机成熟的网络拓扑结构高度集成的存储子系统设备简单化虚拟文件系统NFS/CIFS客户端文件文件LANNAS设备•虚拟硬盘•提供专用文件系统NAS虚拟化典型产品——EMCIsilonNFS,CIFS,FTP,HTTPClient/ApplicationLayerStandardGigabitEthernetLayerIsilonIQClusteredStorageLayerIntraclusterCommunicationInfiniBandLayerWindowsUNIX/LINUXMAC(optional2ndswitchforadditionalsubnet)(optional2ndswitchforhighavailability)(optional2ndswitch)IsilonIQStorageLayerIntraclusterCommunicationInfinibandorGigELayerServersClient/ApplicationLayerNFS,CIFS,FTP,HTTP(optional2ndswitch)StandardGigabitEthernetLayerServersServersEMCIsilonArchitectureWritingaFilewithEMCIsilon(optional2ndswitch)(optional2ndswitch)ServersNFS,CIFS,FTP,HTTP(optional2ndswitch)ServersServersWorkVert-SpecificWritingaFilewithEMCIsilon(optional2ndswitch)WorkVert-Specific(optional2ndswitch)ServersNFS,CIFS,FTP,HTTP(optional2ndswitch)ServersServers(optional2ndswitch)ReadingaFilewithEMCIsilonWorkVert-SpecificReadingaFilewithEMCIsilon(optional2ndswitch)ServersNFS,CIFS,FTP,HTTP(optional2ndswitch)ServersServersWorkVert-Specific存储虚拟化实现的位置存储虚拟化磁盘虚拟化块虚拟化磁带、磁带驱动器、磁带库虚拟化文件系统虚拟化文件/记录虚拟化基于主机的虚拟化基于网络的虚拟化基于存储设备、存储子系统的虚拟化带内虚拟化带外虚拟化实现结果实现位置实现方式基于主机的存储虚拟化主要用途：使服务器的存储空间可以跨越多个异构的磁盘阵列，常用于在不同磁盘阵列之间做数据镜像保护。优点：支持异构的存储系统。缺点：占用主机资源，降低应用性能。存在操作系统和应用的兼容性问题。导致主机升级、维护和扩展非常复杂，而且容易造成系统不稳定性。需要复杂的数据迁移过程，影响业务连续性。常见产品：SymantecVeritasVolumeManagerAgentAgentAgentAgentDAS或SAN存储网络实现方式：一般由操作系统下的逻辑卷管理软件完成（安装客户端软件），不同操作系统的逻辑卷管理软件也不相同。基于存储设备的存储虚拟化主要用途：在同一存储设备内部，进行数据保护和数据迁移。优点：与主机无关，不占用主机资源。数据管理功能丰富。AgentAgentAgentAgentSAN存储网络虚拟化引擎实现方式：在存储控制器上添加虚拟化功能，常见于中高端存储设备。缺点：一般只能实现对本设备内磁盘的虚拟化。不同厂商间的数据管理功能不能互操作。多套存储设备需配置多套数据管理软件，成本较高。常见产品H3CIX/EX系列HPEVAHDSTagmaStorSUN6920系列基于网络的存储虚拟化主要用途：异构存储系统整合和统一数据管理。优点：与主机无关，不占用主机资源。能够支持异构主机、异构存储设备。使不同存储设备的数据管理功能统一。构建统一管理平台，可扩展性好。SAN+虚拟化引擎实现方式：通过在存储域网（SAN）中添加虚拟化引擎实现。缺点：部分厂商数据管理功能弱，难以达到虚拟化统一数据管理的目的。部分厂商产品成熟度较低，仍然存在和不同存储和主机的兼容性问题。常见产品H3CIV系列IBMSVCEMCVPLEXNetAppGFiler系列存储虚拟化实现技术比较主机影响主机兼容性存储兼容性业务功能性能影响可扩展性实施影响基于主机基于存储基于网络好较好较差很差存储虚拟化实现的方式存储虚拟化磁盘虚拟化块虚拟化磁带、磁带驱动器、磁带库虚拟化文件系统虚拟化文件/记录虚拟化基于主机的虚拟化基于网络的虚拟化基于存储设备、存储子系统的虚拟化带内虚拟化带外虚拟化实现结果实现位置实现方式带内虚拟化主机层网络层存储层虚拟化引擎①逻辑读写指令②物理磁盘指令SAN数据读写流用途：异构存储系统整合统一数据管理，在业务运行同时完成复制、镜像、CDP等各种数据管理功能优点：服务器、存储设备的兼容性好虚拟化和数据管理功能由专用硬件实现，不占用主机资源丰富的数据管理功能配置简单，易于实施缺点：虚拟化设备发生故障，整个系统将中断逻辑指令转换物理指令带内虚拟化典型产品——EMCVPLEX分布式.动态.智能.数据中心内VPLEXLocalVPLEXMetro远距离AccessAnywhere同步VPLEXGeo远距离AccessAnywhere异步VPLEX系列使用案例可用性高可用性消除故障切换所进行的存储操作随时随地访问移动性灾难避免数据中心迁移工作负载重新平衡随时随地访问群集A群集B协作远距离即时和同时数据访问优化工作流程随时随地访问远距离移动和重新定位虚拟机、应用程序和数据支持跨地点并发读/写数据访问通过跨位置镜像保持可用性和无中断访问带外虚拟化主机层网络层存储层SAN①注册请求②存储列表②注册响应③建立连接，进行读写AgentAgentAgent控制信息流虚拟化引擎数据读写流用途：一般用于不同存储设备之间的数据复制优点：虚拟化设备发生故障，整个系统将不会中断缺点：主机资源占用较大大部分产品缺乏数据管理功能主机和存储系统需要严格的兼容性认证数据初始化同步复杂配置复杂，实施难度高存储虚拟化的应用难点原数据卷磁盘阵列Question：如何保证虚拟化之后的数据状态不变，同时避免复杂的数据备份和迁移？Answer：SSE(存储服务使能）实现对已有数据的卷的虚拟化：数据状态不变访问路径不变无需数据迁移丰富的数据管理功能应用主机虚拟化之后的数据卷虚拟化信息无缝接入用户原有环境！难点一：数据状态的一致性保证难点二：多存储访问协议支持应用服务器DAS设备IPSAN设备FCSAN设备FCi