ibm集群存储系统相关技术讨论

•SONASIBM集群NAS存储系统及相关技术探讨•刘业雄•资深信息技术专家议程•NAS和SAN技术比较•集群NAS需求分析•部署“云”环境，构建动态架构•SONAS—IBM集群NAS存储系统•总结–IBM文件云存储（SONAS）给用户带来的价值议程1NAS和SAN技术比较222集群集群集群NASNASNAS需求分析需求分析需求分析333部署部署部署“““云云云”””环境，构建动态架构环境，构建动态架构环境，构建动态架构444SONASSONASSONAS———IBMIBMIBM集群集群集群NASNASNAS存储系统存储系统存储系统555总结总结总结SAN存储(磁盘阵列)是提供块存储的外置设备逻辑卷逻辑卷逻辑卷逻辑卷逻辑卷逻辑卷物理硬盘磁盘阵列控制器SANFCFC磁盘阵列•外置•供应用存取数据•设备共享、数据专用SAN交换机应用软件文件系统数据库逻辑卷逻辑卷逻辑卷操作系统应用软件文件系统数据库逻辑卷逻辑卷逻辑卷操作系统应用服务器外置磁盘阵列NAS是提供文件级共享的外置存储设备应用服务器LAN应用软件文件系统应用软件文件系统应用软件文件系统应用软件文件系统MountoverTCP/IPSONAS•外置•高速并行访问•超大规模文件空间•集成智能分级存储•集成文件备份网络文件系统并行访问节点磁盘阵列磁盘阵列磁盘阵列SANNAS连接方式光纤(SAN)IP(LAN)主机环境•HBA卡(光纤通道卡)•驱动程序(需与磁盘阵列设备兼容)•多路径软件(需与磁盘阵列设备兼容)•操作系统自带、通用客户端软件(基于开放协议，无兼容性问题)网络设备SAN交换机以太网交换机I/O模式Block块文件共享设备共享、信息专用设备共享、信息共享性能最高稍差系统管理复杂简单常见数据类型数据库、文件文件NAS和SAN磁盘阵列的区别议程111NASNASNAS和和和SANSANSAN技术比较技术比较技术比较2集群NAS需求分析333部署部署部署“““云云云”””环境，构建动态架构环境，构建动态架构环境，构建动态架构444SONASSONASSONAS———IBMIBMIBM集群集群集群NASNASNAS存储系统存储系统存储系统555总结总结总结现有非结构化数据（文件）存储面临的挑战•非结构化数据的爆炸性增长–非结构化数据以60%的速度在增长，远远超过结构化数据量的增速，当前多种不同的文件服务器难以承载–文件存储基础设施亟待改进，以便在数据增长的同时控制成本•存在多个存储孤岛–现有多台独立运行的文件服务器或NAS设备，形成存储孤岛，各部门间不能实现信息共享，存储系统的利用率低下–系统管理员需要管理多个文件系统，最终用户也必须拥有访问众多不同文件系统的权限–管理工作极其费时耗力，同时还需要消耗大量软硬件资源•扩展能力不足–对业务支撑缺乏灵活度，不能进行灵活的扩展以满足快速变化的业务需求、确保数据可用及业务不中断–因缺乏可扩展性或大规模文件处理能力，导致出现性能瓶颈用户对于非结构化数据（文件）存储的愿景•允许在单一视图下访问遍布全球的信息的全局命名空间•高度自动化和简化的IT操作•随时管理动态的业务需求，响应业务变化•加强数据共享与协作•保护战略性信息资产•符合法规和安全性要求•可适应存储快速增长的卓越可扩展性议程111NASNASNAS和和和SANSANSAN技术比较技术比较技术比较222集群集群集群NASNASNAS需求分析需求分析需求分析3部署“云”环境，构建动态架构444SONASSONASSONAS———IBMIBMIBM集群集群集群NASNASNAS存储系统存储系统存储系统555总结总结总结云简介云模式传统模式ƒ虚拟化的资源ƒ自动化的服务管理ƒ标准化的服务ƒ与物理位置无关ƒ快速的扩展能力ƒ自服务•Software•Hardware•Storage•Networking•Software•Hardware•Storage•Networking•Software•Hardware•Storage•Networking•云是一种能使用户便捷、随需应变地对共享的可配置资源共享池（如网络、服务器、存储器、应用程序和服务）进行网络访问的模型。该模型可在最少的管理投入或服务供应商介入的情况下快速实现资源的提供与发布。云的三种交付模型•软件即服务(SaaS)–包括应用、流程和信息服务•平台即服务(PaaS)–提供的是优化的中间件，包括应用服务器、数据库服务器、portal服务器•基础架构即服务(IaaS)–提供的是虚拟化服务器、存储服务器及网络资源基础架构即服务软件即服务平台即服务‘Services’asaservice云的五个基本特征•快速伸缩–伸缩性是指根据需要向上或向下扩展资源的能力。对用户来说，云的资源数量没有界限，他们可按照需求购买任何数量的资源•服务可度量–在可度量服务下，由云供应商控制和监测云服务的各方面使用情况。这对于计费、访问控制、资源优化、容量规划和其他任务具有重要的意义•按需自助服务–云的按需服务和自助服务意味着用户可以在需要时直接使用云服务，而不必与服务供应商进行人工交互•无所不在的网络访问–这意味着供应商的资源可以通过网络获取，并可以通过瘦客户端或富客户端以标准机制访问•资源池–资源池允许云供应商通过多用户共享模式服务于用户，物理和虚拟资源可根据用户需求进行分配和重新分配云给用户带来的价值自动化更短的周期更低的操作成本更优化的使用更强的法规遵从更优的安全性更好的用户体验标准化更容易使用灵活的价格反复利用和共享更容易集成虚拟化更高的利用率扩展的经济性低资源费用更好的服务质量更高的性价比更好的敏捷性和降低风险议程111NASNASNAS和和和SANSANSAN技术比较技术比较技术比较222集群集群集群NASNASNAS需求分析需求分析需求分析333部署部署部署“““云云云”””环境，构建动态架构环境，构建动态架构环境，构建动态架构4SONAS—IBM集群NAS存储系统555总结总结总结SONAS的产品结构CIFS客户端CIFS客户端HTTP客户端HTTP客户端FTP客户端FTP客户端NFS客户端NFS客户端管理节点管理节点接入节点接入节点......IP网络磁带库接入节点接入节点StoragePodStoragePodSCP客户端SCP客户端....接入节点接入节点单一文件名空间存储节点存储节点存储节点存储节点存储节点存储节点存储节点存储节点Infiniband数据网络IP管理网络磁盘阵列磁盘阵列磁盘阵列磁盘阵列/home/appl/data/web多节点并行处理ƒ极高的共享存取性能ƒ海量存储空间ƒ线性的扩展能力多节点并行处理ƒ极高的共享存取性能ƒ海量存储空间ƒ线性的扩展能力一级存储：高速盘阵二级存储：大容量盘阵三级存储：磁带库整合分级存储ƒ根据策略迁移数据至合适的存储ƒ对用户透明基于开放标准的连接SONASƒ用户不需关心文件的具体存储位置ƒ分散存储达到最佳性能ƒ分级存储实现最合理空间使用SONAS核心技术IBM通用并行文件系统（GPFS）IBMGPFS是一个可自由扩展的高性能并行文件系，同时支持AIX、Linux和Windows操作系统基于高可用的集群架构，可灵活扩展支持并行的共享磁盘访问方式，提供单一命名空间针对并行IO负载优化，提供极高的IO处理能力…………..….....scaleoutscaleout单一命名空间（SingleNamespace）/home/appl/data/web/important_big_spreadsheet.xls/home/appl/data/web/big_architecture_drawing.ppt/home/appl/data/web/unstructured_big_video.mpg/home/appl/data/web/home/appl/data/web/important_big_spreadsheet.xls/home/appl/data/web/big_architecture_drawing.ppt/home/appl/data/web/unstructured_big_video.mpgIBMScaleOutNASPolicyEngine单一命名空间数据自动条带化到存储池内的所有磁盘上。高性能，自动优化，自动均衡Tier1:SASdrivesTier2:1TBSATAdrivesTier3:2TBSATAdrivesInterfacenodesInterfacenodesInterfacenodesStoragenodesStoragenodesStoragenodes逻辑物理自动分级存储（ILM）：从快盘到慢盘•快速扫描文件以决定–迁移到不同的存储池–传播到远程站点–备份出去–恢复回来–删除•当分级存储策略确定后–并行数据移动引擎实现物理移动–在物理数据移动过程中文件仍然是可用的（在线迁移）–在全局命名空间中不需要改变逻辑文件路径•每个节点在数据移动过程中都并行参与–高达每分钟1千5百万的文件扫描速度–文件可以基于策略引擎的定义被promoted/demoted22自动分级存储（ILM）：从磁盘到磁带•IBMSONAS提供策略驱动（policy-driven）的快速归档到磁带的能力–扫描引擎（Scanengine）用来标识需要迁移到磁带的文件–传送需要迁移的列表（list）到TSM–文件存根（Stubfile）留在磁盘上–读取时可以自动召回（auto-recall）–可以实现使用TB的磁盘存储PB级别的数据TSMServerIBMScaleOutNAS快速磁带备份•IBMSONAS提供永久增量的快速备份到磁带的能力–SONAS扫描引擎快速定义文件的变化，并且把变化直接传送给TSM–避免了传统方式需要遍历所有文件目录的性能问题–只需要拷贝变化的数据到外部TSM存储，大大缩小了备份窗口TSMServerIBMScaleOutNAS•AnyTSM-supporteddeviceincluding:•ProtectTierde-dup•VirtualTapeLibrary•TapeSONAS的易管理性（健康中心）SONAS的易管理性（系统利用率监控）SONAS应用的典型环境IBM磁盘存储产品一览Distributed,OpenSystemsHetero-geneousMainframe,SystemiEnterpriseMidrangeDS8000•Solutionformainframe,I,&opensystemsplatforms•DisasterRecoveryacross2&3sites•Secureencryption•Continuousavailability,nodowntimeforupgrades•Extremelyfastresponsetimes,SSDSVC•Heterogeneousblocklevelvirtualizationformulti-vendorenvironments•Modularscalability•SSDsupport•Replication,DataMigration,ThinProvisioningDS5000•Opensystemsenvironmentsupport,includingIBMisupport•Costefficientstorageforcapacitiesupto448TBs•Modularstorage,Replication,SSDXIV•Opensystemssupport•EaseofManagement•Future-proofcapacityexpansionandmanagement•2sitereplication•AllinclusivesoftwareNASNseries•Applicationaffinity(SnapManager)•NseriesGatewayforheterogeneousstorage•UnifiedNAS&SAN•ReplicationSONAS