华为软件定义存储架构分析

华为软件定义存储架构分析明亮华为技术有限公司2014-9-16目录华为软件定义存储相关技术华为对云计算的理解华为对软件定义存储理解123华为分布式存储介绍4软件定义计算软件定义存储软件定义网络云服务与调度管理OracleRACHANA/SybaseIQHadoop/Hbase批处理DB2SQLServer云基础设施层IAAS大数据层物理资源MPPDBStreaming流处理MPPRDB非结构化、半结构化大数据结构化大数据HuaweiCloudOS2P服务器4P服务器8P服务器SAN/NAS存储…企业IT向云计算架构演进MySQL/PG-SQL…云计算机（CloudComputer）的内涵历史总永远是在螺旋式前进的，“云计算机”看似大型机，但绝非简单回到了大型机时代：Scale-upScale-out：规模更大，成本更低硬件定义软件定义：使用灵活，生态链繁荣硬件冗余保证可靠性分布式软件保证可靠性：灵活，跨地理位置专线接入互联网接入目录华为软件定义存储相关技术华为对云计算的理解华为对软件定义存储理解123华为分布式存储介绍4云计算对传统存储的挑战SANNASAppAppAppSANNASHypervisor(vSphere,KVM)VMVMVMVMVirtualizationLUN数量有限，存储不感知VMLUN配置复杂，修改配置困难多VM运行同一个LUN，存在IOblending问题如何解决？扩展困难创建VM：2分钟为VM配置网络、存储：5天时间都去哪儿了？用户需要什么？GivemeaVMforVDI自动化管理界面计算资源网络资源存储资源HereisyourVM如何做到？SDDCSDC：软件定义计算SDN：软件定义网络SDS：软件定义存储什么是软件定义存储？兼容任意硬件：包括通用硬件和专用存储设备各种存储资源统一池化，自动化管理自助式的用户服务接口策略驱动存储，提供SLA保障策略驱动的控制平面（Policydriven）APP-centricDataserviceVirtualizedDataPlaneSAN/NASSSD阵列ObjectScale-outDASSoftwareDefinedStorageStorageDataPlaneHypervisor(vSphere,KVM)VMVMVMVMSoftwaredefinedStorage目录华为软件定义存储相关技术华为对云计算的理解华为对软件定义存储理解123华为分布式存储介绍4统一的策略驱动的存储控制平面业界主流的存储管理平台VmwarevcenterEMC：ViprIBM：SVCOpenstack：CinderCinder：华为SDScontroller活跃的社区，完善的生态系统，促使我们选择了OpenstackOpenstackGoldmemberHuaweiOceanstordriverHuaweiFusionstoragedriverHuaweiStorhyperdriverCinder架构CinderAPI：统一的卷管理接口Cinderschuduler：基于策略的存储资源调度Cindervolume：接入不同存储厂商的driverCephdriverCinder-volumeEMCdriverCinder-volumeHuaweistorhyperdriverCinder-volume各个driver之间无法互通？华为SDS数据面当前架构HuaweiFusionStoragedriverCinder-volumeOceanstordriverCinder-volumeHuaweistorhyperdriverCinder-volumeHuaweiOceanStor系列——阵列产品HuaweiFusionCube系列——Scale-outDAS产品第三方SAN/NAS设备，哑设备管理面上通过Cinder提供统一接口数据面的能力依然参差不齐各个产品之间特性重叠整个SDS数据面不够开放HuaweiSDS华为SDS目标架构HuaweiFusionStoragedriverCinder-volumeOceanstordriverCinder-volumeHuaweistorhyperdriverCinder-volumeHuaweiOceanStor系列——阵列产品HuaweiFusionCube系列——Scale-outDAS产品第三方SAN/NAS设备，哑设备提供统一的以APP为中心的数据服务APP-centricDataservice（QoS，Cache，thin-provision,snapshotetc.）Policy-DrivenCinderAPI提供跨异构存储设备的数据服务将整个数据服务框架开放到社区数据服务不依赖任何设备提供商华为SDS数据服务APP-centricDataserviceAPP-centricDataserviceAPP-centricQoSServiceAPP-centricCacheServiceAPP-centricthin-provisionService以堆叠的形式提供数据服务接口开放，可使用第三方数据服务所有的数据服务提供App粒度的策略管理ThethirddataserviceVM/APP可配置QoS要求：带宽，IOPS，延迟VM/APP可配置Cache需求：介质，容量，算法，可靠性VM/APP可配置瘦分配需求：总容量，预留容量如何编排各种数据服务，以满足APP的需求，是个巨大的挑战！华为Dataservice——QoS服务VMVMSANNASvDiskFC/iSCSIObject对象存储NFS……vDiskvDiskVMvDiskvDiskVMvDiskvDiskVMvDiskvDiskVMvDiskvDiskHost1Host2Host3Host4Host5Hostn分布式流控分布式调度智能资源调整智能资源调整智能资源调整智能资源调整智能资源调整智能资源调整Policy1MINIOPS:1000APP1Policy2MINIOPS:1000MAXIOPS:3000BurstIOPS:5000MINMBPS:10MAXMBPS:50BurstMBPS:70Policy3MAXIOPS:5000APP2APP3APP4通过分布式流控、分布式调度和智能资源调整技术，实现按策略组进行流量控制、流量保障和系统资源最大化利用。华为Dataservice——Cache服务DevicemanagerDevicemanagerDevicemangerSSDPoolSSDPoolSSDPoolCachemanagervSSDvSSDvSSDvSSDvSSDvSSDvSSDvSSDvSSDCachemanagerCachemanagerReplicationReplicationReplicationpolicypolicypolicyVMVMVMVMVMVMVMVMVMStorageSystem华为Dataservice——Cache服务•提出SSDblending问题SSDSANNASObjectVM所有APP的SSDcache交织在一起，无法充分发挥SSD的价值云数据中心应用众多，特征不一，必须要解决好SSDblending的问题Host1VMVMSSDVMHost2VMVMSSDSANNASObjectVMVMVMSSDVMVMVM解决SSDblending问题每个vSSD的容量，Cache算法，块大小，刷盘方式，等根据应用特征配置所有的vSSD共用集群中所有的SSD硬件用最小的SSD成本，满足所有APP的Qos要求vSSDvSSDvSSDvSSDvSSDvSSD华为Dataservice——瘦分配服务接入没有瘦分配能力的存储LUN将这些LUN空间统一池化提供瘦分配服务分布式的元数据管理，强大的扩展性目录华为软件定义存储相关技术华为对云计算的理解华为对软件定义存储理解123华为分布式存储介绍4…iSCSI/FC协议层存储层…NFS/CIFS/Posix…文件系统Object对象系统对象Key元数据数据用户自定义元数据HTTP/REST/SOAP/S3块存储直接访问，开销最小，效率最高成本最高场景：企业数据库，Oracle，VM存储等文件存储更易管理，更易与应用对接场景：HPC，媒资，企业内部应用整合，文件共享等对象存储结构扁平，近乎无限的容量扩展更加智能的自管理特性业界标准互联网协议，跨地域传输能力场景：面向互联网服务的存储，归档、备份等ObjectObjectObjectObject分布式存储对外接口分布式对象存储UDS（1）P19P26P5P12P19P26P5P12P19P26P5P12P19P26P5P12P19P26P5P12P19P26P5P12P19P26P5P12P19P26P5P12P19P26P5P12P19P26P5P12P19P26P5P12P19P26P5P12P19P26P5P12P19P26P5P12P19P26P5P12P19P26P5P12P19P26P5P12P19P26P5P12P19P26P5P12P19P26P5P12P19P26P5P12P19P26P5P12P19P26P5P12P19P26P5P12P19P26P5P12P19P26P5P12P19P26P5P12P19P26P5P12P19P26P5P12P19P26P5P12P19P26P5P12P19P26P5P12数据流SmartDiskSmartDisk接入节点存储节点P19P26P5P12P19P26P5P12P19P26P5P12P19P26P5P12P19P26P5P12P19P26P5P12全系统去中心：元数据分散存储，消除系统中单点瓶颈小颗粒存储单元：每片硬盘带一颗处理器，最大程度降低硬盘之间影响文件物理存储节点AP00,P12,P24,P36,P48,P60BP03,P15,P27,P39,P51,P63………元数据节点一般寻址方式映射关系表P00P01PXX……UDS：基于算法寻址接入节点内置算法，通过运算确定存储节点位置……对一般寻址方式，随着数据增加，元数据节点可能成为扩展瓶颈对UDS，寻址计算量不随数据量增长而变化，更易扩展读写请求读写请求分布式对象存储UDS（2）故障自动检测多节点并行加速恢复分片、分散式存储恢复速度提高2倍以上，降低恢复期业务影响对象1：对象2：数据块校验块对象3：分布式对象存储UDS（3）分布式块存储FusionStorage（1）AppAppAppAppAppApp计算网络(10GE)Server2Server3Server1CacheHDDSSDFusionStorage分布式一体化存储主要特点•水平扩展、超大容量：分布式系统，无管理机头瓶颈，容量几乎不受限制•高IOPS：应用大容量Cache技术，提升IOPS•低时延：应用程序通过Cache/SSD直达存储，时延更低•数据重建快：并行重建，重建数据量小•管理简单：结构简单带来管理简单CacheHDDSSDCacheHDDSSD资源池类似于SAN的RAID组概念，与RAID相比，其优点是：•大容量：最大96块盘，提升超大存储空间，避免高IO应用导致热点瓶颈•动态热备：所有硬盘都可用作资源池的热备盘简单结构：资源池、Volume二层结构，没有LUN结构，服务器直接看到Volume。…P1P2P3PxP1P2P3PyP1P2P3Pz资源池1Disk资源池2资源池3…………DiskDiskDiskDiskDiskVolumeVolumeVolumeVolumeVolume…ServerServerServer分布式块存储FusionStorage（2）分布式块存储FusionStorage（3）MDCMDCMDCOSDOSDclientclientOSDOSDOSDOSDOSDOSDOSDclientclientPAXOSstatuslayerRSMdatalayerStatelessinterf