搜索
随需而动的大存储资源池--华为FusionStorage分布式存储系统1HUAWEITECHNOLOGIESCO.,LTD.HuaweiConfidential目录存储业界变革趋势FusionStorage，引领存储新革命成功案例1232HUAWEITECHNOLOGIESCO.,LTD.HuaweiConfidential1980s个人电脑1960s大型机1990s互联网2000s移动互联网2010s大数据，云计算IBMDS8000EMCVMAXHuawei180001956:IBMRAMAC305世界第一台磁盘存储系统磁盘介质取代打孔卡，容量5MB读写速率10K/s信息化与存储发展历程GoogleFS亚马逊S31993：EMCSymmetrix16MBDRAM,1GBGlobalMemory,容量1TB超融合架构以主机和终端、DAS为主GB时代，MB/sIAAS1.0IAAS2.0以服务器、SAN/NAS为主TB时代，GB/sIAAS3.0以云服务、移动宽带网络、大数据分析、社交网络技术为依托PB时代，10~100GB/s，分布式架构存储技术在性能和容量上不断提升，并向互联网化、分布式架构发展3HUAWEITECHNOLOGIESCO.,LTD.HuaweiConfidential企业信息化面临的存储挑战TOP6问题：容量/管理/TCO/性能/大数据/利用率*数据来源：中桥国际调研咨询有限公司其他存储硬件利用率低下非结构化数据的大数据分析不能满足并行处理能力需求采购和运营成本高资源配置复杂存储容量不能满足需求50.1%44.4%40.2%39.3%33.2%20.9%3.1%容量不足，经常需要扩容“Itisdatacenterthatmanagingme,notIammanagingit.”管理复杂，需要专业人员TCO持续上升，部分设备扩容成本比新购还高性能无法满足业务要求，需要购置新设备，原投资浪费对云计算、大数据等新技术支持不足资源孤岛，无法共享，利用率低下“业务发展快，数据量增长更快！”“3年前的型号厂商说停产了，建议我们买新型号。问题是数据迁移太痛苦！”“现在业务都上云了，要给上千个虚机配存储资源至少要花两天！”“各个部门都说资源不够用，但实际上很多是可以共享使用的，特别是研发，但是我们很难都监控起来”“如果一套存储可以一直扩展下去那样就好了！”4HUAWEITECHNOLOGIESCO.,LTD.HuaweiConfidentialFacebook每天20亿照片存储系统揭秘应用推出快。每天上线140，已达24000应用更新淘汰率高活动用户0到1亿55月，1亿到4亿18个月元数据与图片数据绑定NAS元数据超大（26T=2600亿*100字节)，无法缓存到内存。检索单个图片超过10次磁盘IO。NAS服务器成本高昂元数据与图片数据分离Haystack目录元数据大幅减小（3.5T=2600亿*50字节*1/4)可缓存内存中检索单个图片数据仅需1次磁盘IO。商用服务器承载存储，每TB成本降低28%2600亿图片（20P）时，NAS层出现性能瓶颈，无法满足每秒查询1百万图片的需求。爆发增长带来海量数据，推动IT系统改造业务特点NAS无法满足海量照片存储自研分布式存储目前每天新增照片20亿，每秒查询最高4百万图片浏览器CDNNASNASNASNFS照片服务器Haystack目录浏览器CDNHaystack存储缓存可写卷数据，减少读写混合IOHTTP获取对象元数据照片服务下载到存储层获取图片数据历史照访问片符合长尾理论0200400600照片数量（10亿）5HUAWEITECHNOLOGIESCO.,LTD.HuaweiConfidential分布式ServerSAN的架构Server本地存储ServerServerServerVMVMVMVMVMVMHDDSAN/NASHDDSAN/NASServerVMVMVMVM传统SAN的架构FC/IPNetworkFC/IPNetworkServerVMVMVMVMCacheCache架构转型InfiniBand/10GENetwork传统架构亟需转变以计算为中心的Scale-Up架构以数据为中心Scale-Out架构HDDSSDHDDSSDHDDSSD……HDDSSDHDDSSDHDDSSD硬盘框硬盘框ctrlerctrlerctrlerctrlerctrlerctrlerctrlerctrlerServer1VBSServer2VBSServerNVBS存储服务器OSDOSDOSD……存储服务器OSDOSDOSD……存储服务器OSDOSDOSD……CacheCacheCacheVMVMVMVMVMVM孤立的存储资源存储设备只能扩展容量共享式的存储资源池性能与容量横向扩展6HUAWEITECHNOLOGIESCO.,LTD.HuaweiConfidential全球存储市场发展趋势：分布式存储快速增长专有设备变通用设备计算与存储线性扩展简单管理、低TCO现在未来10年全球企业分布式存储市场快速增长，预计2027将占存储市场的70%份额定义：ServerSAN是由多个独立的服务器自带的存储组成的一个存储资源池，同时融合了计算和存储资源7HUAWEITECHNOLOGIESCO.,LTD.HuaweiConfidential目录业务云化关键诉求及存储变革趋势FusionStorage，引领存储新革命成功案例1238HUAWEITECHNOLOGIESCO.,LTD.HuaweiConfidentialFusionStorage，引领存储新革命应云而生资源按需获取存储跨域流动容忍双点故障面向未来业务加速、灵活简洁、运维简单49152硬盘4096节点128存储池10240主机接入高效可靠千万级IOPS重构1T30分钟亚健康检查9HUAWEITECHNOLOGIESCO.,LTD.HuaweiConfidential资源如水，随需而动资源共享按需扩容应云而生稳定可靠跨域流动高效可靠面向未来应云而生10HUAWEITECHNOLOGIESCO.,LTD.HuaweiConfidential1个开放平台代替多套封闭设备50TB10KIOPS100TB30KIOPS200TB60KIOPS500TB10kIOPS100TB-12PB128存储池,49152块硬盘按需扩容代替多次采购通用硬件代替专用硬件10KIOPS-10MIOPS高效可靠面向未来应云而生11HUAWEITECHNOLOGIESCO.,LTD.HuaweiConfidential按需扩容……………以节点为单位在线扩容(3-4096)以磁盘为单位在线扩容(4~36)以存储池为单位扩容(1-128)以机柜为单位扩容(3-8)…高效可靠面向未来应云而生12HUAWEITECHNOLOGIESCO.,LTD.HuaweiConfidential云资源池配置极致简化传统存储：存储与计算人为配置1周FusionStorage：存储配置自动化配置上百个LUN/1KVM在计算侧挂在上百个DataStore创建VM时要计算每个LUN的利用率每个月会进行5~10次存储迁移在计算侧只需配置1次存储管理IP，存储卷管理全部自动化存储利用率达到100%不再需要存储迁移高效可靠面向未来应云而生13HUAWEITECHNOLOGIESCO.,LTD.HuaweiConfidential存储资源池化满足个性化业务诉求单卷最大容量：256TB单卷峰值性能：70000IOPS高效可靠面向未来应云而生14HUAWEITECHNOLOGIESCO.,LTD.HuaweiConfidential精简配置，性能不下降………………………………6个月后利用已有的资源，业务快速上线随着业务的增长而实时扩容对于开发测试云，可以采用150%的分配率存储实际容量达到85%时建议扩容高效可靠面向未来应云而生15HUAWEITECHNOLOGIESCO.,LTD.HuaweiConfidential自定义存储SLA，合理使用资源不同价值的数据全部使用高端，投资浪费VMVMVMVMVMVM由于传统存储的烟囱架构，导致大部分历史数据都保存在高端存储中，资源浪费巨大由于闪存阵列价格昂贵，绝大部分企业还无法部署闪存阵列根据业务诉求，用户可自定义多种资源池SLA规格同一个虚拟机的不同的数据卷可归属不同的存储池高效可靠面向未来应云而生16HUAWEITECHNOLOGIESCO.,LTD.HuaweiConfidential跨机房数据访问及流动支持数据跨机房访问机房A机房B机房C支持数据卷从一个资源池迁移到另一个存储池，应用可以不修改高效可靠面向未来应云而生17HUAWEITECHNOLOGIESCO.,LTD.HuaweiConfidential商用规模最大的ServerSAN产品2PBVMWARE云资源池10PB公有云FusionSphereFusionstorage1PBOracleRAC资源池3PBFusionSphere云资源池16TB全球最大的SAPHANA内存数据库集群7*24稳定运行3年，磁盘年故障率0.7%单存储池商用案例高效可靠面向未来应云而生18HUAWEITECHNOLOGIESCO.,LTD.HuaweiConfidential重构时间决定业务可持续性Disk1P1P2’Disk2Disk3Disk6Disk4Disk5Server1Server2Server3P3P4’P5P6’P7P8’P13P14’P15P16’P17P18’P19P20’P1’P3’P5’P7’P9P10P11P12P13’P15’P17’P19’P21P22P23P24P4’P8’P16’P20’P21P22P23P24P9P10P2’P6’P14’P18’P11P12P9’P10’P11’P12’P2P6P14P18P21’P22’P23’P24’P4P8P16P20重建1TB数据时间30分钟，数据重构速度提升20倍高效可靠应云而生面向未来19HUAWEITECHNOLOGIESCO.,LTD.HuaweiConfidential仅仅支持单点故障是不够的容忍同时2服务器故障支持双点故障容忍同时2机柜故障支持机柜级安全2副本场景下，可靠性=4个9，3副本场景下，可靠性=7个9数据可靠是第一位的，FusionStorage建议3副本Google，facebook的副本数=3副本高效可靠应云而生面向未来20HUAWEITECHNOLOGIESCO.,LTD.HuaweiConfidential仅仅故障处理还是不够，亚健康也要处理123磁盘级可靠性磁盘年故障率0.7%网络级可靠性单个网口的丢包率达到5%，网络告警并做相应处理IO端到端稳定性检测磁盘/SSD降速后发出告警自动检测磁盘/SSD降速后做恢复处理检测磁盘高温并告警处理高效可靠应云而生面向未来21HUAWEITECHNOLOGIESCO.,LTD.HuaweiConfidential系统备份方案云资源池下的备份方案数据库场景下的备份方案VM1虚拟化平台生产站点eBackupVM2FusionStoragePool全量快照增量快照生产站点NBUFusionStoragePool支持NBU等通用备份软件高效可靠应云而生面向未来22HUAWEITECHNOLOGIESCO.,LTD.HuaweiConfidential系统容灾方案云资源池下的容灾方案数据库场景下的容灾方案VM1FusionSphere虚拟化平台生产站点容灾站点基于主机IO复制容灾管理软件VRGVM2VRG容灾管理软件VM1′VRGVM2′VRGFusionSphere虚拟化平台FusionStoragePoolFusionStoragePool生产站点FusionStoragePool备份站点FusionStoragePoolData