OCP创始成员谈数据中心全面降低成本的解决方案

从空气进入到数据输出全面降低成本的解决方案专为超大规模数据中心而设计PERBRASHERSYttibrium公司创始人Source:datacenterknolege.com内容•为什么要提升效率•主要构件o构造核心o功耗分布o服务器设计o存储设计•进一步降低成本o高级数据保护•新存储范式•总结3效率OCP的设计核心构件描述节省CAPEX节省OPEX重量构造核心气流精简的设计30%75%10%功率分布高压输入及直流电源UPS25%20%6%机架作为基础实施机架实现功率共享-20%30%6%服务器定制及简化的服务器主板设计28%15%11%存储2U放置30张盘片15%8%14%(不包括软件及人员方面节省的开销）开销节省(加权平均)23%33%4外围数据中心:卓越的设计•简化气流的设计采用外部空气来冷却设备，从而节省了能耗•节气设计是实现PUE1.07所必需的主要部件Source:(plusdrawing)5这意味着什么？•每瓦电每年花费$1.9（包括税在内）•以一个兆瓦级的设施为例oPUE降低.2每年可节省$126,000oPUE1.9意味着$1,075,000的额外能源损耗oPUE1.07意味着$148,000的额外能源损耗•意味着每年节省~$1mil!除去Yttibrium的咨询费用;-)6数据中心设计功率分布OpenCompute介绍机架/服务器/存储7外围数据中心设计开放式气流交换Source:electronics-cooling.com8常见功耗分布OCP功耗电力变压器480/277VAC99.999%可用性到服务器的总损耗为：2%损耗6%-12%损耗3%损耗208/120VACAC/DCDC/ACASTS/PDU服务器PS备用发电机(假设90%+PS)电力变压器480/277VAC99.9999%可用性2%损耗480/277VAC到服务器的总损耗为：OCP电源备用发电机三48VDCDCUPS(备份)5.5%损耗UPS480VAC21%to27%7.5%10%损耗9功耗分布越少越好:正常运行时间下费用降低，损耗降低三代OCP双机箱、双主板Source:Wired.com版本1专门为低气流阻碍而设计版本2的密度翻番，降低了功耗，依然采用同样的机箱版本3转向常见的功耗分布模式，进一步改善功耗利用10OCP在存储方面的进展早期设计为2U30张盘1或2个SAS扩展器Hyve推出了一款冷交换设计在“服务器撬”中，每个“服务器撬”中15张盘片，2U中共45张盘而今，前端嵌入了一枚微服务器11•与传统设计相比，OCP平均节省33%•智能转接卡及网络，进一步降低开销•双层数据大幅降低开销此处不包括间接开销节省OpenCompute节约运营成本12$-$50,000$100,000$150,000$200,000$250,000$300,000$350,000airpowerstaffComputeNetworkStorage提升效率来降低成本(每花费$1M)TraditionalOpenComputeOpenComputewithPMC安全地存放数据•新的数据保护模型所需节点数目比以前低，提供的数据保护功能绰绰有余，轻松编码３个备份•单单采用高层纠删码还不足以保证数据完整性安全地恢复数据•重建纠删码带来的网络和存储负担是原有数据集的22倍（10次读＋12次写）•采用带保护的存储节点，纠删码重建的频率可以忽略不计•所需节点更少，开销大大减少的情况下，即可实现[14,15]RAID5上的[10,12]纠删码重新定义数据保护13数据丢失的发生比纠删码开销增加倍数小时MTTRE.C.[10,12]1.21.34E-073.86E-073个备份开销增加倍数小时MTTRr^331.85E-105.37E-09双层编码开销增加倍数小时MTTRR5(14,15)+E.C.[10:12]1.276.78E-121.96E-10示例双层数据保护14PQ1…10…•将照片上传，收到相片的服务器将其切成[10,12]的块，并将每个块发给不同的主机•主机则在本地为数据块提供保护，这样一来，网络和相邻节点就不会受到驱动故障或读故障的影响成本与IOPs的交叉点需要高IOPs的情形•最适合于小业务负载，如DB、KVS元仓库等•所有I/O密集型负载都适用，如CDN和热对象高速缓存•冷闪存是我们发明的一个名词，用来描述不经常更新、但需要更新时速度很快的存储，以文件系统查核点及VOD应用为例15OCP“种类”尽情施展想象的舞台TypeI网络TypeIII数据中心TypeIVHadoopTypeV小文件存储TypeVI高速缓存TypeVII冷存储下一代发明主板WinterfelCPU(2)XeonE5-2670(2)XeonE5-2660(2)XeonE5-2660(1)XeonE5-2660(2)XeonE5-2660(2)XeonE5-2660SoC内存16GB144GB64GB96GB144GB144GBNVRAM存储启动3.2TBPCIFlash(15)4TBNL-SAS(30)4TBNL-SAS(1)2TBSATA(240)4TBSATASAS交换网络下一代(30)4TBNL-SAS(60)6TBSATA3.2TBPCIFlash(240)8TBSMRNVMe机架级标准构件模块，混搭使用以满足应用需求应用变更或增添时可以复用16高存储／计算比节省开支•一台主机上带有更多盘片可实现更高的三IOPS和吞吐量o常用数据为1:30，此时，PCIe总线基本上达到饱和o长尾数据为1:60，读延迟100%取决于PCIe的局限o冷文档为1:240，需要多台控制器来维持吞吐量17存储解耦合SAS联接Source:datacenterknolege.com图中所示为带有15张盘片的1UOpenVault系统，位置A上是一个SAS扩展器，主机电缆已移除1:15到1:240的配置也是采用相同的构件模块，所有的部件都可以复用18管理数目庞大的盘片•主机直联+易于安装及跟踪-线缆硬、连接器大•SAS交换的架构+灵活配比，减少布线，端口密度好-在热插拔的服务器方面有些问题亟待解决•IP交换的架构+采用现有的布线，从文档系统中减掉了一台服务器-大量使用微处理器来进行管理，可能在功耗及成本方面带来负面影响，在IP网络上运行块存储业务，系统不稳定。19总结:•考虑效率的原因o降低大规模数据中心的建造及运营成本•主要部件o气流精简简化构建需要o功耗分布自带直流UPS的高电压电力分配方案o服务器设计模块化构建模块，可依据应用需求随意组合o存储设计主机上盘片比日增•进一步降低成本o高级数据保护20Yttibrium暖存储的“酷”方案感谢您的聆听！