超融合技术白皮书

超融合技术白皮书01一、传统IT发展困境与面临的痛点二、超融合产生的背景与发展历史三、超融合的定义四、超融合技术架构及价值优势五、超融合的典型应用场景六、超融合实践指南七、超融合未来发展趋势展望1、业内主流的超融合厂商及产品简介2、超融合产业联盟介绍3、白皮书制作单位及人员附录目录第一章：传统IT发展困境与面临的痛点自上世纪90年代中后期开始，以大型机、小型机、大型数据库、集中式存储与业务高可用软件组成的IT架构适应了当时的数据大集中趋势，传统IT设备制造商在这一阶段得到了迅猛的发展，集中式的部署模式带来了对硬件性能、高可靠性及扩展性的需求增加。2003年左右，服务器虚拟化技术开始普及，以VMware为代表的虚拟化软件厂商引领数据中心由物理硬件数据中心向虚拟化数据中心转变。服务器虚拟化技术有效控制了数据中心内服务器数量规模的膨胀，提高了服务器的利用效率，并且，利用虚拟机迁移等技术大大降低了数据中心对服务器RAS特征的依赖。服务器虚拟化技术的大规模应用使得业务系统的部署呈现由Unix小型机平台迁移到x86+虚拟化+集中存储架构的趋势，x86刀片服务器+虚拟化+集中式存储阵列成为这一时期数据中心的主宰。主流传统IT架构如下图：■X86服务器虚拟化已经得到普遍应用和认可。小机用户集中在部分金融、医疗、和制造业等客户，而且因为成本高昂、架构封闭、不易运维等痛点，也正在逐步切换至X86服务器平台。同时客户普遍使用虚拟化技术来提高可靠性和可用性，提升了服务器的资源利用率。■使用集中式外部存储。服务器本地没有存储能力，通过FC交换机连接至集中式存储，集中式存储的特点是通过双控机头或者多控机头连接磁盘柜，所有IO路径通过机头来控制。其要特点是：02■以方案集成的形式交付。IT架构通常涉及众多厂商和品牌，设备种类多。通常由集成商做系统集成来交付完整解决方案，后续运维无法实现一个管理软件实现全部配置、管理、监控功能。随着企业业务规模的不断扩张，尤其是云计算大潮来临，IT平台的规模和复杂程度出现大幅度的提升，业务对IT基础架构的灵活性、可扩展性以及快速上线的能力提出了更高的要求，传统IT数据中心架构的弊端也逐渐显现，具体表现为：存储、服务器、网络安全设备三层堆栈部署存在明显的复杂性，需要对多层软硬件结构进行组装和调试，才能使其正常工作。首先，需要从网络设备厂商采购ToR（TopofRack，架顶式）交换机，然后从服务器硬件厂商采购服务器，再从存储厂商采购昂贵的存储设备，如果是FC存储，还需要在服务器上部署专门的HBA（HostBusAdapter，主机总线适配器）卡来提升访问性能，最后，使用Hypervisor软件管理平台实现虚拟机与业务系统的部署。上述IT建设模式导致设备供应商和设备种类繁多，用户需要花费大量的时间和精力准备大量复杂的基础设施，各种设备的配置相互独立，管理割裂，缺少统一的集中化IT构建策略，无法对数据中心内的基础设施进行统一的监控、管理、报告和远程访问，后期维护技术门槛高。传统存储根据机头控制器的能力分为高中低三档存储，低端存储通常支持200块硬盘左右的扩展能力，中端存储通常支持1000块硬盘左右扩展能力，高端存储通常支持5000块硬盘左右扩展能力。集中式存储扩展性受限，低端存储无法升级为中高端存储，不能实现随着计算资源扩展而自由地横向扩展。当客户业务量较小时，初期购买中低端存储，后续遇到业务量增加或者新上业务，存储性能和容量则无法满足客户需求，通常选择是再增加一台新的中低端存储，这样就造成了多存储平台之间的割裂，资源利用率底，管理复杂，无法满足上层业务对易用性和敏捷性的需求。如果客户初次购买高端存储，则又会遇到初次投入成本过高，设备利用率不足等问题。随着数据集中化及云计算成为主流建设模式，存储资源集中化，业务大规模部署及运维逐步成为刚需，传统存储在扩展性上受限，无法适应虚拟化数据中心弹性可扩展的未来要求，这是目前客户遇到的主要痛点之一。03(1)架构复杂，管理困难，策略分散(2)集中式存储扩展性差，造成了存储割裂及竖井化投资成本高：传统的存储与计算分离架构，需要配置独立的网络、存储和计算节点。为了提高系统整体高可用性，需要通过资源冗余的方式达到设计目标，包括存储网络设备的冗余、存储控制器的冗余、存储链路的冗余等，增加了数据中心的建设投资成本。运维成本高：随着IT规模的不断膨胀，数据中心内的服务器数量、网络复杂程度以及存储容量急剧增长，随之带来的是高昂的硬件成本支出以及运营成本支出（电力、制冷、占地空间、管理人员等），同时，应用系统的高可靠性严重依赖于硬件提供的RAS（ReliabilityAvailabilityandSer-viceability，可靠性、可用性和可服务性）特性，导致硬件产品规格不断提高，硬件采购成本极为高昂。新的服务器、存储设备和网络设备的部署周期较长，整个过程包括方案设计、硬件选型、多厂商采购、分批到货、上架安装、系统集成、网络配置、综合调试、业务部署等环节。一般情况下，这个过程需要的工作量约20～40小时，交付周期约2～5个月，IT系统从提交业务变更请求到进行运营变更之间存在较长的延迟，初期部署效率低。04(3)高昂的成本支出(4)业务部署速度缓慢05第二章：超融合产生背景和历史超融合基础架构（HCI）是一种软件定义的IT基础架构，可虚拟化传统“硬件定义”系统的所有元素。HCI至少包括虚拟化计算（hypervisor），虚拟化存储（软件定义存储，一般为分布式存储）和虚拟化网络（软件定义网络）。HCI通常在商用x86服务器上运行。毫无疑问，超融合在近年来已经成为IT基础架构领域最具颠覆性的架构之一，它不仅深刻改变着用户IT基础设施的采购和使用模式，更影响着整个IT基础架构市场的格局。而任何一项变革性的架构无不来自于两个方面的驱动力：从需求的角度，随着企业对信息系统建设越来越重视，以及IT业务系统持续为企业带来巨大效益，企业对IT基础架构投入也越来越大，如何以更低的成本获得稳定、高性能、易于维护、易于扩展的IT基础架构成为企业的持续需求。与此同时，IT基础架构的核心技术和产品也在快速的演进，对超融合架构产生影响的技术包含了CPU、分布式存储、SSD、服务器虚拟化和万兆网络在内几乎所有核心元素：■虽然x86虚拟化技术早在1998年就已出现，但在2005年CPU支持虚拟化技术之前，并不算十分流行；CPU虚拟化技术大力推动服务器虚拟化软件的发展；2007年VMware发布ESX3.5真正开始步向成熟。市场也看到服务器虚拟化具有颠覆性的优势，逐渐开始普及服务器虚拟化技术。到今天服务器虚拟化可以说成为企业数据中心必选技术之一，已经被广泛应用。服务器虚拟化技术解决了计算能力的密度提升与降低成本的问题。■随着业务规模扩大，越来越多的虚拟机、越来越多的数据，对集中式存储带来了非常大的压力。由于传统集中式存储性能受限于存储控制器，而存储控制器难以线性扩展，虚拟化程度高导致IO压力剧增，集中式存储难以负荷；此外传统存储的专有硬件架构，导致其维护成本高昂、升级困难、管理复杂，与此对应的分布式存储则避免了这些缺点。但分布式存储真正具备长足发展的原因是硬件技术的成熟。从2012年左右开始，企业级SSD逐渐成熟，使得不再需要大量堆砌HDD磁盘来获得性能提升。1.用户强烈的痛点和需求2.相关核心技术的演进和成熟(1)分布式存储发展(2)服务器虚拟化发展06■10Gb以太网普及成本下降，使分布式存储访问远程节点的性能与访问本地节点的性能差距大大缩小■8核甚至10核以上的CPU也开始普及，让服务器除了运行服务器虚拟化计算外，还有能力同时运行分布式存储软件。在此背景下，超融合架构应运而生，并不断演进，逐渐成为被越来越多人接受的主流基础架构建设方案。以下是根据年份整理的大事记：1998年——IBM发布第一个基于AIX操作系统的共享文件系统，GeneralParellelFileSystem，简称GPFS。2003年——Google公布GFS（GoogleFileSystem）技术细节。2004年——Ceph项目开始，提交了第一行代码。2006年——Hadoop发布HDFS分布式存储。2010年——Google宣布GFS下一代产品在2010发布，命名为Colossus。2011年——Nutanix发布NDFS分布式文件系统；Inktank公司成立，专门研发基于Ceph的分布式存储。2014年——Ceph社区受到各大厂商青睐，同时Inktank公司被RedHat公司1.75亿美元收购。1998年——VMware成立。1999年——VMwareWorkstation1.0发布。2001年——ESX1.0发布。2003年——VMwarevCenter1.0发布；Xen正式发布。2007年——VMwareIPO，发布ESX3.5；Qumranet研发和发布KVM。2008年——Redhat收购Qumranet，之后KVM开源。2013年——Xen宣布开源。2015年——VMware全球服务器虚拟化份额达到37.7%。07(3)x86服务器相关硬件发展(4)10Gb以太网发展(5)数据容量发展(6)超融合市场与厂家的发展2005年——Intel发布VT技术，支持CPU虚拟化功能。2008年——Intel发布6核CPU。2009年——OCZTechnology发布第一款1TB的SATA接口SSD，NANDFlash成本出现大幅度降低。2010年——Intel发布8核CPU。2012年——Intel发布企业级SSD3700，真正在性能和使用寿命上达到企业级要求。2002年——IEEE802.3ae发布10Gb以太网标准。2012年——10Gb以太网交换机每1000M的成本下降至1Gb交换机的1/3。1986年-2007年之间，全球数据量平均每年增长超过23%。2010年-2018年之间，全球数据量平均每年增长超过40%。2009年——Nutanix成立，开始投入产品研发。2011年——Nutanix推出首代超融合产品。2013年——联想、华三、SmartX、华云网际、Nutanix在中国纷纷推出超融合产品，标志超融合作为独立的产品形态出现在中国市场。2015年——IDC首次发布中国区超融合市场报告，厂商市场占有率排名依次为华三、华为、Nutanix、深信服、VMware、SmartX。2016年1月——联想发起成立中国超融合联盟，并担任第一届理事长单位，标志着中国超融合的元年开启。2016年——Nutanix成功IPO2016年——独立第三方研究机构Gartner在《MarketTrends:超融合OpportunitiesinChinaforGlobalVendors》系统报道了中国主流超融合厂商与超过上千节点的中国最大超融合案例。2017年——中国市场超融合厂商数量超过50家，超融合已经渡过概念炒作阶段，在越来越多的客户落地，成为数据中心重要组成部分。2018年4月——IDC发布2017年中国区超融合市场报告，指出2017年中国超融合市场总量相比2016年增长115.3%，达到3.79亿美元。08图2超融合架构第三章：超融合的定义在传统IT的基础上，延伸出来了融合系统。刚开始，融合系统是简单地物理上堆叠，有的厂商还为此提供了统一管理界面，但是各个部分的管理其实是分开的，从客户数据中心的运维管理维度上来讲，技术人员依然需要花费大量精力来关注于系统级的运维。随着服务器虚拟化的兴起，融合系统逐渐转化为SAN基础架构上跑服务器虚拟化，比如VCE的VBlock。即使有统一的管理界面，用户依然需要对存储、虚拟化或网络单独管理。从宏观上看，计算、网络和存储都融合在一块了，但实际上用户还需要对每一部分做单独管理，并没有实现让IT转向通过关注业务层面的响应来支撑业务发展的愿景。随着互联网与分布式存储的兴起，逐步出现了软件定义的解决方案，包括存储和网络。原来臃肿的SAN方案逐步被简化为基于X86系统的解决方案，不再需要SAN存储和SAN交换机，利用分布式软件让