华为FusionStorage技术白皮书

华为FusionStorage技术白皮书文档版本V1.1发布日期2013-04-151执行摘要/ExecutiveSummary本文从存储技术的发展趋势为切入点，结合用户需求，从高性能、高可靠、高扩展、易管理、兼容性等方面详细介绍了华为公司FusionStorage产品的功能及特点，旨在突出FusionStorage产品独有的亮点、应用场景以及为客户带来的价值。2简介/Introduction虚拟化与云计算技术正在引领IT技术的发展方向，越来越多的企业采用虚拟化与云计算技术来构建新一代IT系统，以提升IT系统的资源利用率，并在保证服务级别水平的前提下降低成本；同时帮助业务更加具有敏捷性，加速新业务的上线时间。然而，虚拟化与云计算技术的广泛应用也给后端的存储系统提出更加严峻的挑战。如：需要存储系统能够承载更多的业务、更高的性能与可靠性、更好的扩展性、保证关键业务服务级别水平并降低成本等。华为分布式存储软件FusionStorage采用创新的分布式软件架构，以高性能、高可靠、高扩展为其设计理念，充分满足企业未来业务需求，帮助其IT系统转型以更快更好地应对日益激烈的竞争环境，实现与客户的共同成长。3解决方案/Solution随着企业面临的竞争环境越来越激烈、新业务上线时间要求越来越短，其IT系统需要从传统的成本中心转变为提升企业竞争力的利器，帮助企业提升竞争力并实现商业成功。作为存放企业数据资产的存储系统，不但要满足业务所需要的高性能、高可靠等基本诉求，更要满足未来业务的发展、提升业务的敏捷性，帮助业务更快更好地适应竞争环境的需要。从IT业界发展来看，以下技术趋势正在影响存储行业的发展：虚拟化技术的广泛应用虚拟机技术给服务器带来更高的利用率、给业务带来更便捷的部署，降低了TCO，因而在众多行业得到了广泛的应用。与此同时，虚拟机应用给存储带来以下挑战：第一，相比传统的物理服务器方式，单个存储系统承载了更多的业务，存储系统需要更强劲的性能来支撑；第二，采用共享存储方式部署虚拟机，单个卷上可能承载几十或上百的虚拟机，导致卷IO呈现更多的随机特征，这对传统的Cache技术提出挑战；第三，单个卷承载多个虚拟机业务，要求存储系统具备协调虚拟机访问竞争，保证对QoS要求高的虚拟机获取到资源实现性能目标；第四，单个卷上承载较多的虚拟机，需要卷具有很高的IO性能，这对传统受限于固定硬盘的RAID技术提出挑战；第五，虚拟机的广泛使用，需要更加高效的技术来提高虚拟机的部署效率，加快新业务的上线时间。分布式存储技术的发展业界典型的分布式存储技术主要有分布式文件系统存储、分布式对象存储和分布式块设备存储等几种形式。分布式存储技术及其软件产品已经日趋成熟，并在IT行业得到了广泛的使用和验证，例如互联网搜索引擎中使用的分布式文件存储，商业化公有云中使用的分布式块存储等。分布式存储软件系统具有以下特点：第一，高性能：分布式哈希数据路由，数据分散存放，实现全局负载均衡，不存在集中的数据热点，大容量分布式缓存；第二，高可靠：采用集群管理方式，不存在单点故障，灵活配置多数据副本，不同数据副本存放在不同的机架、服务器和硬盘上，单个物理设备故障不影响业务的使用，系统检测到设备故障后可以自动重建数据副本；第三，高扩展：没有集中式机头，支持平滑扩容，容量几乎不受限制；第四，易管理：存储软件直接部署在服务器上，没有单独的存储专用硬件设备，通过WebUI的方式进行软件管理，配置简单。华为公司紧跟业界趋势，在充分掌握了用户需求的基础上推出华为FusionStorage分布式软件存储产品，该产品是专门为虚拟化与云计算环境而设计、面向一体化市场应用的新一代产品，融合了分布式哈希数据路由、分布式缓存、全局负载均衡、及多重数据保护等诸多存储技术，能够满足金融、电信、证劵、电力、石油等行业关键业务的需求，保证客户业务高效稳定运行的同时，提升业务的敏捷性与竞争力。3.1产品形态介绍3.1.1产品特点华为FusionStorage是一个分布式存储软件，在通用x86服务器上部署该软件把所有服务器的本地硬盘组织成一个虚拟存储资源池，提供块存储功能。FusionStorage分布式存储软件系统具有如下特点：领先的分布式架构。FusionStorage存储软件的采用全分布式的架构：分布式管理集群，分布式哈希数据路由算法，分布式无状态机头、分布式智能Cache等，这种架构使得整个存储系统没有单点故障。高性能和高可靠性。FusionStorage存储软件在所有磁盘中实现负载的均衡，数据打散存放，不会出现热点，高效的路由算法和分布式Cache技术保证了高性能。FusionStorage支持多个数据副本，每个副本分配在不同服务器/不同磁盘上，单个硬件设备的故障不影响业务。同时FusionStorage的强一致性复制技术确保各个数据副本的一致性，一个副本写入，多个副本读取。并行快速故障重建。数据分片在资源池内打散，硬盘故障后，可在全资源池范围内自动并行重建，重建效率高。易扩展和超大容量。FusionStorage的分布式无状态机头可横向扩展，存储与计算同步平滑扩容，支持非烟囱式超大容量扩展。计算存储深度融合。FusionStorage存储软件部署在挂载本地硬盘的服务器上，把各服务器的本地硬盘组织成一个虚拟的资源池，替代外置的存储设备，天然支持计算和存储设备的高度融合。3.1.2虚拟资源池FusionStorage把所有服务器的本地硬盘组织成若干个资源池，基于资源池提供创建/删除应用卷（Volume）、创建/删除快照等接口，为上层软件提供卷设备功能。FusionStorage资源池具有如下特点：每块硬盘分为若干个数据分片（Partition），每个Partition只属于一个资源池，Partition是数据多副本的基本单位，也就是说多个数据副本指的是多个Partition。系统自动保证多个数据副本尽可能分布在不同的服务器上（服务器数大于数据副本数时）。系统自动保证多个数据副本之间的数据强一致性。Partition中的数据以Key-Value的方式存储。对上层应用提供卷设备（Volume），没有LUN的概念，使用简单。系统自动保证每个硬盘上的主用Partition和备用Partition数量是相当的，避免出现集中的热点。所有硬盘都可用作资源池的热备盘，单个资源池最大支持96块硬盘。图3-1FusionStorage存储资源池3.1.3功能框架FusionStorage采用分布式集群控制技术和分布式Hash数据路由技术，提供分布式存储功能特性。FusionStorage功能架构图如下所示：图3-2FusionStorage功能模块存储接口层：通过SCSI驱动接口向操作系统、数据库提供卷设备。存储服务层：提供各种存储高级特性，如快照、链接克隆、精简配置、分布式cache、容灾备份等。存储引擎层：FusionStorage存储基本功能，包括管理状态控制、分布式数据路由、强一致性复制技术、集群故障自愈与并行数据重建子系统等。存储管理层：实现FusionStorage软件的安装部署、自动化配置、在线升级、告警、监控和日志等OM功能，同时对用户提供Portal界面。3.1.4应用场景FusionStorage是一款为FusionCube量身定做的存储软件产品，尤其适合计算和存储融合的系统，例如华为FusionCube融合基础设施。传统的虚拟化方式是在相互分离的计算、存储和网络设备上叠加了一层虚拟化软件。这种方式虽然可以提升资源利用率，但是由于系统的复杂性，并不能简化各类基础设施的运维成本。华为FusionCube真正实现了计算、存储和网络设备的深度融合，硬件设备与虚拟化软件平台的一体化。FusionCube采用FusionStorage把计算服务器的本地硬盘组织成一个类似SAN设备的虚拟存储池，对上层应用提供存储功能。FusionStorage在FusionCube场景中的上下文环境如下图所示：图3-3FusionStorage上下文环境在FusionCube虚拟化平台中，FusionStorage替代了传统的外置存储设备。适合使用FusionStorage的应用场景：VDI、OA应用。其典型特点是：容量共享精简分配、性能共享分时复用、计算和存储配比相对均衡、成本性价比要求高。虚拟化环境混合应用。其典型特点是：容量共享需求明显、多应用混合负载、线性扩展。OLAP应用。其典型特点是：大并发吞吐量，计算和存储带宽要求高。OLTP应用。其典型特点是：IOPS并发度高。图3-4FusionStorage应用场景3.2产品特性介绍3.2.1性能卓越FusionStorage通过创新的架构把分散的、低速的SATA/SAS机械硬盘组织成一个高效的类SAN存储池设备，提供比SAN设备更高的IO，把性能发挥到了极致。FusionStorage支持使用SSD替代HDD作为高速存储设备，支持使用Infiniband网络替代GE/10GE网络提供更高的带宽，为对性能要求极高的大数据量实时处理场景提供完美的支持。分布式机头FusionStorage采用无状态的分布式软件机头，机头部署在各个服务器上，无集中式机头的性能瓶颈。单个服务器上软件机头只占用较少的CPU资源，提供比集中式机头更高的IOPS。分布式缓存FusionStorage实现了计算和存储的融合，缓存和带宽都均匀分布到各个服务器节点上。FusionStorage集群内各服务器节点的硬盘使用独立的I/O带宽，不存在独立存储系统中大量磁盘共享计算设备和存储设备之间有限带宽的问题。FusionStorage将服务器部分内存用作读缓存，NVDIMM用作写缓存，数据缓存均匀分布到各个节点上，所有服务器的缓存总容量远大于采用外置独立存储的方案。即使采用大容量低成本的SATA硬盘，FusionStorage仍然可以发挥很高的IO性能，整体性能提升1~3倍，同时提供更大的有效容量。图3-5FusionStorage计算和存储融合全局负载均衡FusionStorage的实现机制保证了上层应用对数据的IO操作均匀分布在不同服务器的不同硬盘上，不会出现局部的热点，实现全局复负载均衡。第一，系统自动将数据块打散存储在不同服务器的不同硬盘上，冷热不均的数据会均匀分布在不同的服务器上，不会出现集中的热点。第二，数据分片分配算法保证了主用副本和备用副本在不同服务器和不同硬盘上的均匀分布，换句话说，每块硬盘上的主用副本和备副本数量是均匀的。第三，扩容节点或者故障减容节点时，数据恢复重建算法保证了重建后系统中各节点负载的均衡性。分布式SSD存储FusionStorage支持为高性能应用设计的分布式SSD存储系统，拥有比传统的机械硬盘（SATA/SAS）更高的读写性能。华为SSD卡具有如下特点高带宽：采用PCIe2.0x8的接口，提供高达3.0GB的读/写带宽。高IO：4KB数据块，100％随机，提供高达600K的持续随机读IOPS和220K的持续随机写IOPS。FusionStorage分布式SSD存储系统通过以下措施增强了可靠性：内嵌的ECC检错/纠错引擎和RAID5引擎,数据通道间形成二维的检错/纠错机制。内置DATAScrubbing引擎定时检测存储数据，提前预防数据错误的产生。通道间使用DynamicRAID算法，实现通道间的资源共享，确保在芯片坏块过多甚至是多个芯片故障的情况下均能正常工作。内部实现冷热数据分类与管理，配合先进的磨损算法，最大程度上提升回收效率，降低写磨损，从而提升SSD的使用寿命。图3-6FusionStorage支持分布式SSD存储系统高性能快照FusionStorage提供了快照机制，将用户的逻辑卷数据在某个时间点的状态保存下来，后续可以作为导出数据、恢复数据之用。FusionStorage快照数据基于DHT机制，快照不会引起原卷性能下降。针对一块容量为2TB的硬盘，完全在内存中构建索引