Isilon集群存储介绍

Isilon集群存储介绍第1页Isilon集群存储介绍2009-05Isilon集群存储介绍第2页目录ISILON集群存储介绍.......................................................................................3 开放式架构.................................................................................................................3 分布式操作系统..........................................................................................................9 统一命名空间...........................................................................................................11 易管理......................................................................................................................13 负载均衡...................................................................................................................14 高性能......................................................................................................................14 ISILON集群存储四大特点..............................................................................17 易于安装和维护........................................................................................................17 性能非常好...............................................................................................................17 数据安全性高...........................................................................................................17 数据利用率高...........................................................................................................25 Isilon集群存储介绍第3页Isilon集群存储介绍在上一期集群存储介绍中，我们提到了六个特征，分别是：z开放式架构 z分布式操作系统 z统一命名空间 z易管理性 z负载均衡 z高性能 针对以上六个特征，本期将详细介绍一家集群存储产品：美国赛龙集群存储系统有限公司（ISILON）。美国赛龙集群存储系统有限公司是2001年成立于美国西雅图，并由美国红杉投资集团投资，专门面向集群存储领域的存储提供商；2006年在NASDAQ上市，2007年十月进入中国市场，目前在中国市场有比较多的客户，主要集中在能源、媒体、高性能、生命科学等领域。2008年Gartner的统计数据显示，Isilon在scale-outNAS领域处于遥遥领先的位置，技术上至少领先同类厂家五年以上。开放式架构首先，需要解释一个概念，scale-up和scale-out是什么？Scale-up和scale-out技术都是从服务器领域衍生出来的概念。在服务器领域，从早期的mainframe到Unix小型机到现在昀为流行的集群架构，就经历了从scale-up架构到scale-out架构的转变。开始的mainframe和Unix小型机都是标称昀大可以支持若干CPU和若干内存，但是实际购买时，却不会一次到位，而是按需扩展，比如第一次先买4个CPU，8G内存。过一两年以后，扩展到8个CPU和16G内存；当某一天达到此系统的上限以后，服务器的处理能力就不能通过在原来服务器里面扩展CPU和内存来实现了，而只能购买新的服务器来实现。这种架构就叫做scale-up架构，其含义就是设备处理能力上限在购买时已经确定，如果需求超过上限，只能重新购买更高性能的设备。现在流行的集群架构是完全采用了积少成多，采用搭积木的方式来实现高端服务器的处理性能。构成集群系统的个体本身性能并不高，但是通过把成百上千台个体聚合起来，其提供的Isilon集群存储介绍第4页处理能力就可以比高端的服务器还要高。目前世界上昀快的计算系统，就是采用这种架构来完成的。这种采用搭积木模式搭建起来的系统采用的就是scale-out的架构。这种scale-out架构本身就是一种开放式的架构。当把这种架构移植到存储设备上，就形成了scale-out架构的存储。ISILON公司的集群存储作为scale-outNAS领域的领头羊，具有如下的架构特点：如图所示，Isilon集群存储分为三个组成部分：z前端网络ISILON集群存储前端网络目前采用千兆以太网，接入客户现有环境的核心交换机内部。在可见的将来，如果万兆网成为主流，ISILON集群存储也将提供万兆接入端口。z存储节点ISILON集群存储的存储节点分为五大系列（其中S，X，NL三大系列又被称为平台节点，Accelerator和EX扩展节点又被统称为扩展节点），十四小类：„ISILONIQS系列：包括一小类产品，5400S，采用15000转SAS硬盘，两个四核intelCPU，8G内存。每节点的存储容量为5.4TBIsilon集群存储介绍第5页„ISILONIQX系列：包括六小类产品。„ISILONIQNL系列：包括一小类产品。Isilon集群存储介绍第6页„ISILONIQAccelerator：包括三小类。1G加速器和10G加速器备份加速器Isilon集群存储介绍第7页„ISILONIQEX扩展节点：包括三小类。通过任意的组合，可以达到单独扩展容量（使用平台节点+EX扩展节点），单独扩展性能（使用Accelerator节点）和即扩展性能也扩展容量（使用同型号的S，X，NL系列节点）。因为ISILON集群存储的架构特点，决定了性能和容量同步增长的特点。Isilon集群存储介绍第8页ISILON集群存储的架构，决定了参与其中的所有节点在集群里面的地位平等，没有主次、先后，元数据、数据的区分，因此大大降低了出现数据热点的概率。z后端网络目前ISILON集群存储架构支持SDR、DDR和QDR的infiniband交换机。支持的厂家包括flextronics，Qlogic，CISCO，Voltire等。Isilon集群存储介绍第9页分布式操作系统ISILON是软硬件一体的解决方案提供商，其底层硬件结构是基于一种开放式结构的（参见上节，开放式结构）。硬件层之上是ISILON拥有完全版权的操作系统OneFS，它既是操作系统又是文件系统，是一种全分布的操作系统。OneFS是Isilon已经提出专利申请的分布式文件系统，为IsilonIQ提供了核心智能特征。OneFS通过使用一个分布式锁管理器、一个缓存和一个维持集群内全局一致性的区域管理器，来保持节点的同步。正是由于这种整个集群节点间的全局一致性，避免了访问文件系统时的单点故障。集群内的任何一个节点都能处理读写要求，都能代表整个文件系统的功能特色。集群内的所有节点都具有同等地位，因此整个系统是完全对称的，克服了节点的等级差异和内在的瓶颈。其他存储系统通过RAID和卷管理层来传输数据，产生了数据布局的低效率。而OneFS直接在单独的磁盘上控制文件的布置，通过优化文件在集群上的分配，极大地改善了磁盘子系统的性能。通过以一个文件接着一个文件的方式在磁盘上布置数据，OneFS能在卷、目录甚至是文件的层级上来控制存储系统的冗余水平。OneFS还有其他几个特点和好处。FlexProtect-AP™软件提供了昀新的功能性，能在短时间内重建发生故障的磁盘，利用整个集群内的空余存储空间来规避数据丢失的风险，主动地监控和抢先将数据从有风险的组件迁移出去。传统的企业存储系统将等值重建操作局限在存储Isilon集群存储介绍第10页系统的子集内进行，这导致出现了恢复的瓶颈，增加了重新保护数据的时间，大大增加了当单个组件发生故障时数据丢失的风险。传统的RAID-5等值保护如果在重建工作完成之前如果出现多个组件故障，就会引起数据丢失。相比之下，FlexProtect-AP能自动地将所有的数据和错误更正信息分布到整个集群上，其高效可靠的错误更正技术保证了所有的数据保持完整，即使在同时出现多个组件故障的情况下也能被方便地被存取。在OneFS之外，有五个需要单独付费购买的模块：zSnapShotIQ：ISILONSnapShotIQ提供了秒级快照的解决方案，和其他厂商的快照方案不同的是，snapshotIQ是基于目录或者子目录层次做快照；而且每个目录可以维护高达1024个快照；做快照不需要预留空间。zSmartConnect：SmartConnectIQ提供了前端网络的负载均衡模式，可以提供roundrobin，CPU忙闲，网络吞吐量，网络连接数等四种均衡策略。另外对于NFS协议，SmartConnect提供了基于NFS协议的的IPfailover方式，提供了对TCP连接的容错。zSmartQuotas：ISILONsmartquotas是空间访问限额模块，通过此模块可以对目录和用户实现空间限额。另外此模块，可以非常容易的加入客户环境中现有的AD，NIS，LDAP等用户控制域，更好的提供基于用户的访问空间限额。另外还可以提供thinprovisioning的功能，实现跨用户空间的共享。zAsperaforISILONIQ：此模块提供跨城域网WAN，快速数据同步的机制。zSyncIQ：ISILONSyncIQ是用于异地容灾的模块，可以在两个集群存储之间同步数据。zOcarinaforISILONIQ：此模块提供de-dup的功能。传统的文件系统使用集中服务器来管理多个存储资源，致使出现了存储系统内的依赖性，故Isilon集群存储介绍第11页障点和热点。使用OneFS操作系统软件，Isilon集群存储系统内的每个节点享有同等地位，因此任何节点都能处理请求。OneFS使用Infiniband®进行集群内通信和同步，使用拥有专利的B-tree技术，将所有数据(包括元数据)完全并行的分布到所有节点中，这样每个节点都清楚整个文件系统的布局，以及每个文件和文件部分存放在哪个地方，不需要专门的元数据服务器，从而杜绝了其他存储架构出现元数据服务器热点问题。在使用过程中，可以根据应用的需求，随时调整客户端可访问存储节点的数量。例如在网段一中，作业分为paradigmgroup1和paradigmgroup2，其中paradigmgroup1要求完成的时间更紧张些，通过实时的调整配置，而把尽量多的存储节点的数量优先让给group1的作业使用；如上图所示，可以调整配置，对于时间要求不太紧的paradigmgroup2作业，可以只让访问三个节点，而其他全部节点的处理能力都由pa