集群存储

集群存储内部交流数据处理存储需求如何保证以全局命名空间的方式访问共享存储？如何保证海量数据的可靠？如何实现扩容时业务不中断？如何保证性能随存储规模线性增长？现有存储架构•基于SAN架构存储产品•基于NAS架构存储产品FCSAN控制器控制器磁盘磁盘FS客户端FS客户端FS客户端………高性能集群计算节点…高速以太网络FS客户端SAN+SAN文件系统架构基于SAN架构存储产品现有存储系统架构一：高端SAN+共享文件系统FCSAN控制器控制器磁盘磁盘FS客户端FS客户端FS客户端…控制器成为系统瓶颈，多任务并发时性能瓶颈立刻凸显出来方案相对复杂，用户掌握部署管理困难价格昂贵元数据服务器大多以A/B的方式存在，元数据节点已成为整个系统的瓶颈SAN架构为通用架构更适用于数据库等基于高IOPS应用的块级应用……高性能集群计算节点…高速以太网络FS客户端FCSAN控制器控制器LUNnLUN1…IP网络NAS机头+SAN架构基于NAS架构存储产品二：NAS头+SAN，或集群NASFCSAN控制器控制器LUNnLUN1…NAS头一般为2～4个，整体输出带宽受限SAN结构的控制器只为NAS机头提供服务，制约了整个性能的提升。无法提供全局命名共享NAS机头架构为通用文件系统，更适用于企业，机关等其于文件读取，管理的应用IP网络现有存储系统架构现有主流集群存储产品•Lustre•IsiLon•Panasas•龙存Lustre架构Lustre优劣优点：•基于通用服务器•可从网上得到开源代码•国内大多集群文件系统多来自Lustre缺点•元数据以A/B方式存在，不适应多文件操作•由于是开源方式，还存在很多BUG•客户端挂载还需要修改内核IsiLon架构NFS,CIFS,FTP,HTTPClient/ApplicationLayerStandardGigabitEthernetLayerIsilonIQClusteredStorageLayerIntraclusterCommunicationInfiniBandLayerWindowsUNIX/LINUXMAC(optional2ndswitchforadditionalsubnet)(optional2ndswitchforhighavailability)IsiLon优劣优点•不区分存储结点与元数据节点•存储结点后端采用InfiniBand•强大的软件功能如：快照，异地复制等•安装简单•支持NFS、CIFS挂载客户端缺点•价格相对于国内产品较高•功能需要许可•单套设备存储空间大，容易误导客户Panasas架构NFSCIFSPanasas优劣优点•基本IsiLon相当，采用了刀片方式，更加节省机架空间缺点•价格相对比IsiLon还贵龙存架构龙存优劣优点•采用通用服务器做为存储与元数据节点•性价比高•采用数据分布方式，每块盘的速度约为70MB/s•元数据采用2，2配对方式，可就对多文件应用缺点•使用专用文件系统挂载存储，对客户端有内核要求•裸容量为使用容量的1倍集群存储应用方向•HPC高性能计算•非线编系统•基于WEB2.0网站数据存储•档案数据管理•所有基于文件应用的数据应用