高性能计算平台中StorNext并行文件系统及存储解决方案

整理文档很辛苦,赏杯茶钱您下走!

免费阅读已结束,点击下载阅读编辑剩下 ...

阅读已结束,您可以下载文档离线阅读编辑

资源描述

StorNext高性能工作流与智能归档P00214业务目标•降低业务工作流程的复杂性•扫除数据共享障碍•统一基础设施,把产品更快推向市场文件文件文件分发Windows处理MacOS摄取UNIX处理Linux文件文件延迟延迟延迟延迟延迟P00214业务目标•降低业务工作流程的复杂性•扫除数据共享障碍•统一基础设施,把产品更快推向市场•简化数据保留和IP保护•已更低的成本保存更多的文件和更大的文件•实现资产保护的自动化•提供不禁止数据访问的解决方案(不适合选用脱机存储)File文件文件文件文件文件文件P00214Quantum解决方案StorNext:高性能工作流与智能归档•简化数据共享,加快工作流程•创建一个高速共享存储池•提供多GBps吞吐率的SAN访问•为较低成本的系统提供弹性的LAN访问•降低存储成本和复杂性•把存储统一到多层归档中•利用iMover™技术自动、透明地移动文件•保护现场和场外数据•保护用户的选择自由性•开放式架构支持最广泛的平台共享处理高速摄取文件分发保留/重用P00214更快地完成项目StorNext:加速工作流程•创建一个高速共享存储池•整合“存储孤岛”以降低成本•可扩展的吞吐率•可根据数据类型进行调谐•增强协作•使文件可供所有主机访问以减少延迟•支持并行处理以节省时间总计12小时文件文件文件分发Windows处理MacOS摄取UNIX处理Linux文件文件延迟延迟延迟延迟延迟P00214更快地完成项目StorNext:加速工作流程•创建一个高速共享存储池•整合“存储孤岛”以降低成本•可扩展的吞吐率•可根据数据类型进行调谐•增强协作•使文件可供所有主机访问以减少延迟•支持并行处理以节省时间“使用StorNext,过去需要10-12小时的作业现在不到3小时即可完成…”LucTrudel,DigitalGlobeIT运营总监MacSANStorNext流程总计3小时FileUNIXWindows共享处理保留/分发高速摄取文件LinuxP00214更快地完成项目StorNext架构–共享文件系统•用于存储数据的结构•维护用户创建的文件/文件夹•确定数据写入的位置•管理文件权限•管理对文件或文件不同部分的锁定和同时访问•在服务器上运行•Interfacetostorage•通过FC或iSCSI使用直接连接•配置在混合操作系统环境中使用的访问权限MacUNIX文件Windows元数据控制器P00214更快地完成项目StorNext架构–共享文件系统•元数据控制器(MDC)•管理访问的交通警察•告诉服务器读写的位置•协商同时访问•确保服务器不会访问陈旧信息•可选的故障切换功能•通过LAN进行通信•服务器把I/O请求传递给MDC•MDC告诉服务器读写的位置•数据通道直接横跨SAN•消除NAS中的瓶颈MacUNIXLinux文件Windows元数据控制器通过LAN请求元数据P00214更快地完成项目StorNext架构–MDC故障切换•如果主MDC不可用,备用MDC将接管操作任务•系统停机•网络连接丢失•系统处于部分可用状况•传输所有操作•文件系统•StorageManager•STONITH保证故障切换•STONITH(ShootTheOtherNodeInTheHead)•MDC完全关闭和重新启动•保证防止“分脑”的唯一可靠的跨平台方法MacLinux文件Windows元数据控制器通过LAN请求元数据备用元数据控制器!P00214更快地完成项目StorNext:分布式LAN客户端•将协作扩展到SAN之外•允许扇出到较低成本的LAN服务器和处理库(farm)•利用集群网关增加正常运行时间•利用专用通信协议提供不打折扣的性能SAN结构为吞吐率最敏感的应用提供直接SAN访问为较低成本的LAN系统提供网关管理的访问LAN050100150200250300350NFS(2x1Gb)LANClient(1x1Gb)LANClient(2x1Gb)SANClient(2x4Gb)Throuhput(MB/s)P00214之前….之后….文件MDCLAN网关元数据请求LAN客户端StorNext客户端应用程序应用程序文件MDCStorNext客户端元数据请求应用程序应用程序客户应用程序延迟最低,吞吐率最高应用程序客户应用程序延迟更高,吞吐率更低更快地完成项目StorNext:分布式LAN客户端P00214更快地完成项目StorNext:灵活且可扩展•与您的企业同步扩展•支持数PB数据•不受操作系统限制的数据共享•非破坏性客户端添加•满足企业正常运行时间需求•控制系统的故障切换•多路径存储•容量的联机扩展•磁盘阵列的联机更换透明添加容量迅速更换存储P00214智能归档StorNext:降低存储成本和复杂性•创建一个多层归档•随时间推移将文件存储在成本较低的存储上•减少所需的高端磁盘的数量•为重用、收入生成活动提供数据访问•移动几乎任何地方的数据•高性能磁盘、高价值磁盘、磁带和外部设备(包括NAS)•iMover™技术使移动过程自动化,简化操作•丰富策略引擎,可根据您的需求进行自定义高性能磁盘不断增加的数据文件许多昂贵磁盘P00214•创建一个多层归档•随时间推移将文件存储在成本较低的存储上•减少所需的高端磁盘的数量•为重用、收入生成活动提供数据访问•移动几乎任何地方的数据•高性能磁盘、高价值磁盘、磁带和外部设备(包括NAS)•iMover™技术使移动过程自动化,简化操作•丰富策略引擎,可根据您的需求进行自定义“使用StorNext,我们的年度存储成本降低了300%以上…”Tier1MediaCompany一半昂贵磁盘一半经济型存储智能归档StorNext:降低存储成本和复杂性文件P00214智能归档StorNext架构–StorageManager•iMover数据移动软件•透明地把文件复制到其它存储•可自定义的策略定义数据驻留的时间和位置•存储不同版本并创建多个副本,以提供现场和场外保护•元数据控制器提供数据移动•运行iMover软件•维护与所有归档存储的连接MacLinuxWindows元数据控制器File文件文件P00214智能归档StorNext:简化数据管理和重用•将各存储层统一到一个卷中•虚拟化数据位置,简化数据访问•iMover™将数据移至其它层,以降低存储成本•在需要时把数据拖回磁盘SAN结构File整合存储层文件P00214•也提供重新定位功能•iMover™把数据重新定位到成本较低的高价值磁盘•服务器仍然可以直接访问数据•在工作流环境中用于控制成本和维护磁盘速度的访问SAN结构FileStorNext系统高价值磁盘高性能磁盘文件智能归档StorNext:简化数据管理和重用P00214智能归档StorNext:灵活且可扩展•与需求同步扩展•容量可从TB级扩展到PB级•允许透明添加辅助存储•支持WORM磁带,以保护内容•可根据您的环境自定义•利用第三方技术(例如复制)的NAS插件技术•创建仅磁盘归档,以简化操作•通过数据重复删除扩展成本控制•最小化存储文件所需的容量业界首创!P00214智能归档策略–数据迁移•复制数据•磁盘到磁带•磁盘到存储磁盘•磁盘到DRS•基于文件属性•时间:上次访问后的时间•地点:文件的大小•定义保护级别•副本的数量•1到4个•可以是磁盘和/或磁带•哪些磁带库•基于磁带池•在目录级应用MyFileinDirNormal大小100GB上次访问:2天RAID条组ANormalNFS/storeATADiskATADiskStorNext策略条组B文件文件T0T2小时客户端从RAID访问数据文件策略:NormalDirNormal:大小:任何上次访问:2小时目标:磁带池A磁盘/存储副本数:1磁带1磁盘P00214智能归档策略–增强型存储(可选)•分组数据移动•在复制到辅助存储之前对文件进行排队•基于•复制前要排队的MB/GB数•复制前的最大等待时间•改善磁带机使用•确保磁带机连续运转以改进性能•消除磁带机起停(shoe-shining)磨损MyFileinDirNormal大小100GB上次访问:2天RAID条组ANormalNFS/storeATADiskATADiskStorNext策略条组BT0T2小时客户端从RAID访问数据策略:Normal最小数据集大小:10GB最大数据集寿命:12小时FileFile文件P00214智能归档策略–重新定位(可选)•移动数据•磁盘到磁盘•文件可供用户直接访问•移动是透明的•基于文件属性•时间:上次访问后的时间•优点•磁盘的访问性能•每GB成本低于高端RAID•数据已经在磁带上得到保护MyFileinDirNormal大小100GB上次访问:4天RAID条组ANormalATADiskATADiskStorNext策略条组B策略:Normal文件列表:x,y,z上次访问:4天目标:SGB文件T4天客户端可以直接从ATA磁盘访问数据文件必须重新调用到上次磁盘位置NFS/store文件文件P00214智能归档策略–截断•从磁盘删除前的时间•所有副本皆必须存储•文件可以排除在外•位置对客户端仍然是透明的•只让文件成为截断候选对象•在水印处从磁盘最终删除•要在删除后访问文件,则必须恢复到主磁盘MyFileinDirNormal大小100GB上次访问:4天RAID条组ANormalATADiskATADiskStorNext策略条组B在磁盘上存储的时间:10天T10天文件文件NFS/store文件文件P00214智能归档水印–当数据真正从磁盘删除时时间磁盘容量100%0%(高水印)85%(低水印)75%时间A:定期迁移时间B:定期截断C:溢出脚本截断D:未到达低水印E:高优先级迁移F:溢出脚本截断P00214•通过Quantum的数据重复删除技术最小化数据占用空间•在块级分解文件,并且只存储文件的唯一部分•随着时间推移,需要存储的数据越来越少•较之其它方法节省的容量更大,因为它基于您的数据$$$$SavingsTimeTotalGBStoredInformationStore2000190016001400120010008006004002000200019001600140012001000800600400200020001900160014001200100080060040020002TBtotalinformationstoredinrawform智能归档StorNext:数据缩减存储原始容量使用DRS容量使用表示使用DRS节省的容量P00214智能归档StorNext:集成数据保护•保护数据并提供更快、更简便的数据恢复•创建文件的副本以提供数据保护•将每个归档副本保存为时间点文件版本•如果文件已被修改、删除,允许回滚•将文件存库以用于场外灾难恢复•运行数据完整性检查以保证归档的数据不会被损坏或修改FileDay1FileCopy2Copy1第30天RevTxCurrentRevCurrentRevRevTxCurrentRevP00214智能归档版本控制和删除文件恢复•版本控制•在更新时,新版本由迁移策略进行管理•旧版本同样也将保存,直至“最大版本数”设置•通过CLI调用访问版本•删除文件恢复•允许恢复已删除的文件•可在包含文件的介质被清除之前执行•通过CLI调用访问已删除的文件在文件修改时,存储并跟踪每个版本文件AT0FileAT0文件写入T2天文件A’文件AT0文件AT2天文件更新T90天文件AT0文件AT2天在已清除的磁带“恢复删除”之前,这些版本仍然可用文件删除P00214智能归档验证正在访问的数据的质量•完整性检查•支持数据质量验证的策略功能•在复制到辅助存储之前运行校验和•在检索期间运行校验和,并与初始校验和进行比较•如果比较失败,将生成RAS通知单•StorNext自动检索下一个副本(如果可用)•防止访问已损坏的数据•检查场外/归档数据的退化情况•检查复制到辅助存储期间的错误高性能磁盘高价值磁盘电子仓库归档层iMover

1 / 44
下载文档,编辑使用

©2015-2020 m.777doc.com 三七文档.

备案号:鲁ICP备2024069028号-1 客服联系 QQ:2149211541

×
保存成功