EMC Isilon横向扩展存储解决方案

1©Copyright2011EMCCorporation.Allrightsreserved.云计算大数据EMCIsilon横向扩展存储解决方案技术顾问经理：杨峰[e-mail]138114601542©Copyright2011EMCCorporation.Allrightsreserved.现有计算环境的挑战•计算系统以超级计算机、集群或者网格为主•多核计算迅速发展，物理机能力越来越强，原有的资源管理与调度器基于物理机，对于调度准确度要求更高–静态调度：基于系统负载状态和作业信息将调度作业到物理机器上–难以满足突发、批处理、CPU密集型、数据密集型等不同类型的作业对于不同的物理资源的需求如果作业类型与机器资源不匹配，会导致作业运行效率低。–如果采用多队列调度，又会导致队列之间的共享问题•计算应用越来越多样化，但是传统调度系统的接口单一、不易扩展，严重限制了应用推广•基于集群或者网格构建分布式“私有云”，以按需定制的模式提供服务，可满足应用日益增长的多样性和广泛性的需求•遗留程序越来越多，老操作系统和软件与新硬件无法配合，全部移植几乎不可能–如不能兼容，原有宝贵的数据无法读取和分析•引入虚拟化技术3©Copyright2011EMCCorporation.Allrightsreserved.现有存储环境的挑战•存储以高性能并行文件系统为主•容量管理–PB成为基本配置，10PB-20PB已经非常常见•文件管理–文件数量越来越多，数千万至10亿级别•设备老化–硬盘、电源等部件频繁出错，导致服务中断•元数据问题–可靠性–性能瓶颈•扩容问题–大规模数据迁移•引入云存储技术！–EMCIsilon4©Copyright2011EMCCorporation.Allrightsreserved.对云存储的需求•海量数据存储，轻松管理PB级乃至数十PB的存储空间•全局命名空间，所有应用看到统一的文件系统视图•支持标准接口，应用无需修改直接运行•读写性能优异，聚合带宽高达数GB乃至数十GB•易于管理维护，无需中断业务即可轻松实现动态扩展•基于开放架构，可以运行于任何开放架构的硬件之上•多级数据冗余，支持硬件与软件冗余保护，数据高可靠•多级存储备份，灵活支持SSD、SAS、SATA、磁带库统一管理5©Copyright2011EMCCorporation.Allrightsreserved.提纲EMCIsilon产品介绍EMCIsilon存储解决方案总结6©Copyright2011EMCCorporation.Allrightsreserved.内容概括您将从中了解：•EMCIsilon产品技术特性•如果您的业务系统需要使用横向扩展架构，Isilon哪个型号/功能是您所需要的7©Copyright2011EMCCorporation.Allrightsreserved.大数据时代已经到来地球物理勘探医学成像视频监视移动传感器视频渲染基因测序智能电网社交网络电子支付8©Copyright2011EMCCorporation.Allrightsreserved.大数据时代的横向扩展架构VS纵向扩展架构纵向扩展架构横向扩展架构Faster…………………………………………………………….Slower…………………………………………………………….TRAINSTOPS!!!!!!!!!!!!TRAINKEEPSGOING!!9©Copyright2011EMCCorporation.Allrightsreserved.OneFS操作系统最佳的企业级大数据存储——OneFS7.02012/11/26GA超大容量（20PB+）安全性高卓越性能数据保护可预期的性能互操作性操作简便应对快速增长EnterpriseSCALE-OUT10©Copyright2011EMCCorporation.Allrightsreserved.CoreInnovation…IsilonOneFSScale-Out系统•••••11©Copyright2011EMCCorporation.Allrightsreserved.Scale-OutNASPerformanceOneFS7.0性能新特性106GB/s并发吞吐降低50%延迟724MB/s单流EnterpriseIT性能考量随机/IO密集型BigData性能考量吞吐1.6MIO/sSPECsfs2008benchmark12©Copyright2011EMCCorporation.Allrightsreserved.线性扩展性20PB单一文件系统(144nodes，4TBSATA盘)最大并发吞吐性能=106GB/sec13©Copyright2011EMCCorporation.Allrightsreserved.Isilon典型架构NFS,CIFS,FTP,HTTP客户端/应用端层标准的网络层千兆/万兆Isilon集群存储层集群存储内部通讯InfiniBand层WindowsUNIX/LINUXMAC(optional2ndswitchforadditionalsubnet)(optional2ndswitchforhighavailability)14©Copyright2011EMCCorporation.Allrightsreserved.Isilon产品家族Scale-outNASproductfamily性能和容量同时线性扩展适用于IOPS密集型应用的高性能解决方案S200高并发高吞吐的解决方案X200X400成本优化的大容量扩展解决方案NL400S-SeriesX-SeriesNL-Series15©Copyright2011EMCCorporation.Allrightsreserved.IsilonS200配置可选项16©Copyright2011EMCCorporation.Allrightsreserved.2RU2.5”10KRPMSASHDDDualIBPorts2x10GECard2x1GEportsVGA(HD15)IPMIServicePortConsolePort(DB9)USB(x2)PowerReceptaclesIsilonS200–前后视图17©Copyright2011EMCCorporation.Allrightsreserved.18©Copyright2011EMCCorporation.Allrightsreserved.2RU3.5”7.2KRPMSATAHDDDualIBPorts2x10GECard2x1GEportsVGA(HD15)PowerReceptacles(Nema5-15R)IPMIServicePortConsolePort(DB9)USB(x2)IsilonX200–前后视图19©Copyright2011EMCCorporation.Allrightsreserved.20©Copyright2011EMCCorporation.Allrightsreserved.IsilonX400–后视图1243567812435678PowersuppliesBatteriesPowerswitchUSBportsSerialportGigabitEthernetexternalnetworkportsOptionalexternalnetworkportsInfinibandinternalnetworkports21©Copyright2011EMCCorporation.Allrightsreserved.22©Copyright2011EMCCorporation.Allrightsreserved.IsilonPlatform扩展节点性能加速器•2颗4核CPU•8/32GB内存•无硬盘•2个万兆高速端口或2个千兆端口•加入集群时间低于15秒•用于增加集群对外服务的吞吐/IOPS23©Copyright2011EMCCorporation.Allrightsreserved.IsilonPlatform扩展节点备份加速器•2颗4核CPU•8GB内存•无硬盘•4个4GbFC端口•支持NDMPV3/V4•提供可高达1.7TB/小时的备份速度24©Copyright2011EMCCorporation.Allrightsreserved.IsilonOneFS产品架构•OneFS为EMCIsilon专利的操作系统，负责IO调度，集群管理•Smartconnect™提供应用访问负载均衡和容错•SmartPools™提供自动分层功能•SnapshotIQ™提供本地数据保护/恢复•SyncIQ™提供存储间的数据复制（本地/异地），保证业务连续性•SmartQuotas™报告/管理存储资源的使用，同时拥有精简供应功能•SmartLock™提供WORM技术•InsightIQ™提供存储性能报表和使用趋势分析•HDFS特性支持Hadoop大数据应用•AsperaforIsilon™适用于远程数据复制，提高链路带宽利用率25©Copyright2011EMCCorporation.Allrightsreserved.强大但简易——Scale-out60秒完成扩展无停机时间26©Copyright2011EMCCorporation.Allrightsreserved.Isilon–线性,可预期的可扩展性•根据需求增长容量和性能–无需超量购买•存储增加无需增加管理的时间和精力–减少管理时间和成本–高效的业务的成果•无需数据移植–单一,可扩展的卷可预期的SLA27©Copyright2011EMCCorporation.Allrightsreserved.TheAnatomyofaWriteServersServersServersRAM(Cache)WriteCoalescerL2CacheNVRAMInfinibandHardDriveWritesarecacheduntilwritecoalescerisfull,timelimitreached,orprotocolrequestsconfirmationofdeliveryAtthesametime,datablocksassignedtoothernodesgothroughIBintotheirL2cacheOnceallnodeshaveallthedataandparityblocksinNVRAM,confirmationfromallnodesissenttothenodebeingwrittento,andacommitisreturnedtotheclientDataisthenwrittenontothespindlesWriteplanandparitycalculatedDatablock(s)assignedtothisnodestaycachedinL2forfuturereadsofthatfileDataisthencopiedintobatterysuppliedNVRAMfromL2Cache28©Copyright2011EMCCorporation.Allrightsreserved.TheAnatomyofaReadServersServersServersRAM(Cache)L1CacheL2CacheNVRAMInfinibandHardDriveIfdataisn’talreadyinL2cache,datablockiscopiedfromtheHDDintoL2cache,thenIntoL1cacheDataisthenreconstructedInL1cacheRAM(Cache)L1CacheL2CacheNVRAMInfinibandHardDriveInthisexamplethough,sincewerecentlywrotethedata,itwasalreadyinL2cache.Wedon’tneedt