搜索
1EMCMulti-PathFileSystem(MPFS)兼具SAN与NAS优点的高性能文件共享解决方案EMCGlobalServiceSeniorTechnologyConsultant2010-Apr.2今天的EMCy外部存储全球市场第一y网络存储全球市场第一y存储管理软件全球市场第一y全球第五大软件公司排名公司收入(US$M)1Microsoft$60,4202IBM$22,0893Oracle$17,8434SAP$11,8145EMC$5,9436Symantec$5,8787CA$4,2778Adobe$3,580以2008年财年收入排名3EMC两大核心策略虚拟基础架构信息基础架构存储备份与恢复(BRS)IonixIT管理RSA信息安全4今天的信息共享挑战y需要实施横向扩展或网格计算体系结构y面临着在不牺牲可用性的前提下提高性能这一压力y必须跨大量客户端共享较大的数据集y信息体系结构无法要求应用程序更改y利用现有的IP基础架构和专业技能y找到降低成本和复杂性的方法挑战...管理性能、可用性和复杂性25新的应用领域：带来新的技术要求医疗保健成像财务分析视频成像/远程教育石油和天然气产品设计IPTV/网络点播网格计算生物工程6ClusteredNASNAS存储架构NASNASSANSANParallelNASNASSAN为满足数据共享，性能和扩展需求7存储体系结构和多路径文件系统应用领域•媒体–呈现–流式视频–IPTV•技术–生物工程–CAD/CAM–财务分析–应用程序开发•大型文件处理–图像处理–备份–石油和天然气MPFS服务器和应用程序存储SANNAS体系结构•SAN–光纤通道或iSCSI–无数据共享–高带宽•NAS–IP网络–数据共享–低带宽•多路径文件系统–光纤通道或iSCSI–数据共享–高带宽多路径文件系统真正做到了两全其美8SAN传输EMCCelerra多路径文件系统(MPFS)y服务器连接到存储网络y服务器连接到带外“元数据”控制器(Celerra)y服务器通过IP向Celerra发送文件请求y数据访问直接通过SAN（光纤通道或iSCSI）完成y一个Celerra可以扩展到成千上万个应用程序节点NAS请求和SAN传输NAS请求Symmetrix或CLARiiONCelerraNSX服务器IP网络SANiSCSI/光纤通道9y数据访问接近线速和阵列吞吐量y支持标准文件访问协议（NFS、CIFS）y光纤通道或iSCSI连接y异构服务器共享单一文件系统y高可用性和可扩展性y对应用程序透明y企业级NAS功能y完整的文件系统功能y可扩展至每Celerra刀片128TB的可用容量ySymmetrix或CLARiiON存储6CelerraMPFS功能10n应用程序服务器–NAS连接（NFS、CIFS）–SAN连接（iSCSI、FC）–MPFS客户端代理（Windows、Linux、UNIX）o文件映射协议(FMP)–用于传输元数据p存储网络–光纤通道或iSCSIqCelerra–集成版或网关版–通过光纤通道连接r存储阵列–CLARiiON–SymmetrixMPFS拓扑nopqr带有MPFS代理的服务器控制路径NFS/CIFS（本机）和FMP(MPFS)存储阵列CelerraNFS/CIFSFMP文件系统iSCSI或光纤通道数据路径11MPFS性能数据来源：EMC工程部y32KB100%顺序读取y50个Linux节点的群集y每个节点1个线程y100%随机I/O，使用4个CX3-40y50个Window节点的群集y每个节点5个线程1吞吐量[MB/s]234CLARiiONCX3-40阵列的数量0500100015002000250030003500MPFSNFS阵列随顺序读取而扩展123405001000150020002500300035000500100015002000250030000500100015002000250030003500MPFSNFSMPFSNFSMPFSMPFSNFSNFS8KB每秒I/O数MPFSCIFS32KB256KB随机I/O性能0500010,00015,00020,00025,00030,00035,0008KBMPFSCIFSMPFSCIFSMPFSMPFSCIFSCIFS32KB256KB0500010,00015,00020,00025,00030,00035,0000500010,00015,00020,00025,00030,0000500010,00015,00020,00025,00030,00035,00012CelerraMPFS应用高吞吐量共享访问LabsandAcademicBusinessIntelligenceMediaandEntertainmentGovernmentandDefenseLifeSciencesDatabasesOilandGasBackuptoDiskProductEngineeringFinancialAnalysis13案例研究：统计分析-基于数据网格的数据服务平台应用：GridManager、SASV9.1.3，160项SASETL作业执行I/O密集型数据集成基础架构(之前)：由Linux计算节点构成的网格访问传统NAS设备上的共享数据痛点：吞吐量不能随着向网格中添加计算节点而扩展；NAS设备无法处理此吞吐量基础架构（之后）：将NAS文件管理器替换为CelerraMPFS和CLARiiON存储好处：解决了吞吐量问题；在40节点网格上测试了昀多160个并行SAS进程，结果表明吞吐量可随计算节点和阵列数量而线性扩展同样，对于这一企业级文件服务应用，CelerraMPFS以高性能和企业级功能满足了要求。(Note:2.4GB/s的持续吞吐量.随着计算节点和阵列的数量而扩展，确保数据可用性并动态扩展计算资源.)MPFS解决方案企业文件服务CLARiiON阵列Celerra网关IP交换机Linux服务器Connectrix交换机14案例研究：医学研究机构-科学高性能计算应用应用：纳米技术原型制作（Note:用于医学领域的微型机器人）基础架构：数百个Linux服务器，带千兆以太网NIC痛点：性能慢，处理效率低；必须满足紧张交付要求，并要确保向客户端的高吞吐量结果：满足吞吐量要求易于实施—前10个客户机在两个小时内，接下来的10个在15分钟内完成安装利用现有的IP设备实施iSCSI网络MPFS解决方案科学HPCIP交换机Linux服务器机架（512节点）ConnectrixMDS系列交换机SymmetrixDMX-3CelerraNSX15案例研究：政府机构-实时内容共享应用:应用从外部传感器读取内容（监视摄像头，安全感应器等）－文件大小可以从几KB字节到上百MB字节。痛点:收集的数据写入时需要在没有中断或数据丢失的情况下由5个感应器以每秒200MB的速度完成，可以支持100个用户同时读写共享数据结果:5个采集感应器提供无数据丢失的SAN写入性能通过选择必要的Symmetrix或CLARiiON阵列能够使用一个单一Celerra实现文件共享和扩展性能所有应用程序无须修改，支持音频，视频，监控，出版，和卫星图像MPFS解决方案实时内容采集和共享利用CelerraMPFSCelerraNSXGatewayFiveContentCreationSensorsperProjectWindowsServerswithMPFSClientConnectrixFCSAN100’sofsimultaneoususersIPNetworkDataAcquisitionIPNetworkNAS/IPFCSymmetrixDMX200016案例研究:内容分配：视频流在线用户应用:少量内容分配提供流视频，音频，图片或文件给许多在线用户。文件大小不一，访问文件随机(注:同样适用于网络教学,远程教育等)痛点:需要以700MB/sec的速度从共享文件池中实时分配视频/音频内容给50,000个用户/设备结果:使用单一Celerra平台实现带扩展性能的文件共享CelerraMPFS与NS80以700MB/sec的速度同时给50,000个用户/设备传送视频/音频内容，而不需要增加管理复杂性没有应用修改（解决方案适用于视频，音频，监视，出版）MPFS解决方案利用CelerraMPFS实现符合成本效益的内容分配到数以千计的用户/设备CelerraNS804LinuxRHELServerswithMPFSFCDatadeliveryFCSANIPNetwork50k+EndUsers/Devices同时给数以千计的终端用户或设备提供实时内容分配（例如下载多媒体文件）NAS/IPFCNASRequestoverIPviaCIFS17结果：快速响应文件请求标准架构、易于扩展y新华网是新华社外网y对外提供多种服务–新闻发布–信息发布服务–Blog平台–新华e刊–网络论坛案例研究：新华网18EMCMPFS应用案例1.上海超算中心曙光TC5000A高性能计算系统y曙光TC5000A超级计算机服务于上海超级计算中心。曙光5000A是国家863计划高性能计算机及其核心软件重大专项支持的研究项目，是面向网络的高性能计算机，同时也是面向信息服务的超级服务器，可以提供多目标的系统服务。y曙光5000A系统峰值运算速度达到每秒230万亿次浮点运算，Linpack测试值超过每秒160万亿次浮点运算，是目前国内速度昀快的通用高性能计算机系统，全球排名第10位。y曙光5000A采用1920台刀片式服务器构成的“超并行”体系结构（HyperParallelProcessing，简称HPP），其中的并行文件系统采用EMCMPFS文件系统，采用8套EMCNS-960高性能存储系统构成。1.国内其他应用案例y中科院,中海油,华东师范大学,……19CelerraMPFS解决方案广泛的部署选项UnifiedStorage*yUpto512serversyUpto384TB**yCelerraNS-120,NS-480,andNS-960*Numbersvarydependingonsystemandconfiguration**UsablesystemcapacitywithnosnapsorreplicationSERVICELEVELCOSTCelerraGatewayNASrequestCelerraNS-G8,NS-G2ApplicationServersiSCSIorFCSANSymmetrixorCLARiiONiSCSIorFCdeliveryIPnetworkCelerraUnifiedStorageNASrequestApplicationServersiSCSIorFCdeliveryIPnetworkCelerraNS-120,NS-480,NS-960iSCSIorFCSANGateway*yThousandsofofserversyUpto896TB**yUptofourarrayssupportedyCelerraNS-G8andNS-G2yCLARiiONandSymmetrixarrays