Redhat-HPC解决方案

1RedHat高性能计算集群解决方案v.20091021012高性能计算有着广泛应用RedHatHPCSolution3HPC高性能计算广泛应用领域4医学成像数码制作19X流体模拟地球地质模拟动态流体动力计算机视觉生物信息分子动力学DNA序列分析计算机辅助设计物理模拟撞击模拟图象处理高清晰视频元素分析HPC高性能计算广泛应用领域5全球著名的超级高性能计算集群由RedHat提供方案和服务(上图)美国梦工厂公司RenderingFarm渲染农场美国劳伦斯国家实验室核武器研究超级计算中心美国航天航空局(NASA)总署超级计算中心美国圣地亚哥超级计算中心6一。HPC架构RedHatHPCSolution7什么是高性能计算集群?(HPCCluster)HPCCluster是一种科学计算集群将计算负载分布到多个计算节点(computingNode)上整个集群作为独立实体展开计算工作处理大量的计算密集型的任务以及需要处理海量的计算数据集合8高性能计算软件如：CAE(ComputerAidedEngineering)√用计算机辅助求解复杂工程和产品结构强度、刚度、屈曲稳定性,动力响应、热传导、三维多体接触、弹塑性等力学性能的分析计算以及结构性能的优化设计等问题的一种近似数值分析方法。√已成为工程和产品结构分析中（如航空、航天、机械、土木结构等领域）必不可少的数值计算工具，同时也是分析连续介质力学各类问题的一种重要手段。9高性能计算软件的需求•对网络有非常高的要求支持所有主流的高速互联:推荐使用InfiniBand网络•以太网(千兆-1Gb、万兆-10Gb)•Infiniband(20Gb/40Gb)•I/O交换需要高性能并行文件系统RedhatGFS文件系统10什么是高性能计算集群?(HPCCluster)计算节点(工作节点)存储节点(I/O节点)客户端访问RHELRHELRHELRHELRHELRHELRHELRHELRHELRHEL管理节点(头节点)11工业标准HPC高性能计算集群的组成Part1应用Application:计算应用Part2集群环境ScalableFileSystem:集群存储Middleware:计算通信中间件Development:开发工具OperatingSystem:集群操作系统Cluster&ResourceManagement:DeploymentToolkit:集群分发工具ChangeManagement:配置变更管理HealthMonitoring:状态监控JobScheduling:作业调度Part3硬件组成Interconnect:高速计算互联设备Server:节点服务器Storage:硬件存储设备1213HPC高性能计算集群软件14RedHat高性能计算集群解决方案软件架构15典型计算应用的支持行业主要计算任务支持的专业计算产品制造业•计算流体力学•有限元分析•碰撞模拟•Ansys•Nastran•Fluent•Abaqus•LS-Dyna石油和天然气•能源贮藏模拟•地震油层分析模拟•油层数据可视化•ECLIPSE•VIP•DMS•STARS•MEPO生命科学•药物研发•基因研究•医疗数据信息学•Accelrys•Schrodinger•Simulia•SAS金融业•蒙特卡罗模拟•金融分析法•风险预测和分析•Algorithmics•Tillinghast•Sungard•Murex•Calypso•Wolfram电子电器设计•电子模拟•设计验证•回归测试•Cadence•Synopsis•MentorGraphics•Reuters•Magmat基础科学研究•大气模型•大数据集处理•计算学问题•Mathworks•Gaussian•NWChemRedHatHPC解决方案支持广泛的典型的上层专业计算软件和产品。(该表包括且不限于所列软件或产品)16RedHatHPCSolution便捷的快速部署方式(采用P2P技术)17二.RedHatHPC解决方案的管理架构RedHatHPCSolution18RedHat高性能计算集群的管理架构RedHat高性能计算集群产品包含的主要工具箱包括以下几大类：•BaseKit–包含软件和工具用来管理整个RedHat高性能计算集群•CactiKit–包含对节点状态和参数的图形化展现•HPCkit–包含了大量的工具，MPI实现，数学库对应特定用途的集群•LavaKit–包含了集群负载资源调度器和相关管理工具•NagiosKit–包含了对主机，服务网络等全方位的图形化监控管理系统•NTOPKit–包含了监控和分析集群网络带宽和流量的工具集合•OFEDKit–包含了对高速计算互联如Infiniband以及IPoIB(IPoverInfiniband)的支持19RedHatHPC解决方案的管理架构图20RedHatHPC解决方案的图形化管理21RedHatHPC解决方案的作业图形化管理22三.RedHat在全球大型HPC项目中的贡献RedHatHPCSolution23RedHat致力于全球高性能计算软件项目和标准制定积极投入和参与highperformancecomputing相关开源项目OpenFabrics.orgCHAOS,ROCKS,PlatformOCSCondor&GlobusOpenPBS/SGEcommunityGCC/IOR/LustreMRG(GridComputing)24RedHat致力于全球高性能计算集群建设项目承担全球主要大型HPC系统的设计,筹建和支持LLNL,PNNL,DOE,DOD...LockheedMartin,Boeing,NASA...Dreamworks,Pixar…BMW,GM…25LLNL&CHAOS•LLNL–LawrenceLivermoreNationalLaboratory•美国国家核安全管理局(NNSA),隶属于美国能源部(DOE–DepartmentofEnergy)•负责设计和研究与核武器相关技术及制约大规模杀伤性武器的技术•以及加强国土安全以针对恐怖活动的大规模信息分析•从2001年底已经部署了超过25套大型LinuxHPC系统•CHAOSLinux基于RedHatEnterpriseLinux,修改的RHELKernel,增加对LLNL特殊硬件的支持和定制化的软件服务.(Lustre,LLNL特殊计算类组件等...)•RedHat提供的CoreBuildService和专家服务26LLNL网站陈列的基于RedHatHPC定制版–CHAOS大型超级计算机2728PNNL&MPP2PNNL–PacificNorthwestNationalLaboratory太平洋西北国家实验室隶属于美国能源部(DOE-DepartmentofEngery)为美国的的科研基础研究提供设施和顶尖科学家针对恐怖活动而开展的信息分析，网络安全和制约大规模杀伤性武器的研究MPP2–PNNL的顶尖计算设备,基于RedHat平台980个IntelIA64节点(安腾2),1960个处理器Lustre和QuadricsQsNetII互联,11.8TFlops29四.HPC解决方案产品，服务支持和培训RedHatHPCSolution30迅速构建HPC集群!硬件/网络•服务器,存储，管理网络•计算互联网络(GbE,InfiniBand,Myrinet等)平台软件计算软件•ANSYS,Cadence,MentalGraphic•WFR,MM531RedHat高性能计算集群解决方案软件包以下为标准包所含内容：（货号:MCT1569）HPC必须软件组件RedHatHPC计算集群解决方案1操作系统(计算,管理,存储节点)RedHatEnterpriseLinux5.0Standard,1year(Upto4socket)2集群部署和分发工具RedHatHPC部署工具,支持Package,Diskless,Image主流分发方式3节点和集群监控工具RedHatHPC监控管理包4网络和节点文件系统可选RedHatGlobalFileSystem全局集群文件系统5并行计算消息通讯库包含MPICH,MVAPICH,OpenMPI,支持IntelMPI6集群应用负载管理器默认Lava为集群任务调度器,支持SGE或OpenPBS任务调度器7集群验证工具集群验证工具(由Intel开发并提供给红帽)8性能基准测试工具Linkpack测试包9专用高性能网络硬件支持千兆以太网(GbE),CiscoInfiniband,QlogicInfiniband,MellanoxInfiniband10开发工具GNUC,GNUC++,GNUFortran,相关并行计算开发库和开发工具环境详细软件包清单参考RedHatHPC解决方案白皮书32RedHatHPC集群扩展包扩展包所含产品。扩展包内含对8个计算节点的支持扩展包名称(货号)扩展包内含软件扩展包主要功能1并行程序开发扩展包货号：MCT1569EXTC8NIntel®C++编译器专业版forLinuxIntel®Fortran编译器专业版forLinuxIntel®MPI库针对Intel处理器和并行环境的高性能编译器和MPI通信库2可视化性能分析扩展包货号：MCT1569EXTP8NIntel®VTune性能分析器forLinuxIntel®线程检测器forLinuxIntel®集群工具箱(包含以下组件)•Intel®跟踪分析器和跟踪采集器•Intel®数学核心函数库集群版•Intel®MPI库•Intel®MPI性能基准测试工具可视化性能分析，快速确定性能瓶颈；分析改进集群性能。3并行程序调试扩展包货号：MCT1569EXTD8NTotalView®Debugger专业的图形化并行程序调试工具RedHat通过和Intel紧密合作，满足下列类似需求的用户更多的技术需求：①硬件计算环境为Intel架构②计算程序自行开发，用C/C++,Fortran语言开发③需要通过Intel平台编译器特殊优化来提高计算效果④中大型计算程序需要跟踪和优化代码的内部设计⑤复杂和深入的图形化方式对计算程序的代码调试33RedHatHPC方案部署软/硬件要求软件/硬件要求详细计算节点Intelx86-64,AMD64架构,2CPU/2GB内存以上配置；刀片服务器，机架服务器，塔式服务器均支持；支持未来可能扩容的Infiniband或Myrinet接口千兆网卡(2块更佳).远程管理芯片(卡)或集成的IPMI端口。管理节点配置无要求，用户根据具体使用用户数量调整;一般建议2CPU/2G内存以上的PC服务器即可。存储节点PC服务器2CPU/2GB内存以上,推荐2CPU/4GB内存.配置有DAS,iSCSI,NAS或FCSAN.根据用户具体的存储要求酌情添加。管理监控网络普通千兆交换局域网即可;建议不和其他OA或者非计算类网络混用计算互联Infiniband,Myrinet均可，为保证性能，建议避免采用普通千兆网作为计算用网络。场地供电和散热建议咨询硬件供应商和IDC场地供应商确定相关事宜34RedHatHPC解决方案的特点和适合用户群红帽高性能计算集群解决方案主要特点完全基于最新的RedHat企业版Linux5,业界最成熟的企业级Linux系统。基于业界久经考验和广泛使用的高性能计算核心组件。最大支持512节点规模中大规模运算运行环境和底层操作系统的安全级别已经达到美国国家安全局CAPP/EAL4+。RedHat专业支持服务RedHat为中国用户提供HPC方案的专家级客户化部署指导服务。红帽高性能计算集群解决方案适用用户群需要一个从软件到服务整体指导的入门级用户节点规模在8,16,32,64之间的企业或专业研究设计领域用户将会得益于一站式服务需要高度保证持续计算能力和拥有商业HPC集群计算品质的用户对性能有苛刻要求的计算用户需要针对计算类应用提供咨询和客户化的用户35Red