第五讲集群计算技术

第五章高性能集群计算技术第三讲高性能集群计算技术1.机群系统的产生与发展成熟的理论基础计算机体系结构的发展已经比较成熟从向量多处理机系统、共享存储的多处理机（包括对称和非对称两种）到MPP结构，人们积累了相当丰富的经验，发展了一套比较完整的理论商用工作站或PC机能保持性能上的优势由于RISC技术的发展，使得微处理器的性能不断提高。高档芯片的运算能力平均每年增长30%，而价格不断降低直接使用商用工作站或PC机作为运算节点的机群,系统在节点性能上能够同处理器的发展保持同步增长第三讲高性能集群计算技术1.机群系统的产生与发展网络技术的进步网络传输速度的提高，提高了应用程序之间的通信带宽交换技术的发展则大幅度地降低了传输延迟，使得许多高速局域网的性能和MPP专用互连网络的性能相当并行编程环境的开发使得编制并行程序更为容易并行应用程序的开发和在不同平台之间的可移植性,一直是传统并行系统能否广泛应用的一个关键。近年来出现了很多并行程序开发及运行系统如PVM、MPI、Express、Linda等系统这些系统可以适应很多平台，应用程序在这些系统上的可移植性也比较好（特别是PVM和MPI），由于其开放性，受到了许多大学和研究机构的重视，并且在这些环境下开发了许多应用程序第三讲高性能集群计算技术2.使用廉价集群系统的好处相对于专用并行超级计算机的性能/价格比其增长速度与年度资金计划的匹配提供多用途的系统科学计算网络应用服务第三讲高性能集群计算技术3.集群技术的研究机会第三讲高性能集群计算技术3.集群技术的研究机会并行处理用多个处理机构成类似MPP/DSM系统来进行并行计算。如何考虑一些新技术带来的新因素，优化并行计算模型、算法？异构多核，协处理器为中心思想网络RAM基于新技术，如PCI-Express设备，测试分析已有方法，提出优化新方法。新技术有新特点，有效利用新特点就有新效果。用每台工作站上的内存构成协作缓存，提高虚存和文件系统的性能固态硬盘软件RAID、并行文件系统廉价磁盘的冗余阵列使用工作站的磁盘阵列提供一个便宜、高可用性和可扩展的文件存储器利用MPI-I/O，有可能对应用程序提供并行I/O支持多路通信在节点间通过多网络对数据进行并行传输，如链路聚集技术负载均衡资源动态分配，作业迁移等。基于虚拟化新技术等单一系统映像集群文件系统，内存统一编址等.低功耗问题新技术：多核技术，虚拟化技术，IBA，PCI-E，等新理念：自主/自动计算，等4.集群计算机体系结构第三讲高性能集群计算技术4.集群计算机体系结构集群：是一种并行或分布式处理系统；由很多连在一起的独立计算机组成；象一个单独集成的计算资源一样协同工作。节点可以是一个单处理器或多处理器的系统，拥有内存、I/O设备和操作系统。一般是连接在一起的两个或多个计算机。节点可以是在一起对于用户和应用程序来说象一个单一个系统。提供了一种价格合理的并可以获得所需性能和优势的解决方案。可以是物理上分散而通过LAN连接在一起的第三讲高性能集群计算技术典型的集群系统结构第三讲高性能集群计算技术集群/机群体系结构•所有节点都是完整的商用计算机系统•高档PC、工作站，也可以是SMP•IntelIA-32，IntelEM64T，Power，AMDx86_64，IntelIA-64•每个节点机上都安装有一份完整的商用操作系统•Linux机群（如Beowulf）、Solaris机群（如BerkeleyNOW）、NT机群（如HPVM）、AIX机群（如IBMSP2）、HP-UX机群和微软Wolfpack机群等•系统域网（SAN:SystemAreaNetwork）•GigabitEthernet，Myrinet，Infiniband，Quadrics，SCI•单一的系统映象（SingleSystemImage，简称SSI）•单一登录点、单一控制点、单一文件系统、单一作业管理、单一用户界面、单一进程空间等•高可用性保证机制第三讲高性能集群计算技术集群/机群系统举例10/100M快速以太网交换机…Node1Node2Node10图2.2Node1到Node10是并行工作站机群的计算节点，由八台UNIX工作站组成，它们直接挂接在Internet上。Internet第三讲高性能集群计算技术曙光3000超级服务器系统管理员RAID磁带3D显示外围子系统内置DiskCPUcache内存I/O接口PCI总线高速以太网接口外部以太网接口PCI-系统网络接口结点1点结点1结点n用户系统网络高速以太网控制台UNIX工作站用户PC终端用户外部以太网CPUCache内存PCI总线高速以太网接口图形接口PCI-系统网络接口内置Disk内置Disk图2.3曙光3000的体系结构CPU:80个内存：40GB硬盘：180GB磁盘阵列：2TB第三讲高性能集群计算技术集群计算机的重要部件节点：多个高性能计算机（PC、工作站或SMP）优秀的操作系统（完整或基于微内核）网络：高性能网络/交换开关（千兆以太网、Myrinet、InfiniBand等）网络接口卡（NIC）快速通信协议和服务（活动消息和快速消息）集群中间件：单一映像系统(SSI)和系统可用性基础并行编程环境和工具，如编译器、PVM（并行虚拟机）和MPI（消息传递接口）应用程序：串行、并行第三讲高性能集群计算技术5.集群计算机的互连网络第三讲高性能集群计算技术标准链路聚集ApA1B1nBqTrunkingnnnnnnn........................扩展的链路聚集第三讲高性能集群计算技术交换机HUB外部网络接口节点1接口节点2处理机节点0处理机节点1处理机节点n...内部交换网络网络服务器系统网络接口子系统举例：网络接口子系统具有链路聚集功能的交换机Internet/Intranet接口节点1接口节点m服务器节点1服务器节点2服务器节点n...内部交换网络Trunking集群服务器系统......接口子系统第三讲高性能集群计算技术Myrinet第三讲高性能集群计算技术InfiniBand是面向下一代服务器的输入输出总线，原本是以Intel的“NextGenerationI/O（NGIO）”和IBM、惠普等主导的“FutureI/O（FIO）”合并在一起的I/O架构统一机箱内部和外部的互连方法基于SwitchedFabric互连Link具有x1、x4、x12规格。传输速度分别为2.5Gbps、10Gbps、30Gbps。每个Link可以使用铜线或者光缆。如果使用铜线，传输距离可达17米;如果使用光缆最长可以传输10公里。第三讲高性能集群计算技术使用InfiniBand的系统是由多个子网构成的，子网之间通过路由器以及网桥连接，一个子网最多可以由6.4万个节点构成。使用IPv6扩展地址，使InfiniBand交换机可以将数据包直接交换到正确的设备上消除了内部I/O总线，服务器的占地面积可以减少60％，从而取代体积庞大的服务器开发出速度更快的软件，因为开发人员可以使应用程序不必再经过CPU就可直接调用I/O设备。不仅能用于单台服务器，而且也可以用于集群服务器以及服务器之间高速互联支持RMDA、VIA、多播、网管等InfiniBand将会在大型数据中心、系统互连方面发挥重要作用InfiniBand第三讲高性能集群计算技术第三讲高性能集群计算技术第三讲高性能集群计算技术6.PCIExpress第三讲高性能集群计算技术点对点连接与PCI相比，PCIExpress采用点对点技术，能够为每一设备分配独享通道，不需要在设备之间共享资源，这样充分保障了各设备的宽带资源，提高数据传输速率。而PCI是所有设备共享同一条总线资源。第三讲高性能集群计算技术易于布线、减少串扰，多方式连接与PCI相比，PCIExpress导线数量比PCI减少了将近75%，速度会加快数据不需要同步，在同一系统内能够以不同频率运行,而且能够延伸到系统之外，采用专用线缆可将各种外设直接与系统内的PCIExpress总线连接在一起。这是PCI无法做到的。第三讲高性能集群计算技术支持不同工作速度设备之间的通信第三讲高性能集群计算技术PCIExpress数据传输速率快连接可以由x1、x2、x4、x8、x12、x16、x32组成每个通道带宽为2.5Gb/s理论上最高连接带宽可以达到8-10GB/s。第三讲高性能集群计算技术兼容PCI和PCI-X跨平台兼容,目前被广泛采用的PCI2.2，但不兼容目前的AGP接口其它功能PCIExpress接口标准可以支持不同的信令协议采用先进的电源管理技术，支持热插拔功能可以对所有的接入设备进行实时监控同时采用独特的纠错机制保证整个系统的稳定运行第三讲高性能集群计算技术包括处理层、数据连接层和物理层这三个协议层•处理层负责拆分和组装数据包、发送读写请求和处理连接设置和控制信号，使数据顺利地实现端到端的通信。•数据连接层则用于保证数据完整地从一端传输到另外一端，通过命令应答校验协议技术检验错误并且进行修正。PCIExpress通信协议第三讲高性能集群计算技术第三讲高性能集群计算技术7.集群计算机的系统层次结构第三讲高性能集群计算技术8.集群的特点开发周期短，开发成本低，投资风险小高性能单机性能越来越高，并且并行处理网络性能和协议性能不断提高性能价格比高商品化部件NOW不需要单独投资可扩展性、高吞吐量可靠性、可用性备份计算机作业动态迁移，负载均衡，等易用性，编程方便象使用普通工作站一样使用和编程已有应用可以不加修改地在集群上运行串行程序第三讲高性能集群计算技术20世纪80年代的VAX机群称为第一代机群20世纪90年代IBM的SP2看成第二代机群的起点第三代机群要突破的关键技术包括：降低成本、降低功耗、提高可用性、提高I/O能力，从而提高实际应用效益，提高组装密度等9.集群的分类第三讲高性能集群计算技术集群的分类(1)1应用目的－计算科学或具有很高要求的应用高性能(HP)集群高可用性(HA)集群资源共享2节点归属－归属于个人或只作为集群的节点专用集群COW非专用集群NOW所有者和需求者存在使用上的竞争，窃取空闲CPU周期，运行的并行计算叫作自适应并行计算3节点硬件－PC、工作站或SMPPC集群(CoP)工作站集群(CoW)SMP集群(CLUMP)集群的机群计算网格，元计算：因特网就是一个计算机群第三讲高性能集群计算技术集群的分类(2)4节点操作系统－Linux、NT、Solaris、AIX等Linux集群(Beowulf)Solaris集群(BerkeleyNOW)NT集群(HPVM)AIX集群(IBMSP2)DigitalVMS集群HP-UX集群微软Wolfpack集群第三讲高性能集群计算技术集群的分类(3)5节点构成－节点的体系结构和其上运行的操作系统类型同构集群：所有节点有相同的结构，运行相同的OS异构集群：节点有不同的系统结构，运行不同的OS第三讲高性能集群计算技术集群的分类(4)6集群的级别－按照节点的位置和数量组级集群（节点个数小于100？，节点由SAN（系统域网络）连接，存在于一个机架上或在一个中心里）部门级集群（节点个数：几十到上百）团体级集群（节点个数：几百）国家级元计算机（WAN/基于INTERNET）：（节点个数：几个部门级/团体级系统或集群组成）国际级元计算机（基于INTERNET）：（节点个数：上千到几百万）COWNOW10.集群的商品化部件第三讲高性能集群计算技术集群的商品化部件处理器（RISC,CISC,VLIW,向量）内存和缓存（越大越好）系统总线（PCI,PCI-X,PCI-Express,hyperTransport）操作系统（Linux、Solaris、WindowsNT）磁盘和I/O（每年只有10%改进，集群瓶颈，