搜索
体系论文答辩王上丹（033290）姚雯（033347）销售信引言一个银行需要一台主机用来存放所有的数据，这些数据需要在即使地震，机房倒塌，也要保证所有的远程访问都能达到，我们需要什么？一个小公司刚起步时需要一个服务器，但是因为资金有限，只能购买相对数量和性能都较差的多处理机，但是不排除以后会对其进行扩展和升级，我们需要什么？现在你试图解决一个数学上的难题，一个需要进行数亿次上的计算，但是你又无力购买一个超级计算机，此时你会怎么办？标题主标题：多处理计算机导论副标题：浅谈集群计算机技术作者：王上丹姚雯时间：2006年6月内容摘要摘要：使用计算机集群系统进行并行计算是一种既经济又高效的解决方法，开发资源丰富，成本低廉。随着应用程序和各种计算对计算机性能要求的不断提高，集群系统将成为有效解决这以问题的可行的途径。本文主要通过对集群系统（设计原理，需要解决的问题，软硬件需求等）的分析和研究来学习体系结构中集群计算系统以及分布式计算的相关知识，并希望通过这样的学习，可以更好的理解和学习体系结构中的相关知识。目录摘要及关键词概述集群计算技术简介集群计算机的体系结构和设计原理集群技术的发展与挑战结束语选题选题目的：选择集群技术作为本论文的研究对象，主要是希望对其的学习能够对多处理机的系统有所了解，以集群系统为主，研究高性能和高扩展性以及高可用性计算机。背景介绍：早在20世纪60年代，IBM公司就提出了集群计算机的概念，但是当时的计算机硬件技术以及制造业的落后，使得集群计算机只能停留在蓝图上，但是到了80年代，随着计算机产业的飞速发展，集群系统才开始慢慢进入研究室，进入工厂，如今，集群计算机以其高的性价比获得市场的认可，因而成为目前市场的主流。相关概念介绍集群技术集群是一种并行或分布式多处理系统，该系统由两个或多个计算机（简称为节点）通过网络连接而成。节点可以是一台PC机，也可以是工作站或者SMP，分别构成PC集群，工作站集群，SMP集群。每一个节点都由单独的处理器、主存储器、辅助存储器、I/O接口及操作系统。可以单独执行串行应用程序，也可以作为集群中的一个节点执行并行的应用程序，协同完成并行任务。相关概念介绍高可用性计算集群技术：是指以减少服务中断（宕机）时间为目的的服务器集群技术。高性能计算集群技术：是指以提高科学计算能力为目的计算机集群技术。高可扩展性集群技术：是带均衡策略（算法）的服务器群集。负载均衡群集：在多节点之间按照一定的策略（算法）分发网络或计算处理负载。负载均衡建立在现有网络结构之上，它提供了一种廉价有效的方法来扩展服务器带宽，增加吞吐量，提高数据处理能力，同时又可以避免单点故障。集群计算机体系结构粗略图集群中间件Pc/工作站（处理器，存储器，I/O，操作系统等）Pc/工作站（处理器，存储器，I/O，操作系统等）Pc/工作站（处理器，存储器，I/O，操作系统等）高速网络串行程序并行程序下文中将进行详细的阐述内容介绍集群架构资源管理和负载平衡集群硬件（集群中间件）集群软件平台集群的三大技术技术支持（负载均衡算法）集群计算机的挑战和发展集群架构目前常见的集群架构有两种：Web/InternetClusterSystem和平行运算（ParallelAlgorithmsClusterSystem）。前者主要将资料放置在不同的主机上，亦即由多部主机同时负责一项服务；后者将同一个运算的工作，交给整个Cluster里面的所有的CPU来进行同步运算，由于使用到多个CPU的运算能力，所以可以加快运算的速度。资源管理和负载平衡资源（包括CPU，存储设备，I/O等）管理与调度：是集群计算技术中一个非常重要的方面，从系统的角度来看，集群系统的资源使用率是最重要的问题。系统资源使用越高，说明系统的吞吐能力越大，资源共享的效果也越好。负载平衡的实现机制有两种：初始放置或者远程执行，初始放置技术是当进程在某一个计算节点产生时，根据负载平衡的要求将进程转移到其它的节点远程执行的方法。集群硬件集群中间件集群中间件处于节点操作系统与用户环境之间，它与操作系统一起为所有的节点提供访问系统资源的各种途径，集群系统的设计目标集中体现在支持应用程序的资源管理，系统可扩展性和可用性的完全透明。中间件应提供以下主要服务：唯一地址空间：唯一用户界面：唯一的进程空间：检查点设置：除此以外，还包括单点管理和控制、唯一虚拟网络，唯一文件层次等功能。集群软件平台操作系统Linux操作系统Solaris操作系统WindowsNT操作系统编程环境集群中的每一个用户可以使用不同的编程工具，开发和调试自己的分布式成熟，因此，集群环境应该包括接口，API和传统开发工具等等，共同为用户提供丰富的开发环境。PVM：并行虚拟机。MPI：消息传递接口。例子，Microsoft.net集群的三大技术高可用性集群技术（HighAvailabilityCluster(HACluster)）高性能计算集群技术HighPerformanceComputingCluster(HPCCluster)高可扩展性集群技术技术支持（负载平衡算法）负载均衡的作用就像轮流值日制度，把任务分给大家来完成，以免让一个人过度劳累。但是与轮流值日制度不同的是，负载均衡是一种动态均衡，它通过一些工具实时地分析数据包，掌握网络中的数据流量状况，把任务理分配出去。对于不同的应用环境（如电子商务网站，它的计算负荷大；再如网络数据库应用，读写频繁，服务器的存储子系统系统面临很大压力；再如视频服务应用，数据传输量大，网络接口负担重压。），使用的均衡策略(算法)是不同的。所以均衡策略（算法）也就有了多种多样的形式，广义上的负载均衡既可以设置专门的网关、负载均衡器，也可以通过一些专用软件与协议来实现。在OSI七层协议模型中的第二（数据链路层）、第三（网络层）、第四（传输层）、第七层（应用层）都有相应的负载均衡策略（算法），在数据链路层上实现负载均衡的原理是根据数据包的目的MAC地址选择不同的路径；在网络层上可利用基于IP地址的分配方式将数据流疏通到多个节点；而传输层和应用层的交换（Switch），本身便是一种基于访问流量的控制方式，能够实现负载均衡。技术支持（负载平衡算法）目前，基于均衡算法主要有三种：轮循（Round-Robin）、最小连接数（LeastConnectionsFirst），和快速响应优先（FasterResponsePrecedence）。轮循算法，就是将来自网络的请求依次分配给集群中的服务器进行处理。最小连接数算法，就是为集群中的每台服务器设置一个记数器，记录每个服务器当前的连接数，负载均衡系统总是选择当前连接数最少的服务器分配任务。这要比轮循算法好很多，因为在有些场合中，简单的轮循不能判断哪个服务器的负载更低，也许新的工作又被分配给了一个已经很忙的服务器了。快速响应优先算法，是根据群集中的服务器状态（CPU、内存等主要处理部分）来分配任务。这一点很难做到，事实上到目前为止，采用这个算法的负载均衡系统还很少。尤其对于硬件负载均衡设备来说，只能在TCP/IP协议方面做工作，几乎不可能深入到服务器的处理系统中进行监测。但是它是未来发展的方向。集群计算的发展和挑战面临的挑战分布式计算式程序（指那些相对适合进行分布式计算的程序）的开发和普及。集群中的网络传输速率的提高。技术的推广和普及发展的趋势目前的情况未来的发展2003年统计数据（一）2003年统计数据（二）2003年统计数据（三）2003年统计数据（四）未来的发展（一）64位系统逐渐成为主流种商业化的高速互连网络SAN系统作为集群的存储设备科学计算大规模模拟应用三维网格模拟应用所需的内存可以轻易突破2GB生物信息学基因拼接等应用需要大量的内存，实际应用中内存不足是主要问题之一素数运算需要用到大量64位整数运算和大内存未来的发展（二）商业应用海量数据处理DBinmemory媒体播放服务器大内存高内存带宽减少访问磁盘次数，可将性能提高近一个数量级引发新的设计理念现有的很多算法是基于内存不足设计的，因此很多精力花费在用时间换取空间上64位系统提供了访问更大内存的机会，因此很多应用可能要基于新的理念进行设计，以获得64位所带来的好处并非所有用户都需要现在就转向64位代码膨胀，性能反而可能会下降需要根据自己的应用特性来分析是否需要2GB以上的内存是否有大量64位整数运算题外话2003年一年，全美总计被淘汰的pc数量是4000万台，这些pc不是因为部件损坏，而是因为性能的落后而被淘汰。中国2004年淘汰的pc数量为350万台。。。。。。Pc电脑的平均生命周期从20世界末的5年到现在3年，性能的不断提高，造成了许多电子资源的浪费。由于被淘汰的pc很多没有被很好的处理，这些pc不光造成了资源的浪费也成为电子污染物。设想！！！如果你可以通过两台性能一般的电脑来达到一台性能很强的电脑，这样的方式是否可以比较好的解决这样的局面，所以集群计算机技术有其非常强大的优势。合理地普及这样的技术，可以节省很多的资源，并且提高pc利用率。结束语高性能计算集群综合了多台计算结或节点的计算能力，集群的存储空间在各个节点上聚集了巨大的资源。通过一种有效的方式来开发和利用这些分布式的资源，我们可以将可以开发出超高性能的计算机系统。而使用何种方式来有效的利用这些资源成为了集群系统发展中的一大挑战。随着科技的不断发展，集群系统和专用的并行计算机之间的差距会越来越小，而集群系统又比专用并行计算机有着更多的优点，这是一种更为经济的方法，并且一定意义上可以充分利用那些已被淘汰的计算机，不但减少了很多污染还节省了很多资源。不能发现，不久的将来，集群计算机必将成为未来的超级计算机，也必然将成为未来高性能计算机的主角。收获和不足收获：通过这次论文，对论文的格式规范和行文要求有了一定的了解，为以后的论文撰写作了准备。通过对集群系统的学习，对集群系统有了一个全面的了解，扩展自己的知识面。在整个论文的过程中，经过资料的整理，提高了自己的学习和搜索能力。收获和不足不足：选题的时候不够慎重并且目的性不明确，导致了最后由于面太广成了科普文。并不像学术论文。资料的来源要找最新的学术文章，避免找老资料，因为技术和学科都会变化。要多和其他的同学，老师交流，可以得到很多宝贵的建议。由于条件不允许缺少实践和实验。因为最后修改得比较仓促，所以可能有些排版的问题。参考文献参考文献张晨曦等《计算机体系结构》（第二版）等搜索网站《集群系统发展趋势》郑纬民清华大学计算机系高性能所致谢谢谢大家！！Anyquestion?