搜索
2第9章多机系统随着技术的发展，PC及嵌入式计算机(SoC)都不再是SISD结构。可以认为，一代SISD结构的计算机时代即将结束，取而代之的是以并行处理为特征的多机系统(即MIMD)时代。本章将简要介绍多处理机(器)系统及多计算机系统。39.1概述9.1.1并行处理1.时间重叠2.资源重复3.时间重叠加资源重复4.资源共享49.1.2并行计算机分类1.弗林分类1)单指令流单数据流(SISD)计算机2)单指令流多数据流(SIMD)计算机3)多指令流单数据流(MISD)计算机4)多指令流多数据流(MIMD)计算机59.1.2并行计算机分类2.并行结构的分类1)指令级并行2)向量计算机和阵列计算机3)MIMD结构的多机系统(1)集中共享存储器结构。(2)分布式存储器结构。4)网格计算与云计算(1)网格计算。(2)云计算。①超大规模。②虚拟化。③高可靠性。④通用性。⑤高可扩展性。⑥按需服务。⑦极其廉价。69.2多机互联网络无论是构成什么结构的多机系统，都需要利用互联网络将构成系统的各部分连接起来。互联网络的性能将对整个多机系统的性能产生重要的影响。本节将讨论有关问题。79.2.1互联函数1.互联函数的表示方法1)输入/输出对应表示法2)函数表示法3)循环表示法2.基本互联函数1)恒等置换2)交换置换3)方体置换4)均匀洗牌置换5)加减2i置换6)蝶形置换89.2.1互联函数3.互联网络特性1)网络的规模2)节点度3)距离4)网络直径5)等分宽度6)节点间的线长7)对称性99.2.2静态互联网络1.线性阵列2.环和带弦环3.循环移数网络4.树形和星形连接5.胖树形6.网格形及环网形109.2.2静态互联网络7.搏动式阵列8.超立方体9.k元n-立方体网络119.2.3动态互联网络1.总线1)回顾(1)内总线上的分时工作。(2)防止总线竞争。(3)总线的性能。(4)单处理器系统。2)基于总线连接的多机系统129.2.3动态互联网络2.多级网络1)概述2)开关模块3)控制方式(1)级控制。(2)单元控制。(3)部分级控制。4)多级均匀洗牌网络(1)构成。(2)控制方式。(3)路径控制。5)全排列网络(1)增加镜像级数。(2)Clos网络。139.2.3动态互联网络(3)Benes网络。3.交叉开关网络1)构成2)优缺点3)多级交叉开关网络149.2.3动态互联网络4.多端口存储器1)构成2)优缺点5.以太网1)以太网的分类(1)标准以太网。(2)快速以太网。(3)千兆以太网。(4)万兆以太网。(5)十万兆以太网。2)以太网的拓扑结构(1)总线型。(2)星形。(3)环形。(4)树形。3)以太网的工作原理159.2.3动态互联网络6.InfiniBand网169.3对称多处理机系统9.3.1对称多处理机的构成1.SMP的结构2.SMP的特点(1)这样的系统是由两个以上的多个相同的处理机构成的。(2)多个处理机通过总线或其他互连方式连接在一起。图9-31中，是利用系统总线将这些处理机连在一起。(3)多个处理机共享同一主存储器。并且，每一个处理机访问主存储器的时间是相同的，也就是一致的。这或许就是一致性存储器访问计算机(UMA)的来历。(4)所有的处理机通过相同的通道或不同的通道共享I/O设备。(5)每一处理机都能完成相同的功能，这或许是对称多处理机中对称的由来。(6)整个对称多处理机系统是在一个集中的操作系统统一管理下工作。操作系统能够为每一个处理机安排进程或线程，对各处理机的工作进行统一的调度与控制。179.3.1对称多处理机的构成3.SMP的优点(1)由于SMP包含多个处理机，而这些处理机可以并行工作。因此，SMP具有比单个处理机构成的系统更高的性能。后面将分析多处理机系统的加速比，到时就可以看到这种情况。(2)SMP具有高的可靠性和高的可用性。这是因为系统中包含有多个处理机，当某处理机出现故障时，除此处理机之外的那些处理机仍然可以工作，并不会因此而停止系统的工作，只是会由于一个处理机有了故障而使整个系统的性能有所下降。(3)由图9-31可以看到，SMP系统具有很好的扩展性能。也就是说，用户可以比较容易地在系统中增加一个处理机，只要将相同的处理机连接在系统总线即可达到目的，从而可以较方便地增强系统的性能。(4)可以灵活地按照用户的需求构成不同数量处理机的SMP系统。189.3.1对称多处理机的构成4.构成SMP应注意的问题1)核结构研究：同构还是异构2)Cache设计3)核间通信技术4)总线设计5)操作系统设计6)存储器7)可靠性及安全性设计199.3.2多机系统的性能分析1.任务粒度2.性能分析1)两台处理机2)N台处理机209.3.3对称多处理机系统Cache的一致性1.问题的提出1)产生Cache不一致性的主要原因(1)共享数据。(2)进程迁移。(3)I/O操作。2)协议(1)监听式。(2)目录式。219.3.3对称多处理机系统Cache的一致性2.监听协议1)写直达协议(1)协议内容。(2)协议的实现。2)MESICache一致性协议(1)内容。(2)状态及转换。①“无效”状态的设置。②“独占”状态的设置。③“共享”状态的设置。④“修改”状态的设置。⑤状态转换。(3)MOESI协议。229.3.3对称多处理机系统Cache的一致性3.目录协议1)结构2)全映射目录协议(1)共享(2)未缓存(3)独占3)其他目录结构(1)有限指针目录。(2)链式目录。239.3.4多处理机系统的调度与负载平衡1.多处理机操作系统1)主从式2)独立监督式3)浮动监督式2.多处理机系统负载平衡1)多处理机调度2)负载平衡的意义3)负载的定义4)负载平衡的主要技术(1)静态负载平衡。(2)动态负载平衡。5)动态调度模式(1)集中式负载平衡控制。(2)分布式负载平衡控制。249.3.4多处理机系统的调度与负载平衡3.负载平衡的调度策略1)概述2)轻载节点请求算法3)重载节点请求算法4)双向请求算法259.4分布式共享存储器多机系统9.4.1分布式共享存储器多机系统的结构1.概述2.存储器结构269.4.2CC-NUMA系统1.CC-NUMA系统结构279.4.2CC-NUMA系统2.CC-NUMA系统工作过程(1)P2-3发出读主存地址799的请求到节点2的检测总线上。(2)节点2的目录检测到请求并确认该主存地址在节点1。(3)节点2的目录发送能被节点1所识别的请求信息。(4)节点1的目录检测到节点2请求799的信息。(5)节点1的主存响应请求并将请求的数据放到总线上。(6)节点1的目录从总线上获取数据。(7)数据被反馈传到节点2的目录。(8)节点2的目录将数据放到节点2的总线上。(9)数据被放进P2-3的Cache中并提供给P2-3。289.4.2CC-NUMA系统3.CC-NUMA系统的特点(1)所有处理机看到的是同一个主存地址空间。(2)使用LOAD和STORE指令访问远程共享存储器。(3)访问远程共享存储器比访问本地共享存储器速度慢，大量的远程访问必然降低系统的性能。(4)CC-NUMA系统比SMP具备更高的性能。SMP系统的处理机数量难以达到64，而CC-NUMA系统所包含的处理机可达到1000。299.5多机系统其他结构形式9.4节中介绍了共享存储器的多机系统，本节将介绍多机系统的其他结构形式。309.5.1大规模并行处理系统1.结构大规模并行处理(MPP)系统的结构框图如图9-37所示。319.5.1大规模并行处理系统2.主要特点(1)MPP由大量的节点构成，节点数目少则数百，多达上万。(2)MPP的节点可由一个或多个带有Cache的处理机构成。具体构成形式有以下三种。①每个节点只包含一个处理器。②每个节点包含一台SMP。③每个节点由CC-NUMA系统构成。(3)构成MPP的节点可以是同构的也可以是异构的。(4)MPP各节点的存储器是各自独立的，每个节点只能直接存取自己节点的本地存储器，不能直接访问非本地节点的存储器。若需访问非本地节点的存储器，则需使用消息传递的方式来达到目的。这使得编程困难而且增加通信开销。(5)每个节点都有自己的操作系统，各节点可以有各不相同的操作系统。329.5.2集群系统1.结构2.分类1)按应用目标2)按组成集群的处理机类型3)按处理机操作系统4)按处理机的配置(1)同构型集群(2)异构型集群5)按处理机的位置和数量(1)组集群(2)部门集群(3)企业集群6)按构建集群系统的方式339.5.2集群系统3.优势1)投资风险小2)性能价格比高3)系统的开发周期短4)编程方便，软件继承性好5)系统结构灵活6)可扩展性好4.集群系统与MPP系统的不同349.5.3向量处理机1.向量处理方式1)横向处理方式2)纵向处理方式3)纵横(分组)处理方式359.5.3向量处理机2.向量处理机的结构1)单控制单元向量处理机2)多控制单元向量处理机369.5.4高性能计算机的发展1.世界500强中的中国计算机1)高性能2)高效能(高生产率)3)高密度4)高可靠性5)低能耗6)低价格7)自主知识产权8)高可应用性2.多机系统的发展1)处理器架构2)操作系统3)处理器4)互联网络5)体系架构379.6课后练习1.选择题2.填空题3.简答题4.操作题参见教材P374