并行计算--硬件基础及性能评测概要

并行计算ParallelComputing基本概念2020/2/242如何满足不断增长的计算力需求？用速度更快的硬件，也就是减少每一条指令所需时间优化算法（或者优化编译）用多个处理机(器)同时解决一个问题并行计算2020/2/243串行计算与并行计算...处理器可分解的计算任务串行计算并行计算任务队列2020/2/244并行的层次程序级并行子程序级并行语句级并行操作级并行微操作级并行并行粒度粗细2020/2/245FLOPSFloatingpointnumberOperationsPerSecond--每个时钟周期执行浮点运算的次数理论峰值＝CPU主频＊每时钟周期执行浮点运算数＊CPU数目部分处理器每时钟周期执行浮点运算数：2020/2/246—2007年11月高居榜首的依然是来自IBM的“蓝色基因/L”。自从2004年11月以来，该系统已经连续三年遥遥领先，而且计算能力不断提升，Linpack基准测试性能478.2TFlop/s(每秒478.2万亿次运算)，而半年前还是280.6TFlop/s拿下亚军位置的还是IBM，不过换成了一台落成不久的“蓝色基因/P”。位于德国尤里希研究中心的这套新系统运算能力167.3TFlop/s，不过按照IBM的设计规划，蓝色基因/P的性能将有望突破1TFlop/s大关，即每秒一千万亿次运算。2020/2/248Top500—2007年11月第三名也是个新面孔，同时也是新墨西哥计算应用中心(NMCAC)的第一套超级计算机，由SGI基于AltixICE8200打造，计算能力126.9TFlop/s。同时印度史上首次杀入了TOP10行列，印度计算研究实验室的HPClusterPlatform3000BL460c以117.9TFlop/s的性能拿到了第四位2020/2/249供应商－系统数量2020/2/2410供应商－计算能力2020/2/2411国家分布－系统数量2020/2/2412国家分布－计算能力2020/2/2413体系结构－系统数量2020/2/2414体系结构－计算能力2020/2/2415应用领域－系统数量2020/2/2416应用领域－计算能力2020/2/2417操作系统－系统数量2020/2/2418操作系统－计算能力2020/2/2419处理器家族－系统数量2020/2/2420处理器家族－计算能力2020/2/2421系统数量2020/2/2422计算能力2020/2/24232007年中国高性能计算机性能TOP1002020/2/2424并行化方法域分解（Domaindecomposition）任务分解（Taskdecomposition）流水线（Pipelining）2020/2/2425域分解First,decidehowdataelementsshouldbedividedamongprocessorsSecond,decidewhichtaskseachprocessorshouldbedoingExample:Vectoraddition2020/2/2426域分解Findthelargestelementofanarray2020/2/2427域分解FindthelargestelementofanarrayCPU0CPU1CPU2CPU32020/2/2428域分解FindthelargestelementofanarrayCPU0CPU1CPU2CPU32020/2/2429域分解FindthelargestelementofanarrayCPU0CPU1CPU2CPU32020/2/2430域分解FindthelargestelementofanarrayCPU0CPU1CPU2CPU32020/2/2431域分解FindthelargestelementofanarrayCPU0CPU1CPU2CPU32020/2/2432域分解FindthelargestelementofanarrayCPU0CPU1CPU2CPU32020/2/2433域分解FindthelargestelementofanarrayCPU0CPU1CPU2CPU32020/2/2434域分解FindthelargestelementofanarrayCPU0CPU1CPU2CPU32020/2/2435域分解FindthelargestelementofanarrayCPU0CPU1CPU2CPU32020/2/2436域分解FindthelargestelementofanarrayCPU0CPU1CPU2CPU32020/2/2437域分解FindthelargestelementofanarrayCPU0CPU1CPU2CPU32020/2/2438任务（功能）分解First,dividetasksamongprocessorsSecond,decidewhichdataelementsaregoingtobeaccessed(readand/orwritten)bywhichprocessorsExample:Event-handlerforGUI2020/2/2439任务分解f()s()r()q()h()g()2020/2/2440任务分解f()s()r()q()h()g()CPU0CPU2CPU12020/2/2441任务分解f()s()r()q()h()g()CPU0CPU2CPU12020/2/2442任务分解f()s()r()q()h()g()CPU0CPU2CPU12020/2/2443任务分解f()s()r()q()h()g()CPU0CPU2CPU12020/2/2444任务分解f()s()r()q()h()g()CPU0CPU2CPU12020/2/2445流水线Specialkindoftaskdecomposition“Assemblyline”parallelismExample:3DrenderingincomputergraphicsRasterizeClipProjectModelInputOutput2020/2/2446ProcessingOneDataSet(Step1)RasterizeClipProjectModel2020/2/2447ProcessingOneDataSet(Step2)RasterizeClipProjectModel2020/2/2448ProcessingOneDataSet(Step3)RasterizeClipProjectModel2020/2/2449ProcessingOneDataSet(Step4)RasterizeClipProjectModelThepipelineprocesses1datasetin4steps2020/2/2450ProcessingTwoDataSets(Step1)RasterizeClipProjectModel2020/2/2451ProcessingTwoDataSets(Time2)RasterizeClipProjectModel2020/2/2452ProcessingTwoDataSets(Step3)RasterizeClipProjectModel2020/2/2453ProcessingTwoDataSets(Step4)RasterizeClipProjectModel2020/2/2454ProcessingTwoDataSets(Step5)RasterizeClipProjectModelThepipelineprocesses2datasetsin5steps2020/2/2455PipeliningFiveDataSets(Step1)Dataset0Dataset1Dataset2Dataset3Dataset4CPU0CPU1CPU2CPU32020/2/2456PipeliningFiveDataSets(Step2)Dataset0Dataset1Dataset2Dataset3Dataset4CPU0CPU1CPU2CPU32020/2/2457PipeliningFiveDataSets(Step3)Dataset0Dataset1Dataset2Dataset3Dataset4CPU0CPU1CPU2CPU32020/2/2458PipeliningFiveDataSets(Step4)Dataset0Dataset1Dataset2Dataset3Dataset4CPU0CPU1CPU2CPU32020/2/2459PipeliningFiveDataSets(Step5)Dataset0Dataset1Dataset2Dataset3Dataset4CPU0CPU1CPU2CPU32020/2/2460PipeliningFiveDataSets(Step6)Dataset0Dataset1Dataset2Dataset3Dataset4CPU0CPU1CPU2CPU32020/2/2461PipeliningFiveDataSets(Step7)Dataset0Dataset1Dataset2Dataset3Dataset4CPU0CPU1CPU2CPU32020/2/2462PipeliningFiveDataSets(Step8)Dataset0Dataset1Dataset2Dataset3Dataset4CPU0CPU1CPU2CPU3