高性能计算导论-introduction

高性能计算导论课程IntroductiontoHighPerformanceComputing课程内容什么是高性能计算应用对高性能计算的需求硬件对高性能计算的支持软件对高性能计算的支持参考文献黄铠，徐志伟著，可扩展并行计算技术，结构与编程，北京：机械工业出版社，2000陈国良著，并行计算-结构、算法、编程，北京：高等教育出版社，1999都志辉著，高性能计算并行编程技术-MPI并行程序设计，北京：清华大学出版社，2001Mpi:OpenMP:CUDA:OpenCL:High-performancecomputing(HPC)usessupercomputersandcomputerclusterstosolveadvancedcomputationproblems.Today,computersystemsapproachingtheteraflops-regionarecountedasHPC-computers.supercomputersandcomputerclusters→parallelcomputerAdvancedcomputationproblems→parallelprocessingalgorithmParallelComputerAparallelcomputerisasetofprocessorsthatareabletoworkcooperativelytosolveacomputationalproblem.Thisdefinitionisbroadenoughtoincludeparallelsupercomputersthathavehundredsorthousandsofprocessorsnetworksofworkstationsmultiple-processorworkstationsComputerwithmulti-coreprocessorandembeddedsystemsParallelcomputersofferthepotentialtoconcentratecomputationalresources---processors---onimportantcomputationalproblemsLargescaleofconcentratedcomputationalresourcesGridCloudParallelAlgorithmSpecifymultipleoperationsoneachstepAPPLICATIONSOFHPCDEMANDSONHPC应用对高性能计算的需求Areas气象、环境、海洋数值预报应用高能物理研究生命科学应用（基因序列搜寻与比对、新药研发）计算机辅助工程（工业生产）石油勘探图像渲染ReductionofexecutiontimeConcurrencyprovidedHIGHPERFORMANCECOMPUTERARCHITECTURE硬件对高性能计算的支持并行计算机模型物理机器模型物理（并行）机器模型SIMD计算机：Single-instructionmultiple-dataCPU+GPUMIMD计算机：multiple-instructionmultiple-dataSMPMPPClusterBladeserverPARALLELCOMPUTINGMODEL主要用于设计、分析并行算法抽象（并行）机器模型（abstractmachinemodel）PRAM模型（parallelrandom-accessmachine）多处理器之间的通信通过访问共享存储器实现BSP模型（bulksynchronousparallel）多处理器之间的通信通过网络传输实现PRAM模型ThecommunicationoverheadisignoredBSP模型Thecommunicationlatencyandsynchronousoverheadareconsidered.模型中的计算行为PRAM：ExclusivereadConcurrentreadExclusivewriteConcurrentwrite(unsafe)BSP：Computationsuperstepssynchronization成本函数PRAM:TEREWTCREWTCRCWBSP:TBSP=Pi+C+sLs:totalnumberofsuperstepsi..[0s-1]P:computationtimeC:communicationovertimeL:synchronizationoverheadPROGRAMMINGMODEL软件对高性能计算的支持软件对高性能计算的支持编程模型Aprogrammingmodelisacollectionofprogramabstractionsprovidingaprogrammerasimplifiedandtransparentviewofthecomputerhardware/softwaresystem.Parallelprogrammingmodelsarespecificallydesignedformultiprocessors,multicomputers,orvector/SIMDcomputers编程模型ProgrammingModel消息传递模型（messagepassing）MPI共享存储模型（sharedmemory）OpenMP数据并行模型（dataparallel）CUDA/OpenCLCPU-GPUarchitectureMapReduce编程模型PROGRAMSTRUCTURE程序结构SPMD：singleprogrammultipledataMPMD：multipleprogrammultipledataSIMD：singleinstructionmultipledataMaster/Workers衡量高性能系统性能的评价指标浮点运算的理论峰值（FLOPS）主频*总核心数*每个时钟周期浮点运算次数浮点运算的实测峰值（FLOPS）测试组件（Linpack）测试并行系统加速比加速比是衡量“并行收益”的重要指标Amdahl定律适用于固定计算规模的加速比性能描述Gustafson定律适用于可扩展问题Amdahl定律计算负载W(原(未改进)系统度量)串行分量Ws并行分量Wp并行部分的执行速度相对于原串行部分的加速比p串行分量比例f，并行分量比例1-f并行计算系统加速比:S=(Ws+Wp)/(Ws+Wp/p)=1/(f+(1-f)/p)p→∞,S→1/fGustafson定律计算负载W(原(未改进)系统度量)串行分量Ws并行分量p×Wp并行部分的执行速度相对于原串行部分的加速比p串行分量比例f，并行分量比例1-f并行计算系统加速比:S=(Ws+pWp)/(Ws+Wp)=f+p(1-f)f越低，p越大,S就越大