上海超级计算中心培训教程

上海超级计算中心培训教程培训日期：2010-11-18培训讲师：时炜魔方机群简介TOP500.org组织2010年发布的全球超级计算机五百强榜单中排名第35，中国Top100榜单中排名第4魔方（曙光5000A）机型曙光5000A230Tflops计算结点1450刀片：82个胖节点：接入结点32个普通接入节点，8个图形接入节点，每个节点2个CPUCPUAMD8347HE64位4核低功耗1.9GHzCPU内存总容量95TB磁盘总容量500TBSANStorage互联InfinibandConnectXDDR操作系统SuseLinuxEnterpriseServer10文件系统高性能并行文件系统作业调度系统商用作业调度系统LSF魔方系统目前状态对用户自09年8月1日起开放分为三个区域–A区工程计算–B区科学计算:13机柜650节点10,400核–C区科学计算:16机柜800节点12,800核文件存储系统：–B区科学计算:200TB帐号信息：Slot数：512cores磁盘空间限额：500GB登录方式2010年4月份开始，魔方启用新的VPN认证方式，原有的telnet登录方式逐步取消。客户需要首先通过VPN页面进行认证，然后可以使用telnet工具以及ftp工具访问魔方登录节点。Web页面访问VPN客户端直接访问新版VPN客户端下载地址：登录方式VPN客户端设置：登录方式登录节点IP地址：主机服务内网地址魔方A区telnet192.168.235.110ftp192.168.235.120魔方B区telnet192.168.235.10telnet192.168.235.20ftp192.168.235.50魔方C区telnet192.168.235.30telnet192.168.235.40ftp192.168.235.70登录方式登录节点IP地址：登录方式登录注意事项：VPN登录时最好采用VPN客户端方式，以Web登录时，如果出现无法登陆的现象，请首先清除IE临时文件和Cookie文件。登录到魔方机器后，如果需要进行编译或者测试程序，请首先切换到编译节点，请勿在登录节点进行编译工作或者运行程序。ftp传输时，需要注意Windows和UNIX格式的不同，需要采用dos2unix命令将Windows格式转化为UNIX格式。文件名称中请勿出现空格、斜杠等字符，以免Linux无法识别。及时下载并清理计算结果，以免超出磁盘最高容量限制禁止写入各计算节点本地磁盘空间登录方式魔方软件环境魔方编译环境编译器：—GNUGCC/GFORTRAN4.1.2目录:/usr/bin—PGIC/C++/FORTRAN7.0-7.7目录:/home/compiler/pgi—IntelC/C++/FORTRAN9.1/11.1目录:/home/compiler/intel/9.1/home/compiler/intel/11.1魔方编译环境MPI编译器—mvapich1.0forGNU/PGI/Intel目录:/home/compiler/mpi/mvapich/1.0/—mvapich21.4forGNU/PGI/Intel目录:/home/compiler/mpi/mvapich2/1.4/—openmpi1.2.8forPGI目录:/home/compiler/mpi/openmpi/1.2.8/pgcc.pgf90—openmpi1.4.1forGNU/PGI/Intel目录:/home/compiler/mpi/openmpi/1.4.1/—mpich1.2.7forGNU/PGI/Intel目录:/home/compiler/mpi/mpich-1.2.7/魔方编译环境常用数学库—AMDACML库目录:/home/compiler/pgi/linux86-64/7.0/lib/libacml.a—IntelMKL10.2.1目录:/home/compiler/intel/mkl/10.2.1注意，10.2版本的MKL在引用静态库之前，需要使用参数：-Wl,--start-group$(MKL_PATH)/libmkl_core.a-Wl,--end-group—IntelMKL8.1.1目录:/home/compiler/intel/mkl/8.1.1—其他数学库(blacs、fftw、global-array)目录:/home/users/twang/lib魔方编译环境bash配置文件./bashrc#PGI7.0PGI=/home/compiler/pgiLM_LICENSE_FILE=${PGI}/license.dat:$LM_LICENSE_FILEPATH=${PGI}/linux86-64/7.0/bin:$PATHMANPATH=${PGI}/linux86-64/7.0/man:$MANPATHexportPGILM_LICENSE_FILEPATHMANPATH#systemIntel9.1exportPATH=/home/compiler/intel/9.1/bin:$PATHexportLD_LIBRARY_PATH=$LD_LIBRARY_PATH:/home/compiler/intel/9.1/lib:/home/compiler/intel/mkl/8.1.1/lib/em64texportMANPATH=$MANPATH:/home/compiler/intel/9.1/man#systemIntel11.1#exportPATH=/home/compiler/intel/11.1/bin/intel64:$PATH#exportLD_LIBRARY_PATH=$LD_LIBRARY_PATH:/home/compiler/intel/11.1/lib/intel64魔方编译环境bash配置文件./bashrc(续)#MPI_HOME=/home/compiler/mpi/mvapich/1.0/gcc.gfortran#MPI_HOME=/home/compiler/mpi/mvapich/1.0/gcc.pgf90#MPI_HOME=/home/compiler/mpi/mvapich/1.0/pgcc.pgf90MPI_HOME=/home/compiler/mpi/mvapich/1.0/icc.ifort-9.1#MPI_HOME=/home/compiler/mpi/mvapich/1.0/icc.ifort-11.1#MPI_HOME=/home/compiler/mpi/mvapich2/1.4/icc.ifort-9.1#MPI_HOME=/home/compiler/mpi/mvapich2/1.4/icc.ifort-11.1PATH=${MPI_HOME}/bin:$PATHMANPATH=${MPI_HOME}/man:$MANPATHLD_LIBRARY_PATH=${MPI_HOME}/lib:${MPI_HOME}/lib/shared:${LD_LIBRARY_PATH}exportPATHMANPATHLD_LIBRARY_PATH魔方LSF作业管理系统B区开放队列—score队列(130节点，2080CPUs)运行串行和并行计算任务遵循小任务优先和使用量较低用户任务有限的排队策略—snode队列(500节点，8000CPUs)仅运行并行计算任务，且每节点必须使用16CPUs遵循严格的先进先出排队策略—reserve队列内部测试队列，请勿提交计算任务魔方LSF作业管理系统C区开放队列—cscore队列(200节点，3200CPUs)运行串行和并行计算任务遵循小任务优先和使用量较低用户任务有限的排队策略—csnode队列(500节点，8000CPUs)仅运行并行计算任务，且每节点必须使用16CPUs遵循严格的先进先出排队策略—creserve队列内部测试队列，请勿提交计算任务LSF主要命令LSF辅助命令LSF任务状态状态含义PEND任务在队列中排队等候RUN任务正在运行SSUSP任务在运行时被系统挂起(由于占用内存过多等原因)UNKWN任务状态未知(一般是由于节点死机导致)DONE任务正常结束，exit代码为0EXIT任务异常退出，exit代码为1提交计算任务提交计算任务注意事项通用计算脚本普通串行计算脚本OpenMP并行计算脚本MPI并行计算脚本注意事项Bash批处理脚本特殊计算任务脚本大内存占用串行计算脚本大内存占用OpenMP计算脚本大内存占用MPI并行脚本OpenMP+MPI混合并行脚本OpenMP+MPI混合并行脚本常用计算程序脚本分子力学软件：AmberGromacsNamd2量子力学软件：AbinitGaussianMaterialStudioMolproVaspWien2KAmber程序Amber是程序套件集合的名称，用于分子（特别是生物分子）的动力学模拟，并不是哪个具体的程序叫这个名称，而是很好地协调工作的各个程序部分一起提供了一个强大的理论框架，用于多种通用计算。AMBER提供两部分内容：用于模拟生物分子的一组分子力学力场（无版权限制，也用于其它一些模拟程序中）；分子模拟程序软件包，包含源代码和演示。目前Amber的最新版本为Amber11，于2010年4月25日发布，从本版本开始，Amber可以支持GPU计算。Amber程序只需要pdb文件作为初始的输入文件，通过Amber自带的tleap程序可以产生拓扑文件和xrd文件，并通过手动生成mdin输入文件。需要注意的是，在tleap文件中可以指定Amber的具体路径。Amber程序APP_NAME=scoreNP=16NP_PER_NODE=8RUN=―$HOME/amber10/bin/sander.MPI-O-imc15d3.mdin\-omc15d3.out-cmc15d2.rst-pmc15.prmtop-rmc15d3.rst\-xmc15d3.mdcrdAmber任务标准计算脚本：Gromacs程序Gromacs是用于研究生物分子体系的分子动力学程序包。它可以用分子动力学、随机动力学或者路径积分方法模拟溶液或晶体中的任意分子，进行分子能量的最小化，分析构象等。它的模拟程序包包含GROMOS力场（蛋白质，核苷酸，糖等），研究的范围包括从玻璃和液晶，聚合物，晶体和生物分子溶液。Gromacs最新版本为4.5.1，于2010年9月2日发布。自Gromacs4.5-beta1版本开始，能够支持GPU计算。Gromacs程序只需要pdb文件作为初始的输入文件，通过Gromacs自带的一系列小程序，诸如pdb2max、editconf、genbox等，可以产生拓扑文件和坐标文件，并通过grompp生成输入文件。Gromacs程序Gromacs任务标准计算脚本：APP_NAME=scoreNP=8NP_PER_NODE=8RUN=$HOME/gmx4.5.1/bin/mdrun-nice4–scpeptide_md-ocpeptide_md-ccpeptide_after_md-voutput.mdrun_mdNAMD程序NAMD程序是一个用来模拟大型生物体系的高度并行化的分子动力学程序，曾获得2002年的GordonBell奖。该程序使用Charm++作为通讯环境，可以使用高端平台上的几百颗CPU上进行并行运算，也可以在基于千兆网卡的普通Cluster上运行，其计算效率都成线性增加。NAMD一般使用VMD来进行初始化设置与轨迹分析，其文件也可以与Amber、Charm、X-PLOR等常用程序兼容。NAMD程序完全免费，可以从网站上下载到源程序，根据自己