深圳超算HPC使用手册v3.2

1深圳超算HPC使用手册v3.2系统运行部2015年9月1日2更新记录2015/8/12-Ver3.1更新项目更新状态VPN登陆方式的改变说明。已完成去除龙芯相关内容。已完成排版规划以及内容更新。施工中文档字体规范（暂定）正文字体：微软雅黑三号标题1字体：微软雅黑二号标题2字体：微软雅黑三号表格字体：微软雅黑五号3目录......................................................................................................31.基本环境........................................................................................62.系统软件环境................................................................................82.1操作系统............................................................................82.2作业调度系统....................................................................82.3编译器和并行实现.............................................................82.4公共软件位置....................................................................93.使用方法......................................................................................113.1登录和传输文件..............................................................123.1.1VPN登陆.........................................................................123.1.2终端登录.......................................................................133.2编译...................................................................................163.3作业提交..........................................................................17web方式提交作业.................................................................................................17命令行方式提交作业..............................................................................................203.4作业管理..........................................................................22附件A.常用的作业提交模板...........................................................2641普通串行计算.....................................................................262普通MPI并行作业............................................................273多个计算步骤的计算脚本.................................................274共享内存(openmp)并行作业..........................................295OpenMP+MPI混合并行作业........................................296mpich2并行作业(RAW方式)..........................................31附录B：商用软件使用方法...........................................................341Fluent软件...........................................................................342ANSYS软件...........................................................................363CFX软件................................................................................384ABAQUS软件........................................................................405MARC软件............................................................................426NASTRAN软件......................................................................447LSDYNA软件.........................................................................468DYTRAN软件........................................................................489HFSS软件..............................................................................50附录C：技术支持............................................................................5156国家超级计算深圳中心采用由中科院和曙光公司联合研制的曙光6000超级计算系统，该系统整体计算能力实测峰值为1.271千万亿次浮点运算（1.271PFLOPS）。于2011年11月16日投入运行。本文主要介绍曙光6000超级计算系统的使用方法和环境。1.为了方便管理和使用，曙光6000超级计算系统高性能计算区分成4个逻辑分区可供所有用户使用，用户可以根据不同的业务需求选择适合自己计算类型的分区。分区名GG分区GK分区FN分区YW分区节点数960640128520CPU型号Intel5650Intel5650AMD6136Intel5650CPU核数12123212CPU主频2.66GHz2.66GHz2.4GHz2.66GHz内存24G24G128G48GIB网络20G20G20G20G本地硬盘149G149G300G149G共享硬盘256T835T256T1800T7曙光6000超级计算主机系统的存储分为两种：每个计算节点配备的本地磁盘和由存储节点建立的高速并行文件系统。其中本地硬盘不建议普通用户大量使用，仅供计算节点操作系统使用（以及计算所需的临时文件），用户的所有操作都应该在账号所对应的$HOME（该$HOME所在的位置为高速并行文件系统）下进行，用户登录时，会自动被引导到自己账号的$HOME下面。鉴于存储空间的有限和数据安全的考虑，请用户务必做到及时下载计算结果文件并清理空间。用户可以通过VPN验证后使用ssh工具进入登录节点，使用LSF作业调度系统提交作业。由于考虑到如果用户在公共节点运行可能会引起节点宕机的测试程序，中心禁止在登录节点运行程序以及下载数据。程序编译请登陆后跳转到编译节点，数据传输请连接ftp服务器进行上传以及下载。82.2.1操作系统计算节点和前端接入节点的操作系统均为64为SuSELinuxEnterpriseServer(SLES)11SP1，提供标准的64位Linux操作系统环境。用户需要熟悉一些基本的Linux命令行操作，特别是文件目录操作，并能熟练使用一种编辑器（vi或emacs等）。2.2作业调度系统目前在曙光6000超级计算机上使用的作业管理系统是IBMPlatformLSF8.0.2(LoadSharingFacility)作业管理系统。2.3编译器和并行实现曙光6000主机系统支持OpenMP和MPI两种并行方式。OpenMP为共享内存方式，仅能在一个计算节点内并行，最大线程数不能超过该节点处理器核心数（GG/GK/YW分区为12，Fn分区为32）。MPI则是分布式并行，计算作业可以在一个或者若干个节点上进行，最大进程数仅受用户账号所能调用的CPU总数限制。目前常见的支持InfiniBand网络的MPI实现是MVAPICH2和OpenMPI。92.4公共软件位置编译器GG/GK分区共安装3套编译器：系统自带gnu4.3.4(gcc,g++,gfortran)intelcompiler2011(icc,icpc,ifort)pgicompiler2011(pgcc,pgcpp,pgfortran)(目前只能在gg0110,gk0110上使用)使用intel或者pgi编译器之前先source对应环境变量,source/home-gg/env/intel-12.1.sh或者source/home-gg/env/pgi-2011.sh10MPI库MPI库安装在/home-gg/compiler/mpi下。目前有mpich2-1.4.1p1-gnu.shmpich2-1.4.1p1-intel.shmpich2-1.4.1p1-pgi.shmvapich2-1.8a1p1-gnu.shmvapich2-1.8a1p1-intel.shmvapich2-1.8a1p1-pgi.shopenmpi-1.4.4-gnu.shopenmpi-1.4.4-intel.shopenmpi-1.4.4-pgi.sh在/home-gg/env目录下分别有设置编译环境的脚本，用户可以source脚本，如用户想使用openmpi1.4.4的gnu版本，命令为:source/lsfhome/env/openmpi-1.4.4-gnu.sh或者./lsfhome/env/openmpi-1.4.4-gnu.sh注意：如果您使用的是tcsh或者zsh，请根据环境脚本自行编写113.外网用户只能通过VPN访问曙光6000超级计算集群。一般作业的基本步骤如下：VPN登陆--用户通过网页访问VPN页面并获取访问权限算例上传--通过FTP工具将模型数据文件和脚本文件上传至FTPserver。作业提交--利用Putty工具或其他SSH工具登陆曙光6000计算机，提交命令提交脚本文件进行计算。作业监控--通过Putty工具方式登录超级计算机，采用作业管理命令监控作业的执行情况。结