南京大学IBM大型机使用手册

IBMHS22刀片集群系统用户手册第二版南京大学高性能计算中心编制2010年11月6日目录一、IBMHS22刀片集群系统的硬件架构和软件配置………………………………31.1硬件架构…………………………………………………31.1.1系统总体拓扑图…………………………………………………………31.1.2节点命名规则…………………………………………………………31.1.3登录节点配置…………………………………………………………31.1.4计算节点配置…………………………………………………………41.1.5存储系统配置…………………………………………………………41.1.6网络交换机配置…………………………………………………………41.2．软件…………………………………………………………51.2.1操作系统……………………………………………………………51.2.2系统管理工具……………………………………………………………51.2.3作业管理调度系统…………………………………………………………51.2.4编译软件……………………………………………………………51.2.5应用软件……………………………………………………………5二、IBM刀片集群系统的接入方式…………………………………………………62.1Windows用户接入方式……………………………………………………62.2Linux用户登录与传输文件…………………………………………………8三、Linux系统的常用命令……………………………………………………93.1基本目录和文件操作…………………………………………………93.2文件打包和解包………………………………………………113.3有关进程的命令………………………………………………123.4命令帮助和参考………………………………………………123.5文本编辑工具vi的快速参考………………………………………………13四、编译环境………………………………………………154.1编译系统………………………………………………154.2数学核心库MKL………………………………………………154.3并行编译环境………………………………………………16五、作业管理与调度系统………………………………………………185.1lsf基本介绍……………………………………………………185.2LSF作业生命周期流程………………………………………………185.3IBMHS22集群系统的队列划分………………………………………………185.4队列管理及其调度策略………………………………………………195.5利用LSF递交作业……………………………………………………195.6作业管理…………………………………………………………225.7查看系统队列配置…………………………………………………………225.8查看机器分组情况…………………………………………………………225.9查看机器载荷情况…………………………………………………………235.10查看各节点CPU的负载情况……………………………………………235.11统计用户使用机时…………………………………………………………232一、IBMHS22刀片集群系统的硬件架构和软件配置1.1硬件架构1.1.1系统总体拓扑结构图1.1.2节点命名规则：根据用途系统内各节点分为：（1）登录节点：c01n01,c01n02….c01n10对应的网址：172.19.18.11…..172.19.18.20（2）计算节点：c02n01,c02n02…c02n14c03n01,c02n02…c03n14…….c28n01,c28n02…c28n10c29n01,c29n02…c30n14c30n01,c30n02…c30n14(3)并行存储节点：fnode01-----fnode20(4)作业管理调度节点：qnode01,qnode02,qnode031.1.3登录节点配置：—HS22刀片中心9U高度，2X2900W电源，20Gb14口Infiniband交换机，双千兆对内14口对外六口交换机，双百兆管理网口，14个刀片插槽—每刀片2路IntelXeon55502.67GHz4核处理器—每节点配备24GBDDRIIIECC1333GHz内存—内置2块146GBSAS本地硬盘—内置2双1000Mbps网卡—一块Infiniband（20Gb/S）网卡—一块光纤存储卡（4Gb/S）3—登录节点包括5套网络：千兆外部接入网络、千兆作业调度、Infiniband并行计算互联网络、百兆管理网络和光纤存储网络1.1.4计算节点配置：—HS22刀片中心9U高度，2X2950W电源，20Gb14口Infiniband交换机，千兆对内14口对外六口交换机，双百兆管理网口，14个刀片插槽—每刀片2路IntelXeon55502.67GHz4核处理器—每节点配备12GBDDRIIIECC1333GHz内存—内置146GBSAS本地硬盘—内置1000Mbps网卡，用于作业管理、调度—一块Infiniband（20Gb/S）网卡，用于作业并行计算高速互联—计算节点包括3套网络：千兆作业调度、管理网络、Infiniband并行互联网络、百兆管理网络1.1.5存储系统配置：存储系统分为两部分：第一部分作为用户的家目录和备份用，由IBMDS5300SAN存储构成，SATA磁盘阵列，裸容量128TB，双存储控制器，16GB共享缓存，16个4Gb光纤主机接口，4Gb光纤存储网络，做成两个GPFS文件系统、通过光纤接口分别连接到10个登录节点上，可提供2GB的I/O总带宽，用户家目录在登录节点上的路径为：/gpfssan1/home/username或/gpfssan2/home/username第二部分作为并行计算时的临时工作缓冲区，总共由20台IBMX3650机架服务器组成：（1）Infiniband存储网络数据传输带宽20Gb/s，连接集群系统中所有节点（2）配置成两个GPFS网络文件系统，挂接在10个登录节点和402个计算节点上，为每个用户开辟一块tmp区挂接在家目录下，用户将需要并行计算的作业脚本、运行数据及有关程序拷贝到该区后，用bsub递交作业（3）20个存储节点分别命名为fnode01～fnode20,存储节点通过SAS卡与6块450GBSAS盘直连，其中一块硬盘作为系统盘，另5块盘做成raid5磁盘阵列，提供320Mb/s的IO带宽；通过Infiniband交换机与高速网络系统连接，组成1个gpfs文件系统，可提供6GB/s的I/O总带宽存储节点上的挂载路径为：/gpfsTMP1.1.6网络交换机配置：1.1.6.1两台IB交换机：VoltaireISR201220Gb/s主要用于GPFS文件系统网络和计算网络，每台288口，接入登录节点、存储节点、计算节点及两台交换机互联。1.1.6.2四台BNT交换机：G8000BNTRackSwitch主要用于外网接入和作业调度网络，每台两个万兆口上行，48口千兆接入计算、存储、调度和登录节点。1.1.6.3三台D-Link百兆交换机：D_link10/100MSwitch主要用于系统管理网络。41.2软件1.2.1操作系统:RedHadLinux5.364bitsEnterpriseServerEdition提供标准的64位Linux操作环境。1.2.2系统管理工具IBMxCAT1.31.2.3作业管理调度系统PlatformLSF7.21.2.4编译软件：IntelC11.0、C++11.0IntelFortran11.0IntelMKL10.0库OpenMPIIntelMPI3.2Mpich2.01.2.5应用软件：1．Gaussian032.VASP3.AMBER4.WRF5.MM56.MaterialStudio5二、IBM刀片集群系统的接入方式本中心接入校园万兆光纤至交换机，6条千兆线路接入登录刀片中心交换机。对于所有c01n01….c01n10十个登录节点。一般用户在开户时我们会为每个新用户设立一个用户名，一个初始密码，用户第一次登录后可用passwdusername,命令更改密码，这里的username是你的用户名。在为用户建立账号时，已经在.bashrc文件中，设置了一个基本的用户软件环境，用户可以根据自己的实际需要修改.bashrc文件，变更自己的软件工作环境。校外用户可利用南京大学VPN或校外bras先进入南京大学校园网络，再利用以以下方式即可接入高性能计算中心的登录节点。2.1Windows用户接入方式2.1.1利用F-SecureSSHClient登录界面：2.1.2利用Xmanager进行登录：62.1.3利用Putty登录界面：72.1.4上传与下载用户数据用户可以将作业脚本、源程序和输入数据上传至登录节点的用户目录下，或将计算结果下载。在WindowsNT/XP环境下建议用户使用F-secureSSHtransfer客户端工具，在Linux系统上推荐使用sftp客户端工具。当然还有其它许多支持SSH协议的终端工具。2.2Linux用户登录与传输文件2.2.1Linux用户可以直接打开普通终端或X终端登录，键入：ssh172.19.18.11即可进入登录界面。[zql@hpm~]$ssh172.19.18.19zql@172.19.18.19'spassword:Lastlogin:MonNov115:20:392010from202.119.46.100[zql@c01n09~]$2.2.2用scp和sftp等命令传输文件和数据。利用sftp传输远程主机上的一个文件到当前目录%sftpzql@202.119.46.23:/home/zql/test.f90利用scp-r传输远程主机上的一个目录到当前目录%scp-rzql@202.119.46.100:/home/zql/NAG.在远程主机上利用scp–r复制c01n09上的一个目录[zql@hpm~]$scp-rzql@172.19.18.19:/gpfssan1/home/zql/test.zql@172.19.18.19'spassword:test.c100%21282.1KB/s00:00test.f100%25732.5KB/s00:008三、Linux系统的常用命令3.1基本目录和文件操作3.1.1查看当前所在目录pwd%pwd/gpfssan1/home/test3.1.2改变当前目录cd相对或绝对路径%cd不管用户在哪级目录下，都将回到用户的主目录。%cd./test/tt到当前目录下的test目录下的tt目录里。%cd../src/doc到上一级目录下的src目录下的doc目录里。%cd/gpfssan1/apps/intel/Compiler到指定的路径下。3.1.3创建目录mkdir目录名%mkdirdata在当前目录下创建一个data目录。%mkdir./test/tt/data在当前目录下的test目录下的tt目录下创建data目录。3.1.4删除空目录rmdir目录名%rmdata删除空目录data,不能删除非空目录3.1.5移动或换名mv源文件或原目录目标文件或目标目录%mvvi.texvi.txt把文件vi.tex换名为vi.txt。%mvdatadata1把目录data换名为data1。3.1.6复制文件或目录cp参数[源文件][目标文件或路径]%cp–adocument./doc把当前目录下的document按原属性复制到当前目录下的doc目录中。%cp–rdata../maya把当前目录下的data目录复制到上一级目录下的maya目录中。3.1.7删除文件或目录rm参数文件名%rm–rfdata递归和强制删除当前目录下的data目录中的全部内容和data目录本身。%rm–i*提问性的删除当前目录下的所有文件，回答y或yes才删除被提示的文件。3.1