浪潮天梭TS10K集群培训29/17/2019Inspurgroup第一章集群介绍13一、什么是集群?“联结起来的计算机的集合,整个系统使用起来像一个单一的一体的计算资源”-GregPfister,InSearchofclusters4二、为什么用集群?通俗的说,就是单一计算节点的资源已经无法满足我们的计算需求,比如内存的容量,cpu的计算能力。也许一个算例我们要计算数周甚至数月,这时候我们就需要用到集群来处理这些计算问题。5三、集群有哪些部分组成?计算节点:承载集群的计算任务管理节点:用户登录、管理调度整个集群、任务提交等,提供对整个系统的监控管理存储节点:存储大量的计算数据,高可用,高安全6硬件架构42U8U8U2U2U1U2U2U2U2U2U1U1UI8000cu01~cu20I8000cu21~cu31S26G2510HKVMio04io03io02io01mu01以太交换机IB交换机7网络架构管理节点mu01510H扩展柜io01io02io03io04I8000cu01~cu20I8000cu21~cu31管理网络计算网络锐捷以太网交换机MellanoxIb交换机8网络规划管理ip:11.11.11.100管理节点11.11.11.1~31计算节点11.11.11.32~35io节点计算ip:10.10.10段,尾数同上IPMI网络:11.11.100.100管理节点11.11.100.101~104io节点11.11.101.100第一个刀箱,对应101~120,cu01~cu2011.11.102.100第二个刀箱,对应101~121,cu21~cu3199/17/2019Inspurgroup第二章集群使用210需要的条件:1、客户端与集群连通2、客户端如果为linux可以直接ssh登录到管理节点;如果为windows系统,需要安装相应软件3、一个合法账号!4、相应操作知识积累11并行环境搭建Linux集群并行环境主要配置以下4个服务1、rsh服务通讯服务2、ssh服务通讯服务3、nfs服务目录共享4、nis服务用户同步12并行环境搭建-rsh服务配置rsh服务配置开启root用户对所有节点的rsh权限1、编辑/etc/hosts节点名称解析,加入所有(包括本机)节点的ip地址和对应的计算机名;此文件在一台机器上编辑完毕可以拷贝到别的节点上使用;注意127.0.0.1这一行不要动,否则会影响到服务器的正常使用。例如:11.11.11.100mu0111.11.11.1cu0111.11.11.10cu1013并行环境搭建-rsh服务配置2、编辑/root/.rhosts和/etc/hosts.equiv,加入所有节点的计算机名例如:mu01cu01cu103、开启rsh服务:setup→systemservices→[*]rsh[*]rlogin[*]rexec14并行环境搭建-rsh服务配置4、编辑/etc/securetty,加入rsh,rexec,rlogin(在文件后面添加就可以)5、重起服务servicexinetdrestartrsh的配置需要在所有节点上进行。15并行环境搭建-ssh服务配置1、在mu01上以root登录,然后运行ssh-keygen–tdsa,目的是简单的在/root下创建目录.ssh,当提示输入passphase时打入两次回车。这将生成/root/.ssh/id_dsa和/root/.ssh/id_dsa.pub2、在cu01上以root登录,运行ssh-keygen–tdsa,然后在mu01上运行scp/root/.ssh/id_dsa.pubgpu01:/root/.ssh/authorized_keys,在cu01的/root/.ssh/目录下运行catid_dsa.pub〉〉authorized_keys,再运行scpauthorized_keysgpu02:/root/.ssh/16并行环境搭建-ssh服务配置3、在cu02的/root/.ssh/目录下运行catid_dsa.pub〉〉authorized_keys,再运行scpauthorized_keyscu03:/root/.ssh/4、重复以上步骤在后面结点上,在最后的计算节点上将生成一个完整的authorized_keys文件,然后把authorized_keys文件用scp命令拷贝到其余所有节点的/root/.ssh/目录下,ssh配置完成。17并行环境搭建-nfs服务配置server端配置1、建立文件/etc/exports(若已存在该文件,则先删除再重新建立)2、vi/etc/exports/,在文件内添加上语句:/home*(rw,no_root_squash,sync)/opt*(rw,no_root_squash,sync)(目录为需要共享的目录,目录和星号之间有空格。)3、激活nfschkconfignfsonservicenfsrestart此时可以到client上用showmount–eIP(或者server的主机名)来扫描server端共享的目录。若exports文件重新编辑了,可以运行exportfs–rv来更新一下,这样client端就可以挂载修改后的目录了。18并行环境搭建-nfs服务配置client端配置1、扫描可以使用的server目录:showmount–emu012、使用mount将远程主机分享的目录挂载进来:mount–tnfsvers=3mu01:/opt/opt此时可以通过df命令看挂载是否正常;为了实现开机自动挂载还可将mount–tnfsvers=3mu01:/opt/opt写入到/etc/rc.local中以使节点启动后自动挂载目录。19并行环境搭建-nis服务配置server端配置1、配置NIS域名nisdomainnameTS10K把NISDOMAIN=TS10K添加到network里实现开机自动配置域名2、开启两个服务:serviceyppasswddstartserviceypservstart(需要先配置NIS域名才能启动成功)可以使用rpcinfo–u本机名ypserv察看ypserv是否启动,若成功启动会看到:program100004version1readyandwaitingprogram100004version2readyandwaiting20并行环境搭建-nis服务配置若没看到,则把ypserv重新启动一下即可。回车后会显示类似内容:mu01hasbeensetupasaNISserver,nowyoucanrunypinit–smu01onallslaveserver.在server端重新建立新用户后,需要到/var/yp目录下make一下,这样client端才能使用新用户登录3、数据初始化cd/usr/lib64/yp./ypinit–mctl+d来结束这个命令再打入回车21并行环境搭建-nis服务配置client端配置1、设定NISclientsetup→authenticationconfiguration→[*]useNIS填写:Domain:TS10K(NIS的域名)Server:mu01(server端的名称或者ip)2、开启服务setup→systemservices→[*]ypbindserviceypbindrestart使用命令:ypcatpasswd可以发现在server端建立的帐户名称被列举了出来;若使用这些帐户的话需要在本地/home目录下建立其相对应的用户目录。22编译环境集群中现存的编译器gcciccifortmpiccmpiicc等调用集群内部高速的IB计算网络,通常使用mpirun-genvI_MPI_DEVICErdssm–np–machinefile+执行文件rdssm即是mpirun编译器调用IB协议的参数。如果是ssm,则是使用以太网络。23编译软件安装intelC编译器,fortran编译器,mkl数学库一体包。安装intelmpi编译器。安装目录:/opt/intel计算节点挂载管理节点的nfs共享安装路径调用编译软件等。24编译软件-Intel并行环境变量设置在~/.bashrc里加入如下三行source/opt/intel/composer_xe_2015.1.133/bin/compilervars.shintel64###intel编译器source/opt/intel/mkl/bin/intel64/mklvars_intel64.sh###intel数学库source/opt/intel/impi/5.0.2.044/bin64/mpivars.sh###intelmpi执行source~/.bashrc使编译器环境变量生效。可将它写进/etc/bashrc里,新加用户将其作为默认编译器25MPI程序的并行编译编译方法:mpicc-ohellohello.cmpiicc–ohellohello.c执行方法:./hello注:1,mpicc是调用gcc为底层的编译,mpiicc是调用icc为底层的编译。2,源代码需支持并行编译。26程序编译步骤简介1.下载源码包(不是版本越新越好)2.查看INSTALL文件或官方installation指导(查看依赖和参数)3.configure--prefix=path/to/your/soft(可选)4.make5.makeinstall依赖库1.查看版本2.指定安装路径3.设置环境变量写到~/.bash_profile(普通用户)exportPATH=$PATH:/path/to/your/binexportLD_LIBRARY_PATH=$LD_LIBRARY_PATH:/path/to/your/lib软件编译27TSExa并行文件系统底层为lustre并行系统,包含4台2U机架式5270M4,其中两台io01,io02做为mds双机互备节点,另外两台io节点作为oss节点,各自挂载一部分存储空间分别为ost0,ost1,且为双机互备。Mdt包含两块硬盘做raid1;ost包含7块硬盘做raid5,剩下一块全局热备盘,共计17块硬盘。每个ost约22T空间,共约44T空间。28TSExa并行文件系统Io01与io02存在心跳,io03与io04之间存在心跳,当一节点宕机时,另一互备节点会接替其挂载资源并提供服务。管理节点mu01,及31台计算刀片为lustre的客户端,挂载目录为/lustre即为存储空间,可用df–h查看。挂载指令mount.lustreibio01@o2ib,ibio02@o2ib:/lustre/lustre29TSCE集群作业管理调度软件TSCE集群作业管理调度软件常用作业指令qnodes,pbsnodes用于查看当前可用节点与核心数。30TSCE集群作业管理调度软件qnodes与pbsnodes等效,通常可以qnodes–lall查看节点是否就位31qsub作业提交,用法:qsubtest.pbsqstat查看作业状态。qstat–an查看作业使用节点及核心情况TSCE集群作业管理调度软件32qdel删除作业,用法:qdel作业号几种作业的状态(S):Q作业排队R作业执行C作业清除E作业退出TSCE集群作业管理调度软件33PBS相关指令管理节点服务:pbs_server,作业管理服务maui,作业调度器计算节点服务:pbs_mom,作业调度子服务,与pbs_server相对应servicepbs_serverstatus查看服务状态。每次重启pbs_server服务时,需对应重启pbs_mom服务,最终保证qnodes下没有down的节点。34所装软件版本intelparallel2015.1.133/opt/intelintel编译器Intelmpi5.0.2.044/opt/intel/impi/intel并行mpiTSCE3.3/opt/tsce浪