GPFS通用并行文件系统之CentOS上部署GPFS集群

GPFS通用并行文件系统之CentOS上部署GPFS集群GPFS文件系统能够横跨在所有主机上，分布在所有磁盘上，条带化读写，高性能。信令管理机制，并发性好。可配置failgroup组，可用性高。下面是GPFS集群的部署过程......1.环境准备：yuminstall-ycompat-libstdc++-33rpm-buildkernel-headerskernel-develimakegcc-c++libstdc++RedHat-lsb2.GPFS安装：多台服务器都要安装rpm-ivhgpfs.base-3.4.0-0.x86_64.rpmrpm-ivhgpfs.docs-3.4.0-0.noarch.rpmrpm-ivhgpfs.gpl-3.4.0-0.noarch.rpmrpm-ivhgpfs.msg.en_us-3.4.0-0.noarch.rpm[root@Web02_abase]#rpm-qa|grepgpfsgpfs.msg.en_US-3.4.0-0gpfs.gpl-3.4.0-0gpfs.base-3.4.0-0gpfs.docs-3.4.0-03.GPFS升级多台服务器都要安装rpm-Uvhgpfs.base-3.4.0-21.x86_64.update.rpmrpm-Uvhgpfs.docs-3.4.0-21.noarch.rpmrpm-Uvhgpfs.gpl-3.4.0-21.noarch.rpmrpm-Uvhgpfs.msg.en_US-3.4.0-21.noarch.rpm[root@Web02_aupdate]#rpm-qa|grepgpfsgpfs.gpl-3.4.0-21gpfs.msg.en_US-3.4.0-21gpfs.base-3.4.0-21gpfs.docs-3.4.0-214.编译GPFS源码多台服务器都要安装[root@Web02_aupdate]#cd/usr/lpp/mmfs/src/[root@Web02_asrc]#makeLINUX_DISTRIBUTION=REDHAT_AS_LINUXAutoconfig[root@Web02_asrc]#makeWorld[root@Web02_asrc]#makeInstallImages[root@Web02_asrc]#makerpm#生成rpm包，生成路径会有提示[root@Web02_asrc]#rpm-ivh/usr/src/redhat/RPMS/x86_64/gpfs.gplbin-2.6.18-308.el5-3.4.0-21.x86_64.rpm[root@Web02_asrc]#rpm-qa|grepgpfsgpfs.gpl-3.4.0-21gpfs.msg.en_US-3.4.0-21gpfs.gplbin-2.6.18-308.el5-3.4.0-21gpfs.base-3.4.0-21gpfs.docs-3.4.0-215.配置主机的时间同步如果服务器之间时间不同步，部署GPFS集群时会失败[root@Web02_asrc]#crontab-l#timesyncbyyangrongat2014-1-24*/10****/usr/sbin/ntpdatepool.ntp.org/dev/null2&1[root@Nagiosupdate]#crontab-l#timesyncbyyangrongat2014-1-24*/10****/usr/sbin/ntpdatepool.ntp.org/dev/null2&16.配置ssh免密钥登陆注：也可以配置rsh免密钥，且gpfs默认是使用rsh密钥登陆远端主机[root@Web02_asrc]#cd/root/.ssh/[root@Web02_a.ssh]#ssh-keygen-trsa[root@Web02_a.ssh]#cpid_rsa.pubauthorized_keys[root@Web02_a.ssh]#sshWeb02_a#登陆自己测试[root@Web02_a.ssh]#cat/etc/hosts10.0.0.243Nagios10.0.0.236Web02_a[root@Web02_a.ssh]#scp-r/root/.sshroot@Nagios:/root#把密钥拷贝到其它主机[root@Web02_a.ssh]#sshNagiosLastlogin:FriJan2413:59:192014from192.168.2.53[root@Nagios~]#exit[root@Nagiossrc]#sshWeb02_aWarning:PermanentlyaddedtheRSAhostkeyforIPaddress'10.0.0.236'tothelistofknownhosts.Lastlogin:FriJan2415:03:442014fromlocalhost.localdomain[root@Web02_a~]#exit7.配置GPFS环境变量[root@Web02_a.ssh]#echo'exportPATH=$PATH:/usr/lpp/mmfs/bin'/etc/profile[root@Web02_a.ssh]#source/etc/profile[root@Web02_a.ssh]#mmfsmmfsadmmmfsdmmfsfuncs.Linuxmmfsckmmfsenvmmfsmnthelpmmfsctlmmfsfuncsmmfsmount#接下来的操作只需要在一台服务器上操作即可。此时已配置好互信，所有的配置文件信息自动同步到其它的服务器上。8.创建集群[root@Web02_a.ssh]#cat/tmp/gpfsfileWeb02_a:quorum-managerNagios:quorum-manager[root@Web02_a.ssh]#mmcrcluster-N/tmp/gpfsfile-pWeb02_a-sNagios-r/usr/bin/ssh-R/usr/bin/scp#默认GPFS使用rcp拷贝，使用rsh远程。此处修改远程方式和复制方式#查询命令：mmlscluster9.许可配置[root@Web02_a~]#mmchlicenseserver--accept-NWeb02_a,Nagios注：服务节点或quorum节点用server,其它节点用client，client节点只有挂载文件系统的权限，不能更改配置。命令如：mmchlicenseclient--accept-Nhost_a,host_b10.配置nsd盘当前采用多个分区部署GPFS集群当前分区：[root@Web02_a~]#fdisk-l/dev/sdbDisk/dev/sdb:1073MB,1073741824bytes255heads,63sectors/track,130cylindersUnits=cylindersof16065*512=8225280bytesDeviceBootStartEndBlocksIdSystem/dev/sdb111310439183Linux/dev/sdb21426104422+83Linux/dev/sdb32739104422+83Linux/dev/sdb440130730957+5Extended/dev/sdb5405210439183Linux/dev/sdb6536510439183Linux/dev/sdb7667810439183Linux[root@Nagios~]#fdisk-l/dev/sdbDisk/dev/sdb:1073MB,1073741824bytes255heads,63sectors/track,130cylindersUnits=cylindersof16065*512=8225280bytesDeviceBootStartEndBlocksIdSystem/dev/sdb111310439183Linux/dev/sdb21426104422+83Linux/dev/sdb32739104422+83Linux/dev/sdb440130730957+5Extended/dev/sdb5405210439183Linux/dev/sdb6536510439183Linux/dev/sdb7667810439183Linux编辑nsd配置[root@Web02_a~]#cat/tmp/nsdfile/dev/sdb1:Web02_a::dataAndMetadata:01:/dev/sdb2:Web02_a::dataAndMetadata:01:/dev/sdb3:Web02_a::dataAndMetadata:01:/dev/sdb5:Web02_a::dataAndMetadata:01:/dev/sdb1:Nagios::dataAndMetadata:02:/dev/sdb2:Nagios::dataAndMetadata:02:/dev/sdb3:Nagios::dataAndMetadata:02:#注：此时failgroup组1与组2磁盘数并不相同，但是磁盘不等是没关系的。两个组相当于raid1。[root@Web02_a~]#mmcrnsd-F/tmp/nsdfile-vno#生成NSD文件[root@Web02_a~]#cat/tmp/nsdfile#/dev/sdb1:Web02_a::dataAndMetadata:01:gpfs1nsd:::dataAndMetadata:01::system#/dev/sdb2:Web02_a::dataAndMetadata:01:gpfs2nsd:::dataAndMetadata:01::system#/dev/sdb3:Web02_a::dataAndMetadata:01:gpfs3nsd:::dataAndMetadata:01::system#/dev/sdb5:Web02_a::dataAndMetadata:01:gpfs4nsd:::dataAndMetadata:01::system#/dev/sdb1:Nagios::dataAndMetadata:02:gpfs5nsd:::dataAndMetadata:02::system#/dev/sdb2:Nagios::dataAndMetadata:02:gpfs6nsd:::dataAndMetadata:02::system#/dev/sdb3:Nagios::dataAndMetadata:02:gpfs7nsd:::dataAndMetadata:02::system#/dev/sdb5:Nagios::dataAndMetadata:02:gpfs8nsd:::dataAndMetadata:02::system11.配置仲裁盘#仲裁盘作用，当定义的仲裁盘有一半的磁盘不可用时，该集群不可用。另：有效磁盘数小于等于整个磁盘数一半时，整个文件系统不可用。[root@Web02_a~]#mmchconfigtiebreakerDisks=gpfs1nsd;gpfs2nsd;gpfs3nsdVerifyingGPFSisstoppedonallnodes...mmchconfig:Commandsuccessfullycompletedmmchconfig:Propagatingtheclusterconfigurationdatatoallaffectednodes.Thisisanasynchronousprocess.[root@Web02_atmp]#mmgetstate-a[root@Web02_atmp]#mmgetstate-aNodenumberNodenameGPFSstate------------------------------------------1Web02_a