搜索
centos上iscsi+multipath多路径存储配置手册这是我在实际工程中所做的一个文档，拿出来给大家分享，如有异议，欢迎探讨。目录一：客户端安装iscsi包。二：zai共享存储上为服务器划分磁盘空间。三：启用iscsi设备。四：安装dm-multipath包。五：配置参数修改和测试。一;客户端添加iscsi安装包。1、服务器安装iscsiinitiator包。安装包从安装光盘中找到root@bhnfs1.baihui.com~rpm-qa|grepiscsiiscsi-initiator-utils-6.2.0.868-0.7.el52、在/etc/iscsi/目录下/etc/iscsi/initiatorname.iscsi查看此文件可发现主机端的iqn号码。在EVAcommandview管理软件中添加HOST时需用到。二:为服务器划分磁盘阵列的磁盘空间（即Virtualdisk）具体详见存储配置。三:启用ISCSI设备1、在服务器端，启动ISCSI服务：root@bhnfs1.baihui.com~serviceiscsistart2、查询ISCSI设备（HPstorageworksmpx100）target的iqn号码：（必须）root@bhnfs1.baihui.com~iscsiadm-mdiscovery-tsendtargets-p192.168.14.1192.168.14.1:3260,0iqn.1986-03.com.hp:fcgw.mpx100.0.50014380025bad30.50014380025bad383、登陆到ISCSI存储设备[root@localhost~]#Iscsiadm–mnode–Tiqn.1986-03.com.hp:fcgw.mpx100.0.50014380025bad30.50014380025bad38-p192.168.14.1:3260–l上面命令是连续的，其中iqn号码为上面查询得到的号码，ip为iscsi存储中iscsi口对外映射的地址。4、查看磁盘:[root@localhost~]#fdisk-lDisk/dev/sda:8795MB,8795105280bytes255heads,63sectors/track,1069cylindersUnits=cylindersof16065*512=8225280bytesDeviceBootStartEndBlocksIdSystem/dev/sda1*1941755855183Linux/dev/sda294210681020127+82Linuxswap/SolarisDisk/dev/sdb:10.4GB,10487232000bytes255heads,63sectors/track,1275cylindersUnits=cylindersof16065*512=8225280bytesDeviceBootStartEndBlocksIdSystem得到新的盘符5、同样的方法添加另外一个ISCSI路径的target。（说明：一个mpx100的一个ISCSI端口有一个iqn号和一个ip地址）添加成功后fdisk–l应该可以看到两个盘符。他们的容量都一样。这两个盘符对应的是同一个磁盘阵列下的同一个LUN。6：映射完成之后使用下面命令查看映射结果：root@bhnfs1.baihui.com~iscsiadm-mnode192.168.14.1:3260,0iqn.1986-03.com.hp:fcgw.mpx100.0.50014380025bad30.50014380025bad38192.168.14.3:3260,0iqn.1986-03.com.hp:fcgw.mpx100.0.50014380025bad30.50014380025bad3c五：安装DM-multipath软件包由于需要实现存储设备的多路径访问及故障切换，故需要运行multipath服务，这个在centos中已经安装好了。如没有执行下面的命令。（原理为EVA4400中的一个真实的virtualdisk通过与2个冗余阵列控制器连接的2个MPX100B对外提供映射，故服务器上可以看到两个物理磁盘，但此磁盘对应一个真实的一个真实的virtualdisk，故这两条路径间可以实现故障切换和负载均衡）rpm–ivhdevice-mapper-1.02.13-6.9.i686.rpmrpm–ivhmultipath-tools-0.4.7-34.18.i686.rpm安装完成后，使用命令modprobedm_multipath来加载相应的模块，可以使用lsmod|grepdm_multipath来检查安装是否正常。六：配置文件的修改及创建1：etc/multipath.conf是多路径软件的配置文件，其中大部分配置是注释掉的，可以将他保存为备用，然后新建一个multipath.conf文件，编辑新的配置文件：实际有用的就是下面这些参数：其余参数都可以注释掉：defaults{user_friendly_namesyesudev_dir/devpath_grouping_policymultibusfailbackimmediateno_path_retryfail}保存退出2：启动服务：Servicemultipathdrestart启动成功后，我们会在dev目录下看到下面的目录：/dev/mapper/mpathn,/dev/mpath/mpathn,/dev/dm-n.说明:其中/dev/mapper/mpathn是软件虚拟出来的多路径设备，这个可以被我们用来挂载使用。/dev/mpath/mpathn这个是udev设备管理器创建的，不能用来挂载。/dev/dm-n这个是软件自身使用的，不能被软件以外使用。不可挂载。3：用multipath–ll命令查看到两条活跃路径，他们之间互为A/A关系。断掉其中一根线路，那么系统自动切换到另外一条。root@bhnfs1.baihui.com~multipath-llmpath2(3600508b4000a5bfd0000b00000200000)dm-2HP,HSV300[size=2.0T][features=0][hwhandler=0]\_round-robin0[prio=2][active]\_1:0:0:2sdd8:48[active][ready]\_2:0:0:2sdf8:80[active][ready]mpath1(3600508b4000a5bfd0000b000001a0000)dm-1HP,HSV300[size=2.0T][features=0][hwhandler=0]\_round-robin0[prio=2][active]\_1:0:0:1sdb8:16[active][ready]\_2:0:0:1sdc8:32[active][ready]mpath3(3600508b4000a5bfd0000b00000350000)dm-3HP,HSV300[size=2.0T][features=0][hwhandler=0]\_round-robin0[prio=2][active]\_1:0:0:3sde8:64[active][ready]\_2:0:0:3sdg8:96[active][ready]4：在多路径设备创建后，我们就可以像使用实际的物理设备样使用多路径设备了。前提是必须通过下面的命令将其标记为物理卷。pvcreate/dev/mapper/mpath15：然后对磁盘进行分区和格式化fdisk/dev/mapper/mpath1（说明：这里有很多种说法，我这里是自己经验总结出来的，和官方文档不同，如有异议欢迎讨论）分区之后，会在dev/mapper/目录下创建新的块设备，/dev/mapper/mpath1p1这个表示mpath1设备下面的分区1.如果没有看到或者不匹配，使用multipath–F命令清除多路径设备缓存后，再用multipath–v3命令重新加载。分区之后使用fdisk–l命令查看磁盘会看到dm-1磁盘下面已经有分区的信息了。****************************************************isk/dev/dm-1:2197.9GB,2197949513728bytes255heads,63sectors/track,267218cylindersUnits=cylindersof16065*512=8225280bytesDeviceBootStartEndBlocksIdSystem/dev/dm-1p1112157797656722183Linuxmkfs.ext3/dev/mapper/mpath0p1****************************************************6：最后将磁盘mount挂载，就可以正常使用了。7：将multipathd服务设置成开机自启动chkconfigmultipathdon8：注意事项：删除失效的iscsi连接：如果因为错误配置等原因创建了iscsi对应，系统不会自动删除，需手动删除。例如：[root@as-h-01~]#iscsiadm-mnode192.168.1.51:3260,1iqn.2006-01.com.openfiler:tsn.59dc8fc04fa2我们看到上面有一个iscsi对应，但实际中这个对应已经失效，系统不会自动删除。删除命名：iscsiadm-mnode-odelete-Tiqn.2006-01.com.openfiler:tsn.59dc8fc04fa2-p192.168.1.51:3260如果其中一条链路出现故障，那么在日志里面我们可以看到如下类似的信息：root@bhnfs1.baihui.com~tail/var/log/messagesDec1214:03:15bhnfs1kernel:iscsi:cmd0x28isnotqueued(8)Dec1214:03:15bhnfs1kernel:iscsi:cmd0x28isnotqueued(8)Dec1214:03:15bhnfs1multipathd:sdf:readsector0checkerreportspathisdownDec1214:03:15bhnfs1multipathd:sdg:readsector0checkerreportspathisdownDec1214:03:20bhnfs1kernel:iscsi:cmd0x28isnotqueued(8)Dec1214:03:20bhnfs1multipathd:sdc:readsector0checkerreportspathisdownDec1214:03:20bhnfs1kernel:iscsi:cmd0x28isnotqueued(8)Dec1214:03:20bhnfs1multipathd:sdf:readsector0checkerreportspathisdownDec1214:03:20bhnfs1kernel:iscsi:cmd0x28isnotqueued(8)Dec1214:03:20bhnfs1multipathd:sdg:readsector0checkerreportspathisdownroot@bhnfs1.baihui.com/etcmultipath-llsdc:checkermsgisreadsector0checkerreportspathisdownsdf:checkermsgisreadsector0checkerreportspathisdownsdg:checkermsgisreadsector0checkerreportspathisdownmpath2(3600508b4000a5b