ceph磁盘挂载详解rbd-cephfs

###########################客户端内核要求##############################1:升级client端内核操作系统使用CentOS6.6，因为系统已经包含xfs的支持可以直接使用不需要再次编译。由于CentOS6.5系统的内核为2.6.32，因此要关闭硬盘的写入缓存，若高于此版本不需要关闭。#hdparm-W0/dev/sdb02：升级系统内核kernel2.6.34以前的版本是没有Modulerbd的，把系统内核版本升级到最新rpm--import://elrepo.org/elrepo-release-6-5.el6.elrepo.noarch.rpmyum--enablerepo=elrepo-kernelinstallkernel-ml-y3:安装完内核后修改/etc/grub.conf配置文件使修改配置文件中的Default=1toDefault=04:验证内核支持[首先加载ceph.ko]#modprobe-l|grepcephkernel/fs/ceph/ceph.kokernel/net/ceph/libceph.ko#modprobeceph5:机器重启后生效init6####################RBD方式挂载###################################1：安装ceph软件包、同步集群配置文件和keyyuminstallceph–y2：新建一个cephpoolcephosdpoolcreate{pool-name}{pg-num}[{pgp-num}]实例cephosdpoolcreaterbdpool1001003：在pool中新建一个镜像rbdcreaterbdpoolimages--size80960-prbdpool或者rbdcreaterbdpool/rbdpoolimages--size1024004：列出块设备在一个特定的池，执行以下命令并替换大括号内相关{POOLNAME}池名称：rbdlsrbdpool5：查询一个池内的镜像信息，执行下面的，更换{镜像}的镜像名称和池名称替换{池名称}：rbd--image{image-name}-p{pool-name}info示例：rbd--imagerbdpoolimages-prbdpoolinforbdimage'rbdpoolimages':size80960MBin20240objectsorder22(4096kBobjects)block_name_prefix:rb.0.1272.238e1f29format:16：把镜像映射到pool块设备中rbdmaprbdpoolimages-prbdpool/dev/rbd17：取消映射块设备:使用RBD命令要取消映射块设备镜像，指定rm选项，设备名称（即，一般以作为块设备映像名称相同）rbdunmap/dev/rbd/{poolname}/{imagename}例如：rbdunmap/dev/rbd18：查看镜像映射maprbdshowmappedidpoolimagesnapdevice1rbdpoolrbdpoolimages-/dev/rbd19：格式化映射的设备块mkfs.xfs-m0/dev/rbd1参数：-mreserved-blocks-percentage，保留块百分比,-m:设置预留空间默认是5%。也就是2G的空间，文件系统只是有2G*95%10：挂载新建的分区mkdir/rbddirmount/dev/rbd1/rbddirdf-h/dev/rbd078G56M78G1%/rbddir11：把挂载的信息写到fstab里/dev/rbd0/rbddirxfsdefaults0012：查看创建的池cephosdlspools13：从池中取出一个块设备，请执行以下命令，请更换大括号内相关的镜像的名字，池的名称替换{池名称}的名称及替换大括号内{镜像}名称：rbdrm{image-name}-p{pool-name}示例：rbdrmrbdpoolimages-prbdpool14：删除池cephosdpooldeletekmankman--yes-i-really-really-mean-it15：创建池参考资料挂载####################################创建cephfs文件系统对于一个刚创建的MDS服务，虽然服务是运行的，但是它的状态直到创建pools以及文件系统的时候才会变为Active.1：查看cephfs状态命令：cephmdsdump2：创建cephfs存储池cephosdpoolcreate{pool-name}{pg-num}[{pgp-num}]{pool-name}--存储池名称，必须唯一。{pg-num}--存储池拥有的归置组总数。{pgp-num}--用于归置的归置组总数。cephosdpoolcreatecephfs_data10cephosdpoolcreatecephfs_metadata10cephfsnewleadorfscephfs_metadatacephfs_data3：验证数据生成[root@web-3-136~]#cephmdsstate10:1/1/1up{0=dn-5-228=up:active},2up:standby##########################cephfs客户端挂载###############################1：安装客户端挂载软件yuminstallceph-fuse-y2：创建挂载目录mkdir/cephfs磁盘挂载3.1：使用密钥挂载cephauthlist#查找client.admin密钥client.adminkey:AQADm49VtOnOORAAX9Toe4luaBKJPLsh2gmUCA==caps:[mds]allowcaps:[mon]allow*caps:[osd]allow*挂载：mount-tceph172.17.5.225:6789://cephfs-oname=admin,secret=AQADm49VtOnOORAAX9Toe4luaBKJPLsh2gmUCA==4：验证挂载结果：df-ThFilesystemTypeSizeUsedAvailUse%Mountedon172.17.5.225:6789:/ceph30T648M30T1%/cephfs5：证书来源位置more/etc/ceph/ceph.client.admin.keyring#key证书来源[client.admin]key=AQADm49VtOnOORAAX9Toe4luaBKJPLsh2gmUCA==6：使用密钥文件挂载mount-tcephnode01:6789://cephfs-v-oname=admin,secretfile=/etc/ceph/ceph.client.admin.keyring或mount.ceph172.17.5.225:6789://cephfs-oname=admin,secret=AQADm49VtOnOORAAX9Toe4luaBKJPLsh2gmUCA==7：若果有多个mon监控节点，可以挂载多可节点，保证了cephFS的安全行，当有一个节点down的时候不影响写入数据mount.cephdn-5-225,dn-5-227,dn-5-229://cephfs-oname=admin,secret=AQADm49VtOnOORAAX9Toe4luaBKJPLsh2gmUCA==8：验证挂载信息：configfile/etc/modprobe.conf,allconfigfilesbelonginto/etc/modprobe.d/.df-hFilesystemSizeUsedAvailUse%Mountedon172.17.5.225,172.17.5.227,172.17.5.229:/30T648M30T1%/cephfs9：把挂载的信息写到fstab里[root@client~]#vi/etc/fstab172.17.5.225,172.17.5.227,172.17.5.229://cephfscephname=admin,secret=AQADm49VtOnOORAAX9Toe4luaBKJPLsh2gmUCA==,0010：ceph-fuse指定key文件的调用方式ceph-fuse-k/etc/ceph/ceph.client.admin.keyring-mdn-5-225/cephfs11：验证挂载信息：df-hceph-fuse30T648M30T1%/cephfs12：文件系统表以下内容添加到/etc/fstab中id=admin,conf=/etc/ceph/ceph.conf/cephfsfuse.cephdefaults0013：执行挂载[root@web-3-136~]#mount-aceph-fuse[11305]:startingcephclient2015-07-1516:49:29.3220487f3325caa760-1init,newargv=0x47e97d0newargc=13ceph-fuse[11305]:startingfuse14：验证挂载信息：[root@web-3-136~]#df-ThFilesystemTypeSizeUsedAvailUse%Mountedonceph-fusefuse.ceph-fuse30T648M30T1%/cephfs15：挂载后查看结果，注意观察类型df-Th参考文档对象文件上传，查看###########################1：创建一个pool#radosmkpool2：上传radosput{object-name}{file-path}--pool=putdir示例radosputzabbix_client_install.tar.gz./zabbix_client_install.tar.gz--pool=putdir3：查看上传内容：rados-pputdirlszabbix_client_install.tar.gz4：下载对象文件下载radosget{object-name}{file-path}--pool=putdirradosgetzabbix_client_install.tar.gz/workspace/zabbix_client_install.tar.gz-pputdir#####################################################################cephosdpoolcreaterbdp3.11100100rbdcreateimage3.11--size80960-prbdp3.11rbdmapimage3.11-prbdp3.11m