Ceph安装部署文档

Ceph安装部署文档目录一：简介...........................................................................................................................................................................1二：部署环境介绍...........................................................................................................................................................1三：集群配置准备工作...................................................................................................................................................23.1:生成SSH证书，节点建立连接...................................................................................................................23.2:建立ip地址list,修改host文件.................................................................................................................33.3:网络端口设置...............................................................................................................................................33.4:安装centos的yum源软件包=全部节点安装........................................................................................43.5:添加时间同步定时任务...............................................................................................................................43.6:安装yum-plugin-priorities...........................................................................................................................8四：安装ceph软件包.....................................................................................................................................................84.1、安装ceph部署机，使用ceph-deploy方式安装部署................................................................................84.2、安装ceph存储集群（包括ceph对象网关）...............................................................................................8五：搭建ceph集群.........................................................................................................................................................85.1:新建ceph集群.............................................................................................................................................95.2:添加mon节点..............................................................................................................................................95.3:添加osd节点...............................................................................................................................................9六：安装过程出现的部分错误及解决方法.................................................................................................................11七：常用命令.................................................................................................................................................................11一：简介Ceph生态系统架构可以划分为四部分：1.Clients：客户端：数据用户2.mds：Metadataservercluster，元数据服务器：缓存和同步分布式元数据（此文档没有安装mds）3.osd：Objectstoragecluster，对象存储集群：将数据和元数据作为对象存储，执行其它关键职能4.mon：Clustermonitors，集群监视器：执行监视功能二：部署环境介绍主机名公网IP（eth0）私网IP（eth1）双网卡绑定bond0运行服务操作系统内核备注anode1172.16.100.35mon、osdCentOS6.7主节点anode2172.16.100.36mon、osdCentOS6.7anode3172.16.100.37mon、osdCentOS6.7三：集群配置准备工作3.1:生成SSH证书，节点建立连接1)所有节点修改hostnamevim/etc/sysconfig/network2)安装SSH(主节点)sudoapt-getinstallopenssh-server3)ssh登陆证书（主节点）ssh-keygen将配置完成的证书传输到其它服务器：ssh-copy-id{其他节点用户名}@{其他节点IP}Example:ssh-copy-idroot@anode24)创建并编辑~/.ssh/config文件，添加其他HostHost{Hostname}Hostname{ceph-server.fqdn-or-ip-address.com}User{Username}Example:Hostanode1Hostname172.16.100.35UserrootHostanode2Hostname172.16.100.36UserrootHostanode3Hostname172.16.100.37Userroot3.2:建立ip地址list,修改host文件1)创建工作文件夹，建立ip地址list，为文件传输做准备主节点执行mkdir/workspace/cd/workspace/vimcephlist.txt主机列表写入：anode1anode2anode32)修改host文件vim/etc/hosts追加内容如下：172.16.100.35anode1172.16.100.36anode2172.16.100.37anode3将host文件传输到其它主机foripin$(cat/workspace/cephlist.txt);doecho-----$ip-----;rsync-avp/etc/hosts$ip:/etc/;done3.3:网络端口设置检查网络设置，确定这些设置是永久生效的，重启之后不会改变。(1)Network设置，所有节点执行vim/etc/sysconfig/network-scripts/ifcfg-{iface}确认ONBOOT为YESBOOTPROTO对于静态IP地址来说通常为NONE如果要使用IPV6协议的话，需要设置IPV6{opt}为YES(2)防火墙设置(Iptables)，所有节点执行a)端口6789：Monitor需要通过此端口与OSD通信，因此所有Monitor节点需打开b)端口6800：7300：用于OSD通信。每个CephNode上的每个OSD需要三个端口，一个用于与client和Monitor通信；一个用于与其他OSD传送数据，一个用于心跳检测。如果一个CephNode上有4个OSD，打开12(=3×4)个端口。sudoiptables-IINPUT1-ieth0-ptcp-s172.16.100.35/255.255.255.0--dport6789-jACCEPTsudoiptables-IINPUT1-ieth0-ptcp-s172.16.100.35/255.255.255.0--dport6800:6809-jACCEPT配置完成iptable以后，确保每个节点上的改变永久生效，重启以后也能保持有效。/sbin/serviceiptablessave(3)tty设置,所有节点执行sudovisudo找到Defaultsrequiretty，大约在50多行，把它改成Defaults:{User}!requiretty或者直接把原句注释掉。确保Ceph-Deploy不会报错。(4)SELINUX,所有节点执行sudosetenforce0确保集群在配置完成之前不会出错。可以在/etc/selinux/config修改永久改变。3.4:安装centos的yum源软件包=全部节点安装(1)复制此文档所在文件夹中的.repo文件到目录/etc/yum.repos.d/中(2)传输yum源文件到其它节点服务器--delete删除那些DST中SRC没有的文件foripin$(cat/workspace/cephlist.txt);doecho-----$ip-----;rsync-avp--delete/etc/yum.repos.d$ip:/etc/;done(3)yum立即生效（所有节点执行）yummakecache3.5:添加时间同步定时任务(1)安装NTP软件包，所有节点执行yuminstallntp完成后，都需要配置NTP服务为自启动chkconfigntpdonchkconfig--listntpdntpd0:关闭1:关闭2:启用3:启用4:启用5:启用6:关闭在配置前，先使用ntpdate手动同步下时间，免得本机与外部时间服务器时间差距太大，让ntpd不能正常同步。#