openstack 云计算架构部署实验

Openstack云计算架构部署实验v1.4versionIcehouseLion.Cui声明文档基本参照openstack官网、Ceph官网结合自己部署撰写的仅供学习本人从事Citrix虚拟化相关工作openstack只是兴趣学习(求工作^_^)此版本修正了一些步骤上的错漏,增加结合cephx身份认证文档中如有不对的地方可以指正转载请注明出处__Doc.version__版本时间说明v1.02014/5/22创建文档v1.12014/5/27基本完成文档v1.22014/6/18修正错漏,添加拓扑图说明v1.32014/7/3修正错漏,增加虚拟机热迁移部分v1.42014/11/7修正顺序.增加cephx认证(eth1)Management(eth0)Gateway(eth0)Functioncontroller10.0.1.11/2410.0.0.11/2410.0.0.2ControllerNodeneutron10.0.1.21/2410.0.0.21/24NeutronNodecompute0110.0.1.31/2410.0.0.31/24ComputeNodecompute0210.0.1.32/2410.0.0.32/24ComputeNodeceph0110.0.1.41/2410.0.0.41/24MON/MDSNodecehp0210.0.1.42/2410.0.0.42/24OSDNodecehp0310.0.1.43/2410.0.0.43/24OSDNode注意：neutron服务器拥有三块网卡,第三块网卡无须配置IP地址后端存储：统一使用ceph，提供rbd,cephfs,objectstorage虚拟网络：GRE基础操作系统：CentOSrelease6.5X86_64Management：API调用、虚拟网络GRE隧道、服务验证Public：读取CEPH分布式存储外网:访问instances计算节点：相互免密码登陆、使用共享存储、实现相互迁移主机基本配置笔者所有的Host都是通过VMwareWorkstation虚拟的机器版本信息如下所有节点都是使用CentOS6.5x86_64位操作系统配置Yum源//所有主机#cd/etc/yum.repo.d/#rm-f*#删除默认yum源#yuminstall添加epel源#vim/etc/yum.repo.d/ustc.repo#添加USTC源[ustc]name=ustcbaseurl==0enable=1导入RPM包签名信息[root@rhel]#rpm--import/etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-6关闭iptables和SELinux[root@rhel]#viustc.repo[root@rhel]#serviceiptablesstop[root@rhel]#chkconfig--level35iptablesoff[root@rhel]#sed-i's/enforcing/disabled/g'/etc/selinux/config添加主机hosts解析[root@rhel]#vim/etc/hosts#添加一下内容10.0.0.11controller10.0.0.21neutron10.0.0.31compute0110.0.0.32compute0210.0.0.41ceph0110.0.0.42ceph0210.0.0.43ceph03配置NTP时间服务器#yuminstallntp-y#sed-i's/server0.rhel.pool.ntp.org/#server0.rhel.pool.ntp.org/g'/etc/ntp.conf#sed-i's/server1.rhel.pool.ntp.org/#server1.rhel.pool.ntp.org/g'/etc/ntp.conf#sed-i's/server2.rhel.pool.ntp.org/#server2.rhel.pool.ntp.org/g'/etc/ntp.conf#sed-i's/server3.rhel.pool.ntp.org/#server3.rhel.pool.ntp.org/g'/etc/ntp.conf//controllerhost#echo'server127.127.1.0'/etc/ntp.conf#echo'fudge127.127.1.0stratum8'/etc/ntp.conf#servicentpdstart#chkconfigntpdon//otherhost#echo'servercontroller'/etc/ntp.conf#ntpdatecontroller;hwclock-w配置OpenstackYum源//controllercomputeneutronhost#yuminstallyum-plugin-priorities-y#yuminstall部署配置Ceph存储节点安装ceph自文档完结时,笔者已经使用更简单的ceph-deploy方式部署ceph集群,详细请参考另外一篇Ceph快速部署手册v1.0,建议先熟悉手动部署//ceph01ceph02ceph03#yuminstallceph-y创建Cephcluster//ceph01host获取一个uuid#uuidgena500528d-fc02-464e-b944-bddacbb5c3d1#记住此ID号编辑配置文件#vi/etc/ceph/ceph.conf[global]auth_service_required=cephx#filestore_xattr_use_omap=true#该选项只针对ext4文件系统格式auth_client_required=cephxauth_cluster_required=cephxauthsupported=cephxfsid=a500528d-fc02-464e-b944-bddacbb5c3d1#填入刚才获取到的uuidpublicnetwork=10.0.1.0/24clusternetwork=10.0.0.0/24osdpooldefaultsize=2osdpooldefaultminsize=1maxopenfiles=65535monosdfullratio=.95monosdnearfullratio=.85[mon]mondata=/data/$cluster-$id[osd]osdjournalsize=1024osdjournal=/data/$name/journalosddata=/data/$name创建Cephmon//ceph01host编辑配置文件，添加mon参数#vi/etc/ceph/ceph.conf[mon.node1]host=ceph01monaddr=10.0.1.41:6789创建一个monkeyring#ceph-authtool/etc/ceph/ceph.mon.keyring--create-keyring--gen-key-nmon.创建mon数据目录#mkdir-p/data/ceph-node1#ceph-mon-inode1--mkfs--keyring/etc/ceph/ceph.mon.keyring启动并查看集群状态#/etc/init.d/cephstartmon.node1#如果提示没有init-functions请执行如下#yuminstallredhat-lsb#如果提示NotfoundModule‘argparse’是python里面缺少了此模块#yuminstallpython-pip#pipinstallargparse#/etc/init.d/cephstartmon.node1#echo“/etc/init.d/cephstartmon.node1”/etc/rc.local#ceph–s出现以下提示，启动成功：创建Cephosd//ceph02host首先为节点添加一块硬盘（这里是主机ceph02）PS：硬件支持热插拔的情况下可以使用以下命令，在线检测新增硬盘#echo---/sys/class/scsi_host/host2/scan#hdparm-W0/dev/sdb#关闭硬盘写入缓存在Ceph01上执行以下获取osd的ID##cephosdcreate//记录得到的编号，该编号是下面创建的osd的ID,初次是0编辑配置文件#vi/etc/ceph/ceph.conf添加[osd.0]publicaddr=10.0.1.42clusteraddr=10.0.0.42同步配置文档到节点ceph02#scp-rroot@10.0.0.41:/etc/ceph/root@10.0.0.42:/etc/部署osd节点#sshroot@10.0.0.42#parted/dev/sdbmktablegpt#parted/dev/sdbmkpartosd.0120g//新加的硬盘为20g，并将所有空间划分为一个分区#yuminstallxfsprogs//安装xfs文件系统支持#mkfs-txfs/dev/sdb1#mkdir–p/data/osd.0#mount/dev/sdb1/data/osd.0#ceph-osd-i0--mkfs--mkkey#cephauthaddosd.0osd'allow*'mon'allowrwx'-i/data/osd.0/keyring#cephosdcrushaddosd.00.2root=defaulthost=ceph02启动osd进程#ceph-osd-i0查看进程#ps-ef|grepceph-osd以下提示启动成功查看osd状态#exit#cephosdstatosd添加成功开机自动启动#vi/etc/fstab添加/dev/sdb1/data/osd.0xfsdefaults00#echoceph-osd-i0/etc/rc.local同样的步骤添加ceph03作为osd节点,注意IP地址要对应起来,并且OSD编号新增应该为osd.1创建Cephmds//ceph01host创建mds#ceph-mds-inode1-nmds.node1-c/etc/ceph/ceph.conf-m10.0.1.41:6789检查mds状态，成功启动如下检查状态#ceph-s配置Ceph集成准备//ceph01host#创建卷池和图像池#radosmkpoolvolumes#radosmkpoolimages#增加两个池的复制水平#cephosdpoolsetvolumessize2#cephosdpoolsetimagessize2#创建Ceph客户端和密钥环#cephauthget-or-createclient.volumesmon'allowr'osd'allowclass-readobject_prefixrbd_children,allowrwxpool=volumes,allowrxpool=images'