EScloud 云平台PoC项目测试方案

EScloud云平台PoC项目测试方案EscloudPoC项目测试方案目录1.环境架构(5)1.1物理拓扑设计图(5)1.2网络角色说明(7)1.3网络规划明细(7)2.测试系统说明(9)2.1云平台系统功能设计(11)2.2功能点同社区版对比(14)3.测试环境与配置(18)3.1测试工具：(18)3.2测试说明(18)3.2.1测试内容(18)3.2.2测试方法(18)4.测试案例(19)4.1存储模块测试(19)4.1.1总可用量及已使用量(19)4.1.2fio测试集群和虚机的iops(19)4.1.3虚拟机挂载云硬盘:(21)4.1.4为每个云硬盘创建5个快照(24)4.1.5卸载云硬盘，并删除，执行下面两个脚本。(26)4.1.6存储QOS(26)4.2网络模块测试：(27)4.2.1支持通过vlan模式接入原有物理网络(27)4.2.2使用iperf测试同一宿主机及跨宿主机之间网络传输效率(27)4.2.3负载均衡(28)4.2.4防火墙(31)4.2.5浮动ip(32)4.2.6Qos(33)4.2.7虚拟机抓包测试(34)4.3计算(34)4.3.1批量创建、删除虚机(34)4.3.2虚机在线迁移(34)4.3.3使用非dhcp注入ip(36)4.3.4无插件支持web和vnc登陆(37)4.3.5支持自定义导入模板(38)4.3.6性能监控(39)4.3.7修改虚机配置(39)4.4安全(40)4.4.1linuxopenssh密钥注入(40)4.4.2重置操作系统管理员密码(42)4.5高可用测试(44)4.5.1计算节点断电(44)4.5.2网络节点和控制节点断电(44)4.5.3服务器网线拔出(44)4.6资源监控(45)4.6.1服务器硬件状态监控(45)4.6.2服务器硬件资源使用率监控(45)4.6.3硬件资源使用率阀值告警(46)4.6.4云管理平台组件工作状态监控报警(46)4.6.5yceph状态监控报警(46)4.7其他(47)4.7.1是否有SDK和命令行管理工具(47)4.7.2用户管理(47)4.7.3计费(47)4.7.4针对管理员的统一平台(48)4.7.5用户使用资源统计(48)4.7.6整个云平台资源展现(48)4.7.7单个物理机使用状况展现(49)1.环境架构1.1物理拓扑设计图架构简述共10台服务器：分别为控制节点3台，计算节点三台，存储节点3台（无SSD硬盘）部署节点1台；控制节点三台组成HA，保证OpenStack高可用，可随机宕掉任意节点不影响业务；网络节点两台为对接SDN预留，抽出一台作为部署机，本次测试是在一台创建了一个kvm虚拟机作为roller部署节点；融合型节点3台同时作为计算和存储节点。每台机器上面有8块sata。并且每块sata单独作为一个osd。也即为每台节点上面共有8个sata类型的osd。每台服务器一根千兆电口为PXE部署网络，两根万兆光纤绑定走Public和Private流量，两根绑定走Mgmt和Storage流量。由于端口限制，控制节点只有三根万兆光纤，所以Public和Private网络未实现冗余。1.2网络角色说明ESCloud网络分为五类：Public:控制节点集群网络，对外提供OpenStackDashboard，需要连通公司网络，本测试中为vlan201网段，还集成了ceph-public网络。MGMT:OpenStack内部组件通信，建议万兆，本测试中为vlan10网段。Private:虚机的业务网络，需要连通公司网络，建议万兆网络，配置成trunk，若干个vlan；本方案采用L3模式，本测试中vlan11-vlan19为L3模式。PXE:仅用于部署各节点的操作系统和自动推送安装OpenStack，本测试中为vlan10网段。Storage:ceph存储的Cluster网络，本测试中为vlan21网段。1.3网络规划明细2.测试系统说明ESCLOUD云计算平台是基于OpenStack社区版的企业级实现，其底层的云基础架构应以OpenStack稳定的社区版本为核心，同时增强企业级功能。如增加服务器HA(高可用)技术以增强KVM虚拟机的高可靠性，在应用层，应以管理需求为中心，增加复杂系统的易用性，如云主机的快速部署和云编排，对物理、虚拟资源监控，以及多租户管理和自服务等功能。在对外服务层，除了增强访问服务的易操作性，还应考虑与其他环境对接，如与现有的AWS和VMware环境对接、对大数据应用的支持，BGIOnline平台与AWSAPI调用等。应用架构如下图所示：图：EasyStack应用架构图●云基础架构服务：包括虚拟服务器部署和计算模块NOVA，实现对KVM或者VMWare虚拟机的管理，对Docker容器的管理，对Power小型机的管理；包括网络管理模块Neutron，提供云计算环境下的虚拟网络功能，可同时支持多种物理网络类型，支持防火墙服务、节点间VPN服务等；包括统一存储管理模块Cinder，支持ServerSAN、IPSAN、FCSAN等各种架构，支持文件存储、对象存储和块存储等各种存储服务模式。●云管理服务：包括虚拟机管理、网络管理、存储管理、镜像管理、策略管理和硬件管理，企业级使用应该在OpenStack社区版的基础上对虚拟机管理、网络管理、存储管理了增强，使之更符合企业客户高可靠和易用性的要求。●监控/计量：企业级使用应包括硬件监控、虚拟监控、存储监控、网络监控、服务监控和资源计量的功能，其中大部分是OpenStack社区版不具备的，需要增强。●自服务：企业级使用应提供网络拓扑管理、安装管理、升级管理、日志管理、通知管理和事件管理功能，大部分是OpenStack社区版不具备，需要增强。●云访问服务：提供Dashboard和CLI两种访问模式，应该在Dashboard上做了增强和改进，使之更符合中国人的习惯。●API服务：提供基础架构管理API、监控API、远程管理API、安装部署API，使云计算平台可以与内部的其他系统对接。●安全：提供认证、权限、审计功能，并与AD对接。2.1云平台系统功能设计云平台具备基础设施即服务（IaaS）的核心管理能力，涵盖从云服务定义、云服务申请、云服务供应、云服务变更、云服务回收等面向服务的生命周期管理能力。2.2功能点同社区版对比2.2.1ESCLOUD与社区版差异2.2.2企业发行版ESCLoudIaaS层优化\2.2.3企业发行版ESCLoudPaaS层优化3.测试环境与配置3.1测试工具：Ceph集群iops测试：fio网络性能测试：iperf其他测试：shell脚本测试脚本目录：node-1节点：/mnt/scripts3.2测试说明3.2.1测试内容测试内容主要参照提供测试案例里面的项目进行测试，除此之外还根据客户要求添加了一些测试项。第三部分测试案例里面有详细步骤和说明。3.2.2测试方法本次测试主要包括功能测试和性能测试两个部分。功能测试方面用截图和说明展现测试结果，性能测试方面采用随机抽样测试5次取平均值的方式记录结果。更为详细的测试结果记录保存在上一节说明的目录下。4.测试案例4.1存储模块测试4.1.1总可用量及已使用量后台查看ceph使用情况，显示的结果为除去冗余实际的存储容量。4.1.2fio测试集群和虚机的iops测试单个虚机挂在的云硬盘，云硬盘大小为10G，裸设备为格式化文件系统，测试结果如下：4k随机写，测试结果17364k顺序写，测试结果15504k随机读，测试结果202114k顺序读，测试结果191974k随机读写各50%，读写iops测试结果在4.1.3虚拟机挂载云硬盘:此步骤需要提前创建5台虚机，然后创建6*3块云硬盘，然后在每个虚机上挂载3块云硬盘并格式化成ext4格式。12台虚机可以从页面创建，命名规则为test1……test12。然后使用脚本创建12*3=36块云硬盘。创建云硬盘脚本：将云硬盘挂载到虚机上，执行如下脚本：挂载成功后，在界面上显示如下：虚机里面看然后，无密码登陆到每个虚机上，执行格式化脚本，如下：格式化后结果如下：4.1.4为每个云硬盘创建5个快照先将云硬盘的id和name取出来放到/mnt/volumes.txt里面，如下所示：执行下面脚本创建快照。快照创建过程中的日志如下：最后检查创建快照是否成功，然后删除快照。将快照的id取出来保存到/mnt/snapshot.txt中，执行如下脚本删除快照成功。4.1.5卸载云硬盘，并删除，执行下面两个脚本。4.1.6存储QOS首次需要创建带限速的云硬盘flavor类型，创建云硬盘时选择创建这个类型的云硬盘就有限速功能具体操作步骤如下：新建volumetype、创建qos描述并把qos和type进行关联cindertype-createcinderqos-createhddconsumer=front-endtotal_bytes_sec=50331648total_iops_sec=500cinderqos-associate这步操作完成后，再新建云硬盘并挂载到虚拟机，qos描述会被加入到libvirtxml文件，就可以进行限速。4.2网络模块测试：4.2.1支持通过vlan模式接入原有物理网络目前环境上vlan254就是这种应用场景。操作步骤如下：创建网络：neutronnet-createNet_VLAN_254--router:external=false--provider:network_typevlan--provider:physical_networkphysnet2--provider:segmentation_id254--shared创建子网：neutronsubnet-create--gateway197.1.54.250--allocation-poolstart=197.1.54.21,end=197.1.54.220Net_VLAN_254197.1.54.0/24--nameNet_SUBNET_VLAN_254--host-routedestination=0.0.0.0/0,nexthop=197.1.54.2504.2.2使用iperf测试同一宿主机及跨宿主机之间网络传输效率测试方法：在一台计算节点上找一台虚机作为server端其他2个计算节点上分别找3个虚机作为client端，使用iperf测试网络传输效率。使用iperf工具进行单个server，单个client测试结果如下：这种单server和单client方式，虚机里面压力不够，性能压不上来，采用并发方式测试更为准确。方法如下：在某个宿主机上一个虚机作为server，3个不同宿主机上的虚机作为client，并发测试情况下，传输速率都在8Gb/ses以上4.2.3负载均衡目前还未集成到dashboard里面，可以后台命令行配置，配置步骤如下：neutronlb-pool-create--lb-methodROUND_ROBIN--namemypool-01--protocolHTTP--subnet-id0ba9333d-04a9-4f72-be8d-af17cd26470b添加两个member，需要提前创建两个VM。neutronlb-member-create--address197.1.54.29--protocol-port80mypool-01neutronlb-member-create--address197.1.54.31--protocol-port80mypool-01创建一个healmonitor,并设置重试次数和超时时间。neutronlb-healthmonitor-create--delay3--typeHTTP--max-retries3--timeout3将新创建的健康检查规则绑定到mypool-01neutronlb-healthmonitor-associate8ce67311-af89-424f-865a-f391d3947367mypo