搜索
Confidential性能测试报告版本1.0Confidential1.概述1.1.背景Customer子系统是PSS系统内部存储旅客数据的唯一数据源；向全渠道，所有接触点提供高效旅客档案管理,旅客价值计算服务，支持航空公司基于旅客价值提供差异化、个性化旅客服务；Customer子系统是航空公司专属系统。本次对CA集群进行性能测试和高可用性测试。1.2.测试目的1、验证Customer集群所能支持的最大性能容量2、验证Customer集群的运行稳定性3、验证Customer集群的高可用性和traveldata数据库解决方案的高可用性Confidential2.测试准备2.1.系统架构图1逻辑架构图图2物理架构图Confidential2.2.软硬件环境2.2.1.硬件及底层软件配置指标测试环境应用服务器数据库服务器机器IPMQ：Integration：Server：CPUMQ：8C*2.0GHzIntegration：32C*2.6GHzServer：32C*2.6GHz32C*2.6GHz内存MQ：8GIntegration：128GServer：128G128G硬盘操作系统llinuxredhat6.3llinuxredhat6.3中间件类型Jboss6.4数据库类型EBD测试环境外围设备型号其他指标是√否□表2硬件及底层软件配置表2.2.2.应用及中间件配置进程名进程数Integrationjava（jboss进程）1servicejava（jboss进程）1表3应用及中间件配置表Confidential2.3.测试脚本准备脚本名称生成方式脚本类型脚本结果InitialAction比例End1、CSM编写java建立MQ连接Customer常旅客查询关闭MQ连接表4脚本描述表2.4.时间人员安排任务分解执行人完成时间性能测试评审会刘雷2015年7月30日脚本准备和数据准备刘雷2015年9月18日执行所有场景刘雷2014年9月24日整理测试结果，完成测试报告刘雷2014年9月25日表5时间人员安排表3.测试执行3.1.容量测试3.1.1.场景1：Customer容量测试a)案例描述名称Customer容量测试测试类型容量测试详细描述通过脚本1向系统发送请求，持续加压10分钟，观察系统所能支持的最大TPS。场景参数场景序号虚拟用户数加压策略执行时间Thinktime测试脚本Confidential1100每4秒钟启动1个vu10分钟无1、CSM表6场景描述b)结果描述图2总事务TPS随vu变化曲线图Confidential图3响应时间随vu变化曲线图图4integration服务器CPU变化曲线图（10.6.154.172）Confidential图5server应用服务器CPU变化曲线图（10.6.154.175）图6数据库服务器CPU变化曲线图（10.6.184.208）监控项目拐点值VU数85个Customer事务总TPS数2550个/秒Customer事务响应时间45毫秒Integration服务器CPU利用率10.6.154.172/173/17414.9%Server服务器CPU利用率10.6.154.175/176/17722.6%数据库服务器CPU利用率10.6.184.20818.7%表7性能指标统计及资源使用情况场景1开始后，Customer事务TPS随vu数增加而同步增加。场景运行至6分04秒时，共启动了85个vu，TPS增加至2550个/秒，平均响应时间增加至45毫秒。此时3台integration服务器的CPU利用率平均值14.9%，3台server服务器的CPU利用率平均值为22.6%，数据库主节点的CPU利用率为18.7%。此后再增加vu，TPS不再有明显增长，响应时间继续增加，可以判断6分04秒左右时，系统呈现性能拐点态势。达到拐点之后，系统性能基本稳定。Confidential3.2.疲劳测试3.2.1.场景2：Customer疲劳测试a)案例描述名称Customer疲劳测试测试类型疲劳测试详细描述通过脚本1向系统发送请求，压力保持在1200TPS左右，持续加压12小时，观察系统的性能表现，查看系统是否能在较大压力下平稳运行。场景参数场景序号虚拟用户数加压策略执行时间Thinktime测试脚本230vu每2秒钟启动1个vu12小时无1、CSM表8场景描述b)结果描述图7总事务TPS变化曲线图Confidential图8响应时间变化曲线图（10.6.50.81）图9integration服务器CPU变化曲线图（10.6.154.172）Confidential图10server服务器CPU变化曲线图（10.6.154.175）图11数据库服务器CPU变化曲线图（10.6.184.208）监控项目平均值VU数30个Customer事务总TPS数1197个/秒Customer事务响应时间24毫秒Integration服务器CPU利用率10.6.154.172/173/1747.3%Server服务器CPU利用率10.6.154.175/176/17711.5%数据库服务器CPU利用率10.6.184.2088.9%表9性能指标统计及资源使用情况Confidential共启动了30个vu，向MQ队列发送Customer查询请求，TPS平均值为1197，平均响应时间为24毫秒。整个场景执行过程中，应用服务器的内存使用方面：free+buffer+cached总量基本保持不变，swap交换区始终未被使用。Integration三台节点的CPU利用率平均值为7.3%，server三台节点的CPU利用率平均值为11.5%，数据库主节点的CPU利用率为8.9%.超时交易占总交易的比例为0.02%。3.3.高可用性测试3.3.1.场景3：integration高可用测试场景名实现方式预期表现实际表现integration核心进程丢失killjboss进程（172）故障期间服务可用，性能基本保持不变故障前TPS约为1050，响应时间30ms，故障中TPS约为1000，响应时间32ms，将172的jboss进程重启后，TPS恢复为1050，响应时间30ms。integration核心进程丢失对应用基本无影响。integration网络故障禁用1台integration的网卡（173）cat/proc/net/bonding/bond0ifconfigeth0down故障期间服务可用，性能基本保持不变故障前TPS约为1050，响应时间30ms，故障中TPS约为1000，响应时间32ms，将173的网卡重新激活后，TPS恢复为1050，响应时间30ms。integration网卡禁用对应用基本无影响。integration节点故障重启1台integration节点（174）Init6故障期间服务可用，性能基本保持不变故障前TPS约为1050，响应时间30ms，故障中TPS约为1000，响应时间32ms，将174重启后并将jboss进程重启后，TPS恢复为1050，响应时间30ms。Integration节点故障对应用基本无影响。表10integration高可用性测试3.3.2.场景4：Server高可用性测试场景名实现方式预期表现实际表现server核心进程丢失killjboss进程（175）故障期间服务可用，性能基本保持不变故障前TPS约为700，响应时间40ms，故障中TPS和响应时间均无明显变化，将175的jboss进程重启后，PS和响应时间均无明显变化。server核心进程丢失对应用基本无影响。Confidentialserver网络故障禁用1台server的网卡（175）cat/proc/net/bonding/bond0ifconfigeth0down故障期间服务可用，性能基本保持不变故障前TPS约为700，响应时间40ms，故障中TPS和响应时间均无明显变化，将175的网卡重新激活后，TPS和响应时间均无明显变化。integration网卡禁用对应用基本无影响。server节点故障重启1台server节点（175）Init6在主节点175不可用时，再使一台integration不可用故障期间服务可用，性能基本保持不变当对server节点进行服务器故障测试时（执行inil-6操作），TPS下降至0，整个集群服务不可用，持续时间约为40秒。40秒后，系统会将发生节点故障的server进行隔离，TPS和响应时间恢复至故障前水平。在重启jboss服务时，jboss尚未完全启动成功即开始接收请求，造成notffp的报错，jboss成功启动后不再有notffp的报错。主节点server故障和integration单节点故障重启1台server节点（175）Init6之后，再使一台integration不可用故障期间服务可用，性能基本保持不变。当integration重启后，可以访问另外两台状态正常的server节点。当175出现故障后，整个集群仍然可以访问，但如果再出现任意1台integration不可用，那么对这台integration重启jboss之后，则该integration无法将请求发送至另外2台服务正常的server上去表11server高可用性测试3.3.3.场景5：traveldata高可用性测试场景名实现方式预期表现实际表现集群软件故障杀主节点aegisha进程Kill-9切换成功，从主节点208成功切换至备1节点212，切换时Customer应用服务不可用由于杀掉主节点aegisha进程后数据库不可用，TPS会骤降至0，数据库切换成功后，TPS可以恢复至故障前状态。数据库恢复时间：30秒应用恢复时间：45秒杀备1节点aegisha进程Kill-9切换成功，从备1节点212成功切换至备2节点214。对应用无影响。对应用无影响。硬件宕机主节点宕机init6切换成功，从主节点208成功切换至备1节点212，切换时Customer应用服务不可用由于主节点宕机后数据库不可用，TPS会骤降至0，数据库切换成功后，TPS可以恢复至故障前状态。数据库恢复时间：15秒应用恢复时间：45秒Confidential备1节点宕机init6切换成功，从备1节点212成功切换至备2节点214。对应用无影响。对应用无影响。脑裂3机脑裂方式一iptables-IINPUT-s10.6.184.208-jDROP未出现脑裂引起的节点状态混乱情况对应用无影响3机脑裂方式二iptables-IINPUT-s192.168.184.208-jDROP未出现脑裂引起的节点状态混乱情况对应用无影响服务器+数据库无响应（此时主库有PING回包）主节点hang死echoc/proc/sysrq-trigger切换成功，从主节点208成功切换至备1节点212，切换时Customer应用服务不可用由于主节点hang主后数据库不可用，TPS会骤降至0，数据库切换成功后，TPS可以恢复至故障前状态。数据库恢复时间：无记录应用恢复时间：54秒备1hang死echo1/proc/sys/kernel/sysrq切换成功，从备1节点212成功切换至备2节点214。对应用无影响。对应用无影响。数据库应用网故障主节点单网卡故障ifconfigeth0down切换至备份网卡对应于无影响。主节点网络故障ifconfigbond0down切换成功，从主节点208成功切换至备1节点212，切换时Customer应用服务不可用由于主节点的应用网故障后数据库不可用，TPS会骤降至0，数据库切换成功后，TPS可以恢复至故障前状态。数据库恢复时间：35秒应用恢复时间：50秒备1网络故障ifconfigbond0down切换成功，从备1节点212成功切换至备2节点214。对应用无影响。对应用无影响。数据库数据网故障主节点单网卡故障ifconfigetb0down切换至备份网卡对应于无影响。主节点网络故障ifconfigbond1down切换成功，从主