软件测试_系统测试方法及实践

2001-20102020年2月18日1软件测试培训课程第4单元系统测试方法及实践2001-20102020年2月18日2第4单元系统测试方法及实践性能/压力测试易用性测试配置和兼容性测试安装/卸载测试2001-20102020年2月18日3系统测试方法及实践单元目标掌握常用的系统测试方法性能/压力测试、易用性测试配置和兼容性测试、安装/卸载测试2001-20102020年2月18日4系统测试方法及实践性能/压力测试引言性能测试确认在预定的各个负载等级上的系统性能是否是可以接受的测试和评估系统性能是否满足性能需求或达到性能目标，找出应用系统的性能瓶颈以作为性能优化的依据2001-20102020年2月18日5系统测试方法及实践性能/压力测试引言性能测试负载等级：同时在线用户数为10、20，平均每秒事务数为200、300性能需求/目标：最长事务响应时间不超过4秒2001-20102020年2月18日6系统测试方法及实践性能/压力测试引言压力测试通过将负载等级增加至足够高，观察系统是否失效或崩溃，以找出系统的断点有的也称负载测试2001-20102020年2月18日7系统测试方法及实践性能/压力测试引言压力测试加压方法增加并发的用户数增加每秒请求处理的事务数增加中断次数（实时系统、嵌入式软件）2001-20102020年2月18日8系统测试方法及实践性能/压力测试引言所使用的负载下列消耗系统资源内存（物理内存、虚拟内存、缓存等）CPU时间IP地址网络带宽文件句柄2001-20102020年2月18日9系统测试方法及实践性能/压力测试引言测试目标测量最终用户的响应时间，完成一个业务流程需要多长时间确定最优的硬件配置，哪一种硬件配置可以提供最佳性能检查可靠性，系统无错误或无故障运行的时间长度观察硬件或软件升级效果，升级对性能或可靠性有何影响在选购新的服务器硬件或软件时进行评估度量系统容量，在没有显著性能下降的前提下，系统能够处理多大的负载确定瓶颈，哪些因素会延长响应时间2001-20102020年2月18日10系统测试方法及实践性能/压力测试引言在性能是项目成败的关键因素时必须做性能/压力测试主要针对C/S和B/S应用、嵌入式软件用户对性能的要求、性能问题的经济影响分析一个示例——网上零售书店2001-20102020年2月18日11系统测试方法及实践性能/压力测试引言尽可能早地、反复地进行性能测试，尽早发现性能问题，以便为性能问题的解决留出足够的时间系统测试阶段的早期，可能部分功能不可用回归测试中包含性能测试性能/压力测试需要自动化工具的支持预先制订切实可行的性能/压力测试计划2001-20102020年2月18日12系统测试方法及实践性能/压力测试Web应用模型客户端发送一个请求至服务器服务器处理这个请求，形成响应——处理结果服务器把响应发送到客户端客户端分析响应，然后显示或执行2001-20102020年2月18日13系统测试方法及实践性能/压力测试Web应用模型性能瓶颈分析最有可能的性能瓶颈一般是：服务器处理这个请求，形成响应——处理结果服务器把响应发送到客户端其他两步也有可能2001-20102020年2月18日14系统测试方法及实践性能/压力测试性能/压力测试的主要测量指标CPU消耗（服务器）CPU利用率=CPU繁忙时间所占的百分比CPU消耗=CPU利用率xCPU个数xCPU速度（MHz）/每秒事务请求数一般地，增加CPU的最好效果：双CPU=单CPU的1.8倍2001-20102020年2月18日15系统测试方法及实践性能/压力测试性能/压力测试的主要测量指标内存消耗（服务器）消耗的内存峰值可用物理内存每秒页输入，虚拟内存（硬盘）—〉物理内存每秒页输出，物理内存—〉虚拟内存（硬盘）2001-20102020年2月18日16系统测试方法及实践性能/压力测试性能/压力测试的主要测量指标BoW（Bytesoverthewire）——服务器和客户端之间传输的字节数首次动作（Initialaction），客户端无可利用的缓存图像、脚本或网页缓存模式（Cachedmode）吞吐量：每秒在客户端和服务器之间传输的数据量2001-20102020年2月18日17系统测试方法及实践性能/压力测试性能/压力测试的主要测量指标TTLB（Timetolastbyte）——从客户端发出请求到接收到服务器的响应的最后一个字节之间的时间TTFB（Timetofirstbyte）2001-20102020年2月18日18系统测试方法及实践性能/压力测试性能/压力测试的主要测量指标用户体验到的响应时间TTLB+客户端接收响应后显示和执行时间数据库查询响应时间每秒错误数2001-20102020年2月18日19系统测试方法及实践性能/压力测试性能/压力测试的主要步骤准备性能/压力测试设计性能/压力测试执行性能/压力测试分析测试结果改进系统性能2001-20102020年2月18日20系统测试方法及实践性能/压力测试准备性能/压力测试建立测试环境与用户真实工作环境的差异客户端、服务器的硬件软件配置网络速度/带宽、网络配置虚拟用户与真实用户的差异测试版本与发行版本的差异要求进行最终真实环境下的通过测试2001-20102020年2月18日21系统测试方法及实践性能/压力测试准备性能/压力测试建立测试环境测试环境的硬件软件配置到性能最优状态排除测试环境成为性能瓶颈的潜在根源多次进行测试环境的配置优化性能测试工具消耗资源占用内存、CPU时间使用足够数量的客户端2001-20102020年2月18日22系统测试方法及实践性能/压力测试准备性能/压力测试应用系统分析利用性能需求文档，观察应用系统从用户和市场获得相关的数据与信息确定应用系统的主要行为，即所关注的主要用户动作收集和利用原有系统的历史数据，作为基准性能数据收集单用户的基准性能数据2001-20102020年2月18日23系统测试方法及实践性能/压力测试准备性能/压力测试确定预期的工作负载各个等级的并发用户数、每秒事务量尽可能有效地反映应用系统的真实使用情况高峰工作时间段事务类型及比例会话时间长度使用双倍的工作负载——业务发展空间2001-20102020年2月18日24系统测试方法及实践性能/压力测试准备性能/压力测试确定性能目标理想的、可以接受的或不可接受的目标范围用户体验到的响应时间2001-20102020年2月18日25系统测试方法及实践性能/压力测试设计性能/压力测试确定工作负载模式确定性能测试的测量指标开发自动测试脚本2001-20102020年2月18日26系统测试方法及实践性能/压力测试设计性能/压力测试常用的工作负载模式递增模式在测试初期，只有一部分虚拟用户参与测试，逐步增加到所有用户参与测试适用条件：用户希望发现在多少并发用户下系统崩溃，或响应时间超出可接受值，或错误超出阀值2001-20102020年2月18日27系统测试方法及实践性能/压力测试设计性能/压力测试常用的工作负载模式固定状态模式固定数目的虚拟用户参与到整个测试过程。每个虚拟用户执行脚本中定义的事务，结束后继续开始，事务间没有延迟，直到simulationtime已经到达适用条件：用户希望知道被测系统在指定负载下的行为2001-20102020年2月18日28系统测试方法及实践性能/压力测试设计性能/压力测试常用的工作负载模式动态模式可以在测试过程中手工改变虚拟用户的数目。在预设的最大虚拟用户数范围内，用户数可以随时增减。没有simulationtime，手工结束测试。适用条件：用户希望实验不同的负载水平，并且方便的控制2001-20102020年2月18日29系统测试方法及实践性能/压力测试设计性能/压力测试常用的工作负载模式全天模式最灵活的方式。客户可以在测试的任何间隔时间指定不同的虚拟用户数目，每个用户类型有不同的负载分布。因此可以按周或天指定复杂的测试场景，可以在测试中调整尚未开始的测试间隔的负载水平。适用条件：客户希望对复杂的长时间运行的测试场景以最实际的方式建模2001-20102020年2月18日30系统测试方法及实践性能/压力测试设计性能/压力测试开发自动测试脚本自动测试脚本的开发规范简单、可维护性好的自动测试脚本使用参数化输入2001-20102020年2月18日31系统测试方法及实践性能/压力测试执行性能/压力测试设置性能计数器初始化运行，使系统达到稳定状态执行自动测试脚本观察性能计数器，收集测量数据2001-20102020年2月18日32系统测试方法及实践性能/压力测试执行性能/压力测试利用Windows的性能计数器2001-20102020年2月18日33系统测试方法及实践性能/压力测试分析测试结果内存消耗可用物理内存不少于10%为好若每秒页输入和页输出持续高，则内存可能为瓶颈若每秒页输入远远小于每秒页输出，则可能内存泄漏CPU利用率小于75%为好若持续大于90%，则CPU可能为瓶颈数据库高速缓存中找到数据的命中率CacheHitRatio如果持续小于85%，则表示内存有问题2001-20102020年2月18日34系统测试方法及实践性能/压力测试分析测试结果不同负载下的CPU利用率不同负载下的TTLB不同负载下的用户体验到的响应时间2001-20102020年2月18日35系统测试方法及实践性能/压力测试分析测试结果事务级、函数级的性能瓶颈分析计算各类事务、各个函数的最短、最长、平均执行时间，统计累计执行时间及在总的执行时间中所占的比例找出占用时间比例高、调用频繁的事务类型或函数，作为优化对象2001-20102020年2月18日36系统测试方法及实践性能/压力测试改进系统性能压缩多媒体数据的大小，减少线路上的流量使用服务器缓存和客户端缓存，以减少数据库访问次数和数据流量使用分布式架构，保持必要的冗余的服务器优化代码，减少不必要的数据流量服务器硬件配置升级在部署应用系统后继续监测其运行情况，为进一步的性能改进收集数据2001-20102020年2月18日37系统测试方法及实践性能/压力测试一个示例网上零售书店2001-20102020年2月18日38系统测试方法及实践易用性测试基本概念测试内容测试方法2001-20102020年2月18日39系统测试方法及实践易用性测试基本概念易用性Usability与可用性Availability一个软件产品的易用性是指用户使用软件产品时体验到的难易程度和满意度。2001-20102020年2月18日40系统测试方法及实践易用性测试基本概念易用性——ISO9241三要素有效性——即一种产品能力，它在规定的使用环境下准确地、完整地为用户提供所要求的服务效率——即一种产品能力，它使用户在使用上述服务时耗费的资源数量是适当的满意——即一种产品能力，它在规定的使用环境下使用户满意2001-20102020年2月18日41系统测试方法及实践易用性测试基本概念易用性——ISO9126四个属性可理解性——用户理解产品功能和使用方法所需要的时间和精力易学习性——用户学习如何操作和应用产品所需要的时间和精力可操作性——用户操作和控制产品的费力程度吸引力——用户喜欢产品的程度2001-20102020年2月18日42系统测试方法及实践易用性测试测试内容用户界面测试用户文档测试联机帮助用