第八章―系统测试过程

1第八章系统测试安博测试空间技术中心地址：北京市海淀区学院路40号大唐电信测试空间楼联系电话：010-6230322362303260623032302006级本科《软件测试与质量保证》2008年9月-2009年01月SEIofECNU孙海英版权所有©8-2本章大纲本章讨论与系统测试的相关内容系统测试过程系统测试计划系统测试设计系统测试执行回归测试验收测试2006级本科《软件测试与质量保证》2008年9月-2009年01月SEIofECNU孙海英版权所有©8-3说明将已经集成好的软件系统，作为整个基于计算机系统的一个元素，与计算机硬件、外设、某些支持软件、数据和人员等其他系统元素结合在一起，在实际运行（使用）环境下，对计算机系统进行一系列的组装测试和确认测试。1.评估一个完整系统是否满足该系统需求规格说明书的要求2.系统测试不仅关注系统的功能，也包括性能、安全等非功能的测试在实际的项目里，因为时间和投资预算的关系，测试资源主要消耗在功能测试上，非功能测试经常被很多项目忽略。这确实有点令人惋惜。尽管非功能测试的确非常难做而且大多数工作需要在项目开始的时候就开始做，但是认真对待非功能测试是非常必要的3.站在用户角度进行的测试，通常使用黑盒方法什么是系统测试2006级本科《软件测试与质量保证》2008年9月-2009年01月SEIofECNU孙海英版权所有©8-4与单元测试相似，主要的系统测试活动包括系统测试计划设计系统测试用例实现测试用例系统预测试设计和执行搭建系统测试环境执行测试结束报告测试效率和系统评估注意非功能测试活动可能独立于功能测试活动或包含在其中，具体情况与测试需求有关系统测试过程2006级本科《软件测试与质量保证》2008年9月-2009年01月SEIofECNU孙海英版权所有©8-5系统测试活动角色和职责软件测试工程师：制定系统测试计划和方案并组织评审、按照系统测试方案实现测试用例和测试代码、设计所需测试工具、编写测试规程、执行系统测试用例、提交并跟踪缺陷、完成系统测试报告并组织评审、输出测试案例和总结等经验文档在系统测试过程中还可能涉及到的主要角色包括1.系统分析设计人员：提出系统测试需求、进行测试需求跟踪、进行软件系统可测性分析、确定系统测试的对象、范围和方法2.开发人员：需要在参与系统测试计划和方案的评审、跟踪解决软件测试人员发现的缺陷、评审系统测试报告3.配置管理人员：对系统测试文档进行配置管理4.质量保证人员：系统测试过程进行审计。2006级本科《软件测试与质量保证》2008年9月-2009年01月SEIofECNU孙海英版权所有©8-6与其它级别测试类似，系统测试计划包括测试方法测试范围测试交付件测试过程准则工作任务分布测试进度测试资源测试用例结构及其用例测试结论约定系统测试计划2006级本科《软件测试与质量保证》2008年9月-2009年01月SEIofECNU孙海英版权所有©8-7测试方法黑盒方法，与系统实现方式无关测试范围(测试需求)功能1.各个功能2.功能之间的组合，业务流程的测试非功能1.某些重要的整体属性的验证受条件限制，通常只关注决定系统质量高低的那些重要的非功能特性系统测试计划2006级本科《软件测试与质量保证》2008年9月-2009年01月SEIofECNU孙海英版权所有©8-8测试交付件1.《XXXX系统测试计划》2.《XXXX系统测试计划评审报告》3.《XXXX系统测试用例》4.《XXXX系统测试用例评审报告》5.《XXXX系统测试脚本》6.《XXXX系统测试脚本评审报告》7.《XXXX系统测试报告》8.《XXXX系统测试报告评审报告》9.《缺陷问题单》若干过程准则（书P165）系统测试计划2006级本科《软件测试与质量保证》2008年9月-2009年01月SEIofECNU孙海英版权所有©8-9设计系统测试用例系统测试是不需要了解系统内部机理，站在用户角度对系统进行的测试。系统测试通常由测试部门负责，而不是系统的开发人员设计系统测试用例应考虑如下因素1.验证功能正确的测试用例2.想办法让功能失效的测试用例3.与非功能属性相关的测试用例4.系统测试使用的测试数据最好是从实际的客户应用环境中提取出的系统测试活动2006级本科《软件测试与质量保证》2008年9月-2009年01月SEIofECNU孙海英版权所有©8-10搭建系统测试环境系统测试环境的主要元素1.执行系统测试的软硬件环境2.待测系统3.系统测试用例既然系统测试是站在用户角度进行的测试，系统测试环境的每个元素也都应该尽量与终端用户的应用环境一致，面向用户的测试环境在项目一开始就应该着手准备执行系统测试当系统达到待测标准后，按照测试计划要求执行系统测试在执行系统测试时使用测试工具非常有帮助，特别是对性能测试这种比较难作的专项测试。系统测试活动2006级本科《软件测试与质量保证》2008年9月-2009年01月SEIofECNU孙海英版权所有©8-11缺陷跟踪2006级本科《软件测试与质量保证》2008年9月-2009年01月SEIofECNU孙海英版权所有©8-12回归测试定义验证缺陷是否修改正确是否引入新问题的活动1.回归测试的规模（工作量）受多种因素的影响2.不是一个测试级别，但确是各个测试级别必须包括的内容，只是回归测试过程的策略有所不同3.测试用例的选取问题4.避免出现回归测试死循环的情况2006级本科《软件测试与质量保证》2008年9月-2009年01月SEIofECNU孙海英版权所有©8-13验收测试定义有用户参与的测试，包括用户验收测试和操作验收测试用户验收测试用于确认被测系统能满足业务需求，并在将软件正式交付给最终用户之前，确保系统正常工作并可以使用。在测试组的协助下，由一个或多个用户代表执行或参与执行。操作验收测试的目的是确认被测应用满足其操作需求病确保系统正式工作并可以使用，是在测试组的协助下由一个或多个操作代表执行或参与执行。根据需要，用户验收测试和操作验收测试也可以合二为一。2006级本科《软件测试与质量保证》2008年9月-2009年01月SEIofECNU孙海英版权所有©8-14验收测试方法黑盒测试方法，验证高级的系统业务需求和操作需求。测试内容1.典型任务2.用户文档验收测试用例通常是系统测试用例的一个有代表性的子集针对用户代表的要求，还需要确定是否需要设计和实现附加的测试脚本测试被测系统的某个方面由测试设计人员负责设计2006级本科《软件测试与质量保证》2008年9月-2009年01月SEIofECNU孙海英版权所有©8-15验收测试验收测试执行一般由用户代表在测试组的协助下执行。和独立测试观察员一起客观地判断系统是否存在缺陷提交验收测试报告2006级本科《软件测试与质量保证》2008年9月-2009年01月SEIofECNU孙海英版权所有©8-16系统测试人员应站在用户的角度进行测试在执行正式系统测试前进行预测试尽可能采用用户实际的软硬件环境和数据进行测试在缺陷提交人验证缺陷之前自己先验证缺陷修改是否正确限制回归测试的轮数系统测试人员应保持与开发人员的良好关系建议2006级本科《软件测试与质量保证》2008年9月-2009年01月SEIofECNU孙海英版权所有©8-17小结系统测试是一个不考虑系统内部机理的测试过程，系统测试包括功能测试和非功能测试主要的系统测试活动包括：系统测试计划设计系统测试用例搭建系统测试环境执行测试系统测试报告系统测试工具大大有助于测试工作如今常用的测试工具包括功能测试工具、性能测试工具和测试管理工具