搜索
软件测试教案兰州理工大学计算机与通信学院张秋余zhangqy66@gmail.com什么是软件测试？寻找软件错误的过程主要利用测试用例进行功能和性能测试课程简介测试基本理论及方法：系统学习软件测试的概念、测试的原则、用例的设计，各种测试方法及技巧，测试策略；测试流程及文档写作：软件测试流程，文档编写：书写测试计划、测试用例、测试报告、产品安装手册、产品使用手册；测试工具及实训。参考教材及网站：古乐，史九林.软件测试案例与实践教程.北京:清华大学出版社，2007测试工具§1基本概念软件产品最大的成本是检测软件错误、修正软件错误的成本。在整个软件开发中，测试工作量一般占30%～40%，甚至≥50%；例如：在人命关天的软件(如飞机控制、核反应堆等）测试所花费的时间往往是其它软件工程活动时间之和的三到五倍；在测试阶段测试人员设计出的一系列测试方案，是为了“破坏”已经建造好的软件系统——竭力证明程序中有错误。例:Windows95有1000万行代码；Windows2000有5000万行代码，3000多个工程师，几百个小团队。Exchange2000Windows2000项目经理25人约250人开发人员140人约1700人测试人员350人约3200人软件测试背景软件是人编的—所以不完美实例:Intel的pentium处理器1994年浮点除法缺陷1999年12月3日,美国航天局火星极地登陆飞船失踪1991年爱国者导弹防御系统系统时钟错误积累造成跟踪系统失去精确度千年虫,世界各地解决2000年错误超过数亿美元软件测试的问题软件缺陷是什么？谁执行测试？•开发者？•单独的测试人员？•两方面人员？测试什么？(无处不在的软件服务)•每个部分都测试？•测试软件中高风险部分？什么时候测试？怎样测试？测试应进行到什么程度？软件缺陷是什么？描述软件失败的术语•缺点(defect)•故障(fault)•问题(problt)•错误(error)•异常(anomaly)•偏差(variance)•失败(failure)•缺陷(bug)难以说清的软件缺陷古谚：“一片树叶飘落在森林中没有人听见，谁能说它发出了声音？”只有看到了，才能断言软件缺陷。由于不能报告没有看见的问题，因此，没有看见就不能说存在软件缺陷“如果软件中的问题没有人发现，那么它算不算软件缺陷？”眼见为实软件测试的目标(1)预防错误:几乎不可实现(2)发现错误G.J.Myers在软件测试技巧中认为:测试是为了寻找错误而运行程序的过程。一个好的测试用例是指很可能找到迄今为止尚未发现的错误的测试。一个成功的测试是揭示了迄今为止尚未发现的错误的测试。§1.1测试的目的与地位测试的目的是发现程序中的错误。是为了证明程序有错,而不是证明程序无错。把证明程序无错当作测试目的不仅是不正确的,完全做不到的，而且对做好测试没有任何益处。软件测试要设法使软件发生故障,暴露软件错误测试的“成功”与“失败”能够发现错误的测试是成功的测试，否则是失败的测试。“测试的目的是说明程序正确地执行它应有的功能”这种说法正确吗？例：程序Triangle，输入三个整数，表示一个三角形的三个边长，该程序产生一个结果，指出该三角形是等边三角形、等腰三角形还是不等边三角形。为说明其能正确执行它的功能，可使用“测试用例”(3,4,5),(5,5,6),(6,6,6),程序都能给出正确结果，是否就可认为程序是正确的？测试设计中需要考虑的22种测试类型•黑盒测试•白盒测试•单元测试•综合测试•集成测试•功能测试•系统测试•端到端测试•健全测试•衰竭测试•接受测试•负载测试•强迫测试•性能测试•可用性测试•安装/卸载测试•恢复测试•兼容测试•安全测试•比较测试•Alpha测试•Beta测试质量控制技术质量控制活动分类开发方法学配置管理验证技术评审正确性验证性能调试组件测试集成测试系统测试原子事务模块冗余性检错质量控制避免错误容错调试测试软件质量问题以软件测试为中心的软件质量保障技术——软件测试软件测试是保证软件质量,提高软件可靠性的关键(1)所有的测试都应追溯到用户需求最严重的错误(从用户角度)是那些导致软件无法满足需求的错误。程序中的问题根源可能在开发前期的各阶段解决、纠正错误也必须追溯到前期工作。§1.2测试原则测试与开发前期工作的关系决定软件与系统的配合关系需求分析概要设计详细设计编码单元测试集成测试确认测试系统测试测试活动和相关工作产品项目协议对象设计客户开发人员用户集成策略系统分解功能性需求非功能性需求单元测试集成测试结构测试功能测试性能测试来自ODD来自TP来自SDD来自RAD来自RAD用户手册验收测试安装测试现场测试日常操作开发前期出现错误的扩展计划需求分析设计编码测试AB软件生存期各阶段间需保持的正确性用户要求用户:我要什么?运行结果计算机:程序运行得到的结果源程序程序员:我要让计算机什么做?设计说明书设计员:我要让软件做什么?需求说明书分析员:我可以提供什么?12345理解正确性表达正确性理解正确性设计正确性表达正确性理解正确性编码正确性运行正确性输入正确性相符吗?软件开发面临的实际问题项目开发前分析员的理解、设想软件开发面临的实际问题分析员的描述完成的设计软件开发面临的实际问题程序员做出的产品软件开发面临的实际问题现场的安装软件开发面临的实际问题用户原来的设想软件开发面临的实际问题(2)概要设计时应完成测试计划，详细的测试用例定义可在设计模型确定后开始，所有测试可在任何代码被产生之前进行计划和设计。§1.2测试原则(续)软件测试不等于程序测试软件测试应贯穿于软件定义与开发的整个期间；据美国一家公司统计，查出的软件错误中，属于需求分析和软件设计的错误约占64%，属于程序编写的错误仅占36%。程序编写的许多错误是“先天的”。单元测试:检验每个模块能否单独工作集成测试:检验概要设计中模块接口设计问题确认测试:以需求规格说明书为检验尺度系统测试:综合检验测试可视为分析、设计、编码三个阶段的最终复审,以保证软件质量。测试阶段工作步骤(3)穷举测试是不可能的§1.2测试原则(续)测试原则例:测试计算器程序•加法测试1+0=……1+99999999999999999999999999999999=2+0=……2+99999999999999999999999999999999=……99999999999999999999999999999999+99999999999999999999999999999999=1.0+0.1=1.0+0.2=……•减法测试•乘法测试•除法测试•求平方根•百分数•倒数(4)应由独立的底三方来构造测试。（开发和测试队伍分别建立）(5)测试用例应由输入数据和预期的输出结果两部分组成。(6)兼顾合理的输入和不合理的输入数据。(7)程序修改后要回归测试。(8)应长期保留测试用例，直至系统废弃。§1.2测试原则(续)1.2测试原则：软件测试是有风险的行为数量遗漏软件缺陷数目测试费用测试中测试后软件测试工作量每一个软件项目都有一个最优的测量量最优测量量可测试软件的特征：可操作性可观察性可控制性可分解性简单性稳定性易理解性§1.3可测试性发现错误的可能性高；不冗余；在目的相似的测试中，应使用最可能找到错误的测试；每一个测试应独立执行；“好”测试的属性：测试(test)调试(debug)以已知条件开始,使用预先定义的程序,有预知的结果以不可知内部条件开始,结果一般不可预见有计划被动的由独立的测试组，在不了解软件设计的条件下完成由程序作者进行发现错误找出错误位置，排除测试与调试(排错)功能错(需求分析错误)软件结构错数据错编码错软件集成错测试定义与测试执行错误软件错误分类【定义】测试用的一组输入数据。选择测试用例是软件测试员最重要的一项工作。测试用例的属性:属性描述name测试用例的名称location可执行的完全路径名input输入数据或命令oracle期待测试结果(预期输出结果)log测试产生的输出§1.4测试用例设计程序测试举例：例：程序Triangle，输入三个整数，表示一个三角形的三个边长，该程序产生一个结果，指出该三角形是等边三角形、等腰三角形还是不等边三角形。判断三角型的测试用例设计:输入数据预期输出结果(1)6;6;6等边(2)8;8;4等腰(3)4;5;6一般还应输入非法数据：0;7;9-7;3;5a;2;7等§1.5软件测试信息流软件配置测试测试配置测试工具结果分析排错可靠性分析测试结果错误预期结果出错率改正的软件预测的可靠性需求规格说明书软件设计说明书被测源程序测试计划测试用例(测试数据)测试驱动程序测试活动和相关工作产品项目协议对象设计客户开发人员用户集成策略系统分解功能性需求非功能性需求单元测试集成测试结构测试功能测试性能测试来自ODD来自TP来自SDD来自RAD来自RAD用户手册验收测试安装测试现场测试日常操作§1.6测试的方法与技术软件测试的策略和方法静态测试方法动态测试方法人工测试方法计算机辅助静态分析方法白盒测试方法黑盒测试方法【基本特征】对软件进行分析、检查和审阅，不实际运行被测试的软件。【特点】可找出30～70%的逻辑设计错误。【测试内容】对软件配置(需求规格说明书、软件设计说明书、源程序等)做检查和审阅，包括：•是否符合标准和规范；•通过结构分析、流图分析、符号执行指出软件缺陷；静态测试：【基本特征】通过运行软件来检验软件的动态行为和运行结果的正确性。【两个基本要素】•被测试程序•测试数据（测试用例）动态测试：【动态测试方法】选取定义域有效值,或定义域外无效值；对已选取值决定预期的结果；用选取值执行程序；执行结果与预期的结果相比，不吻和程序有错。动态黑盒测试——闭着眼睛测试软件软件输入不深入代码细节的测试方法。软件测试员被充当客户来使用软件。输出黑盒测试动态白盒测试——带上X光眼镜测试软件??????????????3581322.293419985680302829734315250*(1+0.015)*((1+0.015)^360-1)/0.015250*(1+0.015)*((1+0.015)^360-1)/0.015假如知道一个盒子包含一台计算机,而另一个盒子是人用纸笔计算,就会选择不同的测试用例了解软件的运作方式会影响测试手段又称:功能测试数据驱动测试基于规格说明书的测试§2两种类型的测试（测试方法）§2.1黑盒测试法又称:开盒测试结构测试玻璃盒测试基于覆盖的测试根据被测程序的逻辑结构设计测试用例，力求提高测试覆盖率；§2.2白盒测试法【黑盒测试】是从用户观点，按规格说明书要求的输入数据与输出数据的对应关系设计测试用例，是根据程序外部特征进行测试。【白盒测试】是根据程序内部逻辑结构进行测试。黑盒测试与白盒测试比较：CBAD-只能用黑盒测试发现的错误A-只能用白盒测试发现的错误-两种方法都能发现的错误-两种方法都不能发现的错误BCD黑盒测试与白盒测试能发现的错误黑盒测试白盒测试优点缺点性质①适用于各阶段测试②从产品功能角度测试③容易入手生成测试数据①可构成测试数据使特定程序部分得到测试②有一定的充分性度量手段③可或较多工具支持①某些代码得不到测试②如果规格说明有误，则无法发现③不易进行充分性测试①不易生成测试数据(通常)②无法对未实现规格说明的部分进行测试③工作量大，通常只用于单元测试，有应用局限是一种确认技术，回答“我们在构造一个正确的系统吗？”是一种验证技术，回答“我们在正确地构造一个系统吗？”黑盒测试与白盒测试优缺点比较例：输入三条边长可采用的测试用例数(设字长16位)执行时间:设测试一次需1m