第七讲-验收测试

软件测试方法和技术第7章验收测试顾进广,Ph.D.,[e-mail]://ontoweb.wust.edu.cn/simon企业信息系统与语义Web研究室@WUST第6章回顾①系统集成的模式和方法②功能测试与回归测试③性能测试、压力测试、容量测试④安全性⑤可靠性测试⑥容错性测试企业信息系统与语义Web研究室@WUST第7章验收测试7.1验收测试的过程和主要内容7.2产品规格说明书的验证7.3用户界面和可用性测试7.4兼容性测试7.5可安装性和可恢复性测试7.6文档测试企业信息系统与语义Web研究室@WUST什么是验收测试验收测试(AcceptanceTest):在软件产品完成了功能测试和系统测试之后、产品发布之前所进行的软件测试活动它是技术测试的最后一个阶段,也称为交付测试。企业信息系统与语义Web研究室@WUST7.1验收测试的过程和主要内容前提:系统或软件产品已通过了系统测试的软件系统。测试内容:验证系统是否达到了用户需求规格说明书（可能包括项目或产品验收准则）中的要求，测试试图尽可能地发现软件中存留的缺陷，从而为软件进一步改善提供帮助，并保证系统或软件产品最终被用户接受。主要包括易用性测试、兼容性测试、安装测试、文档（如用户手册、操作手册等）测试等几个方面的内容。企业信息系统与语义Web研究室@WUST测试步骤制定测试计划，测试项，测试策略及验收通过准则，并经过客户参与的计划评审。建立测试环境，设计测试用例，并经过评审。准备测试数据，执行测试用例，记录测试结果。分析测试结果，根据验收通过准则分析测试结果，作出验收是否通过及测试评价。测试项目通过；测试项目没有通过，并且不存在变通方法，需要很大的修改；测试项目没有通过，但存在变通方法，在维护后期或下一个版本改进；测试项目无法评估或者无法给出完整的评估。此时必须给出原因。如果是因为该测试项目没有说明清楚，应该修改测试计划。提交测试报告企业信息系统与语义Web研究室@WUST验收标准和注意事项验收测试完成标准:完全执行了验收测试计划中的每个测试用例。在验收测试中发现的错误已经得到修改并且通过了测试或者经过评估留待下一版本中修改。完成软件验收测试报告。注意事项：必须编写正式的、单独的验收测试报告验收测试必须在实际用户运行环境中进行由用户和测试部门共同执行。如公司自开发产品，应由测试人员，产品设计部门，市场部门等共同进行。企业信息系统与语义Web研究室@WUST7.2产品规格说明书的验证产品规格说明书的审核从客户的角度和立场进行审核工作。检验套用标准的正确性，不要和行业规范相抵触。审查、研究同类产品。验证产品规格说明书的完整性、准确性、一致性、合理性等特性。产品规格说明书的验证已经实现的特性标识为通过。特性没有实现,报告bug并在报告中体现。特性基本实现,但与产品说明书内容不一致,报bug并在报告中体现。特性基本实现,但存在一些问题或错误。企业信息系统与语义Web研究室@WUST什么是适用性(usability)?EasytodiscoverEasytolearnEasytouseAvailability企业信息系统与语义Web研究室@WUSTMicrosoft的适用性测试-180适用性测试工程师-25适用性测试实验室企业信息系统与语义Web研究室@WUST7.3用户界面和可用性测试用户界面的7个要素:符合标准和规范。直观性。一致性。灵活性。舒适性。正确性。实用性。易用性测试没有具体量化的指标，主观性较强。企业信息系统与语义Web研究室@WUST符合标准和规范通常标准是已经确立的，多数用户已经熟悉并接受了这些标准和规范、或已经认同了这些信息所代表的意义。例：如果软件在某一个平台上运行，就需要把该平台的标准和规范作为产品规格说明书的补充内容，在建立测试案例时和产品规格说明书一样作为依据企业信息系统与语义Web研究室@WUST直观性和一致性直观性：-首先了解所需的功能或期待的响应应该明显，并在预期的地方出现。-其次要考虑用户界面的组织和布局是否合理。一致性：-包括软件本身的一致性，以及软件与其他软件的一致性。企业信息系统与语义Web研究室@WUST直观性例子企业信息系统与语义Web研究室@WUST灵活性用户喜欢可以灵活选择的软件，软件可以选择不同的状态和方式，完成相应的功能。但灵活性也可能发展为复杂性，太多的状态和方式的选择增加的不仅仅是用户理解和掌握的困难程度。多种状态之间的转换，增加了编程的难度，更增加了软件测试人员的工作量。例：企业信息系统与语义Web研究室@WUST舒适性、正确性、实用性舒适性：恰当的表现、合理的安排、必要的提示或更正能力等是要考虑的因素，包括容错处理和性能。正确性：正确性的问题一般都很明显，比较容易发现。实用性：实用性不是指的是软件本身是否实用，而仅仅指的是具体特性是否实用。大型软件的开发或周期较长经过几次反复的软件开发中容易产生一些没有实用性的功能。企业信息系统与语义Web研究室@WUST舒适性例子企业信息系统与语义Web研究室@WUST简单性•1-click•NextNextNext…企业信息系统与语义Web研究室@WUST7.4兼容性测试软件兼容性测试是指验证软件之间是否正确地交互和共享信息。注意：从项目管理的角度出发，使平台清单在满足客户要求的前提下尽可能的小是十分重要的，否则将会给编码和测试带来巨大的工作量。兼容性包括：硬件兼容。软件之间兼容。数据之间兼容。企业信息系统与语义Web研究室@WUST向前和向后兼容向后兼容是指可以使用软件的以前版本。向前兼容指的是可以使用软件的未来版本。企业信息系统与语义Web研究室@WUSTFigure9.1WordEditorFromCompanyURunningonOperatingSystemWWordEditorFromCompanyCRunningonOperatingSystemLSpreadsheetFromCompanyLRunningonOperatingSystemNFileImport/ExportNetworkImport/ExportFileLoad/SaveCut,Copy,PasteBackup企业信息系统与语义Web研究室@WUSTBackward&forwardcompatibleData.docWord98runningonWin98Word2003runningonWindowsXPForwardCompatibilityBackwardCompatibilityXXXrunningonOS2005Word2000runningonWindows2KWordrunningonWinNTWord95/97runningonWin95/97Data.RTFData.txtToolsMustdoHadbetterdesignLoadolddataImportolddataExchangenewdata企业信息系统与语义Web研究室@WUSTImpactoftestingMultipleversionsNewComputingPlatform2005PaintingandDrawingProgramsDatabaseWordProcessorsSpreadsheetProgramsGamesEducationalProgramsCompatibilitytestPopularity:Top100or1000basedonsalesdadaAge:3-yearoldType:breakintotypes:DB,Word,Graph,…ManufacturerCriteriatoChooseprograms企业信息系统与语义Web研究室@WUST多版本的测试一个庞大而又艰巨的任务，需要对所有可能的软件组合等价分配，验证软件之间正确交互的最小有效集合。通常我们的做法是：将软件分类。例如：字处理，电子表格，数据库，图形处理，游戏等。从每种类型中选择部分测试软件。按软件的流行程度选择较流行的软件。按年份，选取一定年份内的程序和版本。企业信息系统与语义Web研究室@WUST例:设计测试矩阵表每一个浏览器和版本支持的特性上都有细微的差别，在不同的操作系统上表现也有所不同。PCUnix/MacWin98WinMEWinNTWin2000SolarisHP-UXOSIXOSXIE5√√IE5.5√√√IE6√√√NS4.7√√√√NS6.0√√…企业信息系统与语义Web研究室@WUST7.5可安装性和可恢复性测试可安装性测试:系统软件安装应用软件安装服务器的安装客户端的安装产品升级安装等等企业信息系统与语义Web研究室@WUST可安装性测试安装测试注意事项:是否需要专业人员安装。安装说明书有无对安装环境做限制和要求。过程是否简单、易掌握。过程中是否有明显的、合理的提示信息。是否会出现不可预见或不可修复的错误。安装程序是否占用系统资源与原系统冲突，是否会影响原系统安全性。软件安装的完整性和灵活性。许可证号码与注册号码的验证。升级安装后原有程序是否可正常运行。卸载测试。企业信息系统与语义Web研究室@WUST可恢复性测试恢复测试主要检查系统的容错能力。当系统出错时，能否在指定时间间隔内修正错误或重新启动系统。恢复测试首先要通过各种手段，让软件强制性地发生故障，然后验证系统是否能尽快恢复。对于自动恢复需验证重新初始化、检查点、数据恢复和重新启动等机制的正确性；对于人工干预的恢复系统，还需估测平均修复时间，确定其是否在可接受的范围内。企业信息系统与语义Web研究室