软件系统测试报告(二)

软件系统测试报告——网上招聘系统学院：计算机科学学院背景：如今网上招聘越来越普遍，但有些招聘系统的综合性能不是很好，比如系统的冗余、系统的性能、安全性、完整性等等都有待提高，本次测试的目的就是针对本系统的性能进行测试。一．实验目的1、通过对测试结果的分析，得到对软件质量的评价2、分析测试的过程，产品，资源，信息，为以后制定测试计划提供参考3、评估测试测试执行和测试计划是否符合4、分析系统存在的缺陷，为修复和预防bug提供建议二、实验内容该文档的目的是描述网上招聘系统项目客户端系统测试的总结报告，其主要内容包括：系统环境简介1、软件名称：网上招聘求职系统2、软件功能：为求职者提供求职、收藏、信息交互等功能；为招聘单位提供招聘、收藏、信息交互等功能；为管理员提供管理网站公告、友情链接和网站会员的管理功能。3、用户：求职者、招聘单位、管理员4、开发者：ZSS系统数据度量系统结果评估用户群：1、项目管理人员2、测试人员范围：该文档定义了客户端系统测试的结果，总结了测试客户端的职位查询、网上提交简历、在线答题的基本功能，以及支持大数据量并发访问的性能，给出了测试的结论。2.1严重bug：出现以下缺陷，测试定义为严重bug系统无响应，处于死机状态，需要其他人工修复系统才可复原。点击某个菜单后出现“Thepagecannotbedisplayed”或者返回异常错误。进行某个操作（增加、修改、删除等）后，出现“Thepagecannotbedisplayed”或者返回异常错误2.2缩写说明HR---HumanResource（人力资源管理）的缩写。MVC---Ｍｏｄｅｌ－Ｖｉｅｗ－Ｃｏｎｔｒｏｌ（模式－视图－控制）的缩写，表示一个三层的结构体系。2.3测试类型a、功能性测试:按照系统需求定义中的功能定义部分对系统实行的系统级别的测试。b、非功能性测试:按照系统需求定义中的非功能定义部分（如系统的性能指标，安全性能指标等）对系统实行的系统级别的测试。c、测试用例：测试人员设计出来的用来测试软件某个功能的一种情形2.4参考资料[1]《LoadRunner使用手册》北京长江软件有限公司编制[2]《网上招聘客户端需求说明》北京长江软件有限公司编制[3]《软件测试技术概论》古乐史九林编著/清华大学出版社[4]《软件测试：第二版》PaulC.Jorgensen著/机械工业出版社2.5测试执行此次测试严格按照项目计划和测试计划执行，按时完成了测试计划规定的测试对象的测试。针对测试计划规定的测试策略，在测试执行中都有体现，在测试执行过程中，依据测试计划和测试用例，对系统进行了完整的测试三、测试环境描述本测试的测试目的是验证网上招聘系统的客户端能否实现应聘者的职位查询、简历提交、问卷的答复等基本功能，以及并发访问的性能。为此，采用Mercury的LoadRunner7.5１测试工具进行压力测试，验证是否满足系统的需求。测试机器是安装了LoadRunner7.5１测试工具的客户机，可以执行功能也可以采用工具录制功能，并模拟多人并发访问系统，监控系统的性能，得出分析结果。如图G－１。图G-1:测试机器的环境这个测试机器的配置环境如下：操作系统：WindowsXP配置工具：Tomcat5.0以上浏览器：MicrsoftIE6.0.2800.1106CPU：2.0以上四、功能测试执行情况测试计划单元测试（类测试）：2010年10月1日-2010年11月30日集成测试（交互测试）：2010年12月1日-2010年12月10日系统测试：2010年12月11日-2010年12月31日测试方案单元测试方案：由开发人员在系统开发过程中对编写的系统函数以及数据库接口函数等使用白盒测试方法进行单元测试。集成测试方案：由测试小组在单元测试结束后对使用黑盒测试方法对各单元组合在一起能否按照既定意图写作运行进行测试。系统测试方案：由测试小组在集成测试结束后对整个系统能否在实际软件要求的环境正常运行，并且对最终的系统软件进行全面的测试，以确保最终软件系统满足产品需求并且遵循系统设计。安装了LoadRunner7.5１的客户机测试说明由于篇幅有限，只写出部分重要代表性测试用例，有个人注册、个人简历填写、上传照片的测试用例。其他测试略。表G-2是测试用例执行情况的综述。表G-2:测试用例的度量数据被测对象用例执行总数发现缺陷数首页TestCase-FUNC-01TestCase-FUNC-02TestCase-FUNC-03TestCase-FUNC-048＋13填写基本信息页面TestCase-FUNC-05TestCase-FUNC-0629＋19填写工作经历页面TestCase-FUNC-05TestCase-FUNC-0712＋11填写教育经历页面TestCase-FUNC-05TestCase-FUNC-0810＋11填写工作技能页面TestCase-FUNC-05TestCase-FUNC-094＋12填写家庭关系页面TestCase-FUNC-05TestCase-FUNC-106＋16填写自我介绍页面TestCase-FUNC-05TestCase-FUNC-111＋11预览应聘者简历TestCase-FUNC-05TestCase-FUNC-120＋10回答问卷界面TestCase-FUNC-05TestCase-FUNC-131＋20直接访问后续页面TestCase-Perf-18＋18并发访问系统TestCase-Perf-20＋10４.2性能测试执行情况性能测试是通过Ｌｏａｄｒｕｎｎｅｒ测试工具模拟２０个人同时访问系统的客户端。首先录制客户端的基本操作，然后设置参数以保证２０个脚本的输入是不完全一致的。通过设置执行情景来实施性能测试，打开监控窗口监控系统运行状况，最后得到执行结果报告。4.2.1活动用户视图图G－３是２０个模拟用户的运行结果。从图中可以看到有２０个虚拟用户在同时访问系统的客户端。4.2.2每分钟点击数图G－４是２０个用户并发访问客户端时，每分钟的点击数。从图中可以看出，由于设定了集合点，点击数大的集中在每次填写完表单提交数据时。图G－３：２０个模拟用户4.2.3吞吐率图G－５是２０个用户访问时吞吐率，从图中可以看出，同样由于在每次提交数据时设定了集合点，吞吐率大都集中在每次填写完表单、提交数据的时候。而前4个页面由于需要下载图片，因此吞吐率也相对较大。4.2.4事务概要图G－６是２０个模拟用户的事务图。图G－４：每分钟的点击数图G－５：访问吞吐率说明：事务分别对应于每次点击进入下一个界面。顺序依次是：init,login,config1,config2,config3,config4,config5,end4.2.5事务响应时间图G－７是模拟２０个并发用户的设置的事务的响应时间图，从图表中可以看出，在最后一次提交页面时，反应时间最长。图G－６：事务图图G－７：性能测试的事务响应时间综述上图得到如下结论：并发用户数：20通过交易总数：220总吞吐量：（bytes）5436861平均吞吐量（bytes/second）：22844总hits数：920每秒平均hits数：3.866事务时间响应，见表G－３。表G－３：事务的响应时间查响应时间差交易事务最大值最小值平均值变化率开始0000显示职位列表查看职位详细信息43.97436.39937.5441.802填写提交个人资料56.68749.68954.8681.677填写提交工作经历42.15732.09436.2111.966填写提交教育经历30.57719.28625.6402.262填写提交基本技能17.73611.56314.9751.267填写提交家庭成员12.4068.43611.0790.92填写提交各人评价预览简历50.07848.23549.3270.468答题并提交结果6.8374.3155.650.568关闭网页0000结束0000五、测试结果分析5.1测试进度和工作量度量功能测试的进度和工作量计划与实际比较结果如下。5.1.1进度度量表G－4是测试进度的计划与实际结果比较。从度量数据看实际进度与计划基本相符。表G－4：是测试进度的度量数据任务计划开始计划结束实际开始实际结束测试计划与设计2006-5-192006-5-262006-5-152006-6-1测试执行2006-6-122006-7-22006-6-172006-7-1测试总结2006-7-32006-7-52006-6-302006-7-15.1.2工作量度量表G－5是实际测试工作量的数据，与计划基本相符。表G－5：是测试工作量度量执行任务开始时间结束时间工作量（人时）测试计划与设计2006-5-152006-6-120×3人时测试执行2006-6-172006-7-115×3人时测试总结2006-6-302006-7-16×3人时5.2缺陷数据度量表G－6是测试过程缺陷数据的总结情况，从缺陷的严重程度看，严重和致命的缺陷占的比例较大，说明系统还是存在严重问题，需要重新修改，产品不能提交。从缺陷的类型看，功能缺陷、赋值缺陷和设计缺陷占比较大的比例，说明设计和编码过程中存在很大的问题。表G－6：测试过程的缺陷数据被测对象总数严重程度缺陷类型致命严重一般提示设计错误赋值错误算法错误接口错误功能错误其它首页30102210000填写基本信息页面90045000090填写工作经历页面11000010000填写教育经历页面11000010000填写工作技能页面22000020000填写家庭关系页面66000060000填写自我介绍页面11000010000回答问卷界面00000000000直接访问后续页面808000800005.3综合数据分析根据测试的结果可以得出如下的分析数据。用例执行效率＝执行用例总数/执行总时间（小时）＝128/45＝2.84（个/小时）用例质量＝缺陷总数/用例总数×100＝31/128*100＝24.2％根据缺陷跟踪结果得出缺陷的严重程序分布和的缺陷的类型分布，如图G－8和图G－9。缺陷严重程度分布饼图：缺陷类型分布饼图：致命35%严重29%一般13%提示23%致命严重一般提示设计错误6%赋值错误65%算法错误0%接口错误0%功能错误29%其它0%设计错误赋值错误算法错误接口错误功能错误其它图G－8：缺陷严重程度的分布图G－9：缺陷类型分布图可靠性现有系统的可靠性控制不够严密，很多控制是通过页面控制实现的，如果页面控制失效，可以向数据库插入数据，引发错误。现有系统的容错性不高，如果系统出现错误，返回错误类型为找不到页面错误，无法回复到出错前的状态兼容性现有系统支持window下的IE浏览器和傲游浏览器，支持linux系统下的IE浏览器和火狐浏览器。现有系统未进行其他兼容性测试安全性现有系统控制了以下安全性问题：把某一个登录后的页面保存下来，不能单独对其进行操作不进行登录直接输入某一页面的Url能否打开页面并进行操作不应该允许。现有系统未控制以下安全性问题：用户名和密码应对大小写敏感登陆错误次数限制5.4详细测试结果1.个人注册功能测试如表序序号测试目的&先决条件测试输入预期测试结果实际测试结果111目的：正确输入，注册能否操作成功用户名：zhang(数字、字母、下划线组成）密码：123456(长度大于5的数字、字母、下划线组成的字符串）重复密码：123456（与密码相同）密码找回问题：我是谁？(字符串)密码找回答案：张三(字符串)转到成功页面同预期测试结果2目的：检测系统对用户名的检测程度2.1不输用户名“用户名不能为空”同预期测试结果2.2输入已存在用户名:zhang用户名已存在2.3用户名：123.abc“用户名只能由数字字母下划线组成”2.4用户名：-12345“用户名只能由数字字母下划线组成”3目的：检测系统对密码输入的检测程度3.1不输入密码“密码不能为空且不能少于6位”同预期测试结果3.2密码：12345“密码不能为空且不能少于6位”4目的：检测