PTGM性能测试模型讲义

--XXX(集团)股份限公司--PTGM性能测试模型讲义KinaMa（马秀斌）Email:[e-mail]--XXX(集团)股份限公司--PTGM过程模型4.测试设计与开发3.测试计划5.测试执行与管理2.测试工具引入6.测试分析1.测试前期准备性能测试过程通用模型（PTGM)--XXX(集团)股份限公司--PTGM过程模型（含KPA）4.测试设计与开发3.测试计划5.测试执行与管理2.测试工具引入6.测试分析1.测试前期准备性能测试过程通用模型（PTGM)1.测试前期准备(KPA)Ø系统基础功能验证Ø组建测试团队Ø测试工具需求确认Ø性能预备测试（可选）2.测试工具引入(KPA)Ø工具选择Ø工具应用技能培训Ø确定工具应用过程5.测试执行与管理(KPA)Ø建立测试环境Ø部署测试脚本和测试场景Ø执行测试和记录结6.测试分析(KPA)ØØ4.测试设计与开发(KPA)Ø测试环境设计Ø测试场景设计Ø测试用例设计Ø脚本与辅助工具开发3.测试计划(KPA)Ø性能测试领域分析Ø用户活动剖析与业务建模Ø确定性能目标Ø制定测试时间计划--XXX(集团)股份限公司--1.测试前期准备系统基础功能验证组建测试团队测试工具需求确认性能预备测试（可选活动）在前期准备阶段，至少要完成两个方面的工作：保证系统稳定和建立合适的测试团队。性能测试一般是软件系统已经开发或是部署完成之后的测试，要求被测对象至少具有一定的稳定性，在功能上基本满足了需求。对一个很不稳定或是还处于“半成品”状态的软件系统进行测试，没有太大的意义。--XXX(集团)股份限公司--1.1系统基础功能验证Ø该活动类似于在系统测试阶段，每个迭代过程中的BVT（BuildVerificationTest）测试，对性能测试而言，这个活动的主要目的是确保当前需要进行性能测试的应用系统已经具备了进行性能测试的条件。--XXX(集团)股份限公司--1.2组建测试团队角色职责技能测试负责人1、和用户等项目干系人交互，确保测试的外部环境2、制定测试计划3、监控测试进度4、发现和处理测试中的风险1、计划执行和监控能力2、风险意识和能力3、外交能力和灵活变通的能力测试设计1、定义性能规划2、识别用户的性能需求3、建立性能场景1、业务把握能力2、性能需求分析和识别能力测试开发1、实现已设计的性能场景2、脚本开发、调试3、确定测试时需要监控的性能指标、性能计数器1、脚本编码和调试能力2、理解性能指标和性能计数器测试执行1、部署测试环境2、执行脚本和场景3、根据监控要求记录测试结果、记录性能指标和性能计数器值1、搭建测试环境的能力2、测试工具使用（执行）的能力3、性能指标和性能计数器值获取和记录的能力测试分析1、根据测试结果、性能指标的数值、性能计数器值进行分析；2、能根据性能规划，分析出系统性能瓶颈，或是给出优化建议1、掌握性能测试工具的使用方法2、掌握应用系统性能领域相关知识,理解所采用的架构3、熟悉常用的性能分析方法4、具有一定的编码经验支持角色(系统)系统支持，协助解决测试工程师无法解决的系统问题处理系统问题的能力和技能，最好由专职的系统管理员担任这个角色支持角色(网络)网络方面的支持，协助测试工程师解决网络方面的问题，在必要时为测试分析角色提供网络方面的分析支持网络方面的能力和技能，最好由专职的网络管理员担任这个角色支持角色(数据库)数据库方面的支持，在必要时为测试分析角色提供数据库方面的支持数据库方面的能力和技能，最好由专职的DBA担任这个角色--XXX(集团)股份限公司--1.3测试工具需求确认性能测试工具需求规划表被测系统环境测试工具功能需求建议操作系统环境测试工具是否能运行在本操作系统上？测试工具是否支持对本操作系统的监控？应用服务器环境测试工具能否支持对本应用服务器的监控？数据库环境测试工具能否支持本数据库的监控？应用使用的协议本系统使用了哪些协议？哪些协议需要在性能测试中通过工具进行录制和产生负载？测试工具能否支持我们需要进行录制和产生负载的协议？网络环境我们是否需要测试工具支持防火墙？我们是否需要测试工具支持负载均衡？测试管理支持测试工具是否能够提供方便的测试结果分析和管理？--XXX(集团)股份限公司--1.4性能预备测试（可选活动）Ø所谓预备测试，指的是在正式的测试之前，通过简单的探索性测试或是其他方法，对系统的性能表现进行初步的了解。因为这种预备测试是非正式性的，仅仅用来对被测系统的性能建立一个初步印象，所以方法上也比较随意。--XXX(集团)股份限公司--2.测试工具引入工具选择工具应用技能培训确定工具应用过程性能测试工具在性能测试项目中发挥着不可替代的作用，很难想象一个没有使用任何性能测试工具而完全依靠手工进行的性能测试。对性能测试来说，要为项目测试选择合适的工具、要为测试工具的使用确定范围，要在测试过程中规定和规范测试工具的使用，都不是一件容易的事情。因此，把“测试工具引入”作为一个单独的阶段。--XXX(集团)股份限公司--2.1工具选择Ø性能测试一定会使用自动化测试手段，使用自动测试工具(商业的或是自行开发的)。本活动用于为项目选择合适的工具。Ø选择的方法是圈定几种可用的工具，对照“性能测试工具需求规划表”给出的问题列表，为每个工具进行一个功能符合度的评估，选择符合度最高的工具。如果所有的工具都无法达到我们要求的功能符合度，则可以考虑通过创建方式自行构建测试中使用的工具。--XXX(集团)股份限公司--2.2工具应用技能培训Ø该活动为项目组的相关参与者进行测试工具的应用技能培训，以使测试活动参与者能够具备测试需要的技能。根据我们在1.2节给出的角色技能表，与测试工具相关性最大的是“测试开发”、“测试执行”和“测试分析”角色，因此培训的重点是针对这三种类型的角色进行。Ø该活动需要达到一定的目标，最好能够在活动开始前确定各种角色人员的详细技能标准，并据此给出培训是否达到预定目标的评判准则。--XXX(集团)股份限公司--2.3确定工具应用过程Ø测试工具引入过程中最容易导致的失败就是团队不能达成对测试工具应用范围的一致认可和测试工具应用局限性的一致确认。Ø该活动需要确定性能测试工具在测试中的具体应用范围，工具使用过程中的问题解决方法等内容。具体来说，哪些工作使用工具完成？测试工具在使用过程中的问题由谁来解决？测试工具的脚本如果管理？这些问题都应该在这个活动中完成。--XXX(集团)股份限公司--3.测试计划性能测试领域分析用户活动剖析与业务建模确定性能目标制定测试时间计划测试计划阶段用于生成指导整个测试执行的计划。该阶段主要完成测试目标的确定、测试时间计划拟定。--XXX(集团)股份限公司--3.1性能测试领域分析应用领域性能测试目标性能目标能力验证验证系统在给定环境中的性能能力重点关注的关键业务响应时间、吞吐量规划能力验证系统的性能扩展能力，找出系统能力扩充的关键点，给出改善其性能扩展能力的建议业务的性能瓶颈性能调优提高系统的性能表现重点关注的关键业务响应时间、吞吐量发现缺陷发现系统中的缺陷无--XXX(集团)股份限公司--3.2用户活动剖析与业务建模Ø用户活动剖析与业务建模活动用来寻找用户的关键性能关注点。用户对系统性能的关注往往集中在少数几个业务活动上，在确定性能目标之前，我们需要先把用户的这些关注点找出来，从而确定最贴近用户要求的性能目标。Ø用户活动剖析的方法大体分为两种：系统日志分析和用户调查分析。系统日志分析是指通过应用系统的日志了解用户的活动，分析出用户最关注、最常用的业务功能，以及达到业务功能的操作路径；用户调查分析是在不具备系统日志分析条件的时候（例如，该系统尚未交付用户运行实际的业务）时采用的一种估算方法，可以通过用户调查问卷、同类型系统对比的方法获取用户最关注、最常用的业务功能等内容。--XXX(集团)股份限公司--3.3确定性能目标Ø性能测试目标根据性能测试需求和用户活动分析结果来确定，确定性能测试目标的一般步骤是首先从需求和设计中分析出性能测试需求，结合用户活动剖析与业务建模的结果，最终确定性能测试的目标。--XXX(集团)股份限公司--3.4制定测试时间计划Ø该活动给出性能测试的各个活动起止时间，为性能测试的执行给出时间上的估算。具体方法是根据性能测试活动，为每个活动阶段给出可能的时间估计，最终形成时间上的计划。--XXX(集团)股份限公司--4.测试设计与开发测试环境设计测试场景设计测试用例设计脚本和辅助工具开发--XXX(集团)股份限公司--4.1测试环境设计Ø测试环境设计是测试设计中不可缺少的环节。性能测试的结果与测试环境之间的关联性非常大，无论是哪种领域内的性能测试，都必须首先确定测试的环境。Ø对于“能力验证”领域的性能测试来说，测试首先就已经明确了是在特定的部署环境上进行，因此不需要特别为性能测试设计环境，只需要保证用于测试的环境与今后系统运行的环境一致即可。Ø对于“规划能力”领域的性能测试来说，测试环境不特定，但也需要设计一个基准的环境。Ø对于“性能调优”领域的性能测试来说，因为调优过程是一个反复的过程，在每个调优小阶段的末尾，都需要有性能测试来衡量调优的效果，因此必须在开始就给出一个用于衡量的环境标准，并在整个调优过程中，保证每次测试时的环境保持不变。--XXX(集团)股份限公司--4.2测试场景设计Ø测试场景设计活动用于设计测试活动需要使用的场景。在“确定测试目标”活动中，我们描述了如何确定测试目标，以及测试目标的一般描述，这个活动需要更详细地将测试目标转化为能够在测试执行中使用的内容。Ø测试场景模拟的一般是实际业务运行的剖面，其包括业务、业务比例、测试指标的目标以及需要在测试过程中进行监控的性能计数器。场景名称场景业务及用户比例分配测试指标性能计数器用户登录登录业务，100%用户总用户数200人响应时间（5s）服务器CPUUsage服务器内存Usage标准日常工作入帐业务，40％用户查询业务，30％用户统计业务，30％用户总用户数200人响应时间（入帐6s）（查询5s）（统计10s）服务器CPUUsage服务器内存Usage……………………测试场景示例--XXX(集团)股份限公司--4.3测试用例设计Ø在设计完成测试场景之后，为了能够把场景通过测试工具体现出来，并能用测试工具顺利进行测试执行，因此有必要针对每个测试场景规划出相应的工具部署、应用部署、测试方法和步骤，这个过程就是我们要讨论的测试用例设计活动。Ø测试用例是对测试场景的进一步细化，细化内容包括场景中涉及业务的操作序列描述、场景需要的环境部署等内容。“登录业务”用例设计例子：1、用户进入登录页面（访问）2、用户输入正确的用户名和口令3、用户点击“登录”按钮4、等待直到出现登录成功的页面，判断该页面成功显示的方法是HTML页面内容中的“欢迎”文本--XXX(集团)股份限公司--4.4脚本和辅助工具开发Ø脚本和辅助工具的开发是测试执行之前的最后步骤，测试脚本是对业务操作的体现，一个脚本一般就是一个业务的过程描述。测试辅助工具指的是在测试中充当“桩模块”、“驱动模块”的程序，或提供辅助进行服务器性能监控的脚本等。Ø测试脚本的开发通常基于“录制”，依靠工具提供的录制功能，可以将需要性能测试关注的业务在工具的录制下操作一遍，然后基于该录制后的脚本，对其进行修改和调试，确保其可以在性能测试中顺利使用。最常用的脚本修改和调试技巧是“参数化”、“关联”和“日志输出”等。--XXX(集团)股份限公司--5.测试执行与管理建立测试环境部署测试脚本和测试场景执行测试和记录结果测试执行与管理过程用于建立合适的测试环境，部署测试脚本和测试场景，执行测试并记录测试结果。--XXX(集团)股份限公司--5.1建立测试环境Ø该活动用于搭建需要的测试环境。在设计完成用例之后就会开始该活动，该活动是一个持续性的活动，在测试过程中，可能会根据测试需求进行环境上的调整。Ø