性能测试培训与交流

性能测试培训与交流软件测试全景图交流内容2概念1目标3模型3方法测试模型-理发店模型理发店：一间或大或小的铺面，1个或几个理发师，几张理发用椅和供顾客等待的板凳约束和假设：1.3名理发师；2.每位理发师剪发的时间为1小时；3.顾客们每次光顾理发店时所能容忍的等待时间+剪发时间是3小时。想象可能出现的场景？模型-理发店模型场景1：理发店内只有1位顾客时，只需要有1名理发师为他提供服务，其他两名理发师可能继续等着，也可能会帮忙打打杂。1小时后，这位顾客剪完头发出门走了。那么在这1个小时里，整个理发店只服务了1位顾客，这位顾客花费在这次剪发的时间是1小时；场景2：当理发店内同时有两位顾客时，就会同时有两名理发师在为顾客服务，另外1位发呆或者打杂帮忙。仍然是1小时后，两位顾客剪完头发出门。在这1小时里，理发店服务了两位顾客，这两位顾客花费在剪发的时间均为1小时；场景3：当理发店内同时有三位顾客时，理发店可以在1小时内同时服务三位顾客，每位顾客花费在这次剪发的时间仍然是均为1小时；场景4：只有1位顾客和2位顾客时，空闲的理发师可以帮忙打杂，使得其他理发师的工作效率提高，并使每位顾客的剪发时间小于1小时；模型-理发店模型场景5：有一次顾客A、B、C刚进理发店准备剪发，外面一推门又进来了顾客D、E、F。因为A、B、C三位顾客先到，所以D、E、F三位只好坐在板凳上等着。1小时后，A、B、C三位剪完头发走了，他们每个人这次剪发所花费的时间均为1小时。可是D、E、F三位就没有这么好运，因为他们要先等A、B、C三位剪完才能剪，所以他们每个人这次剪发所花费的时间均为2小时——包括等待1小时和剪发1小时。场景6：有一次同时来了9位顾客，但是因为店面太小，只能容纳3位同时剪发，3位等待，剩下的3位看到没地方坐，就离开了。场景7：有些顾客已经是理发店的老顾客，他们和理发师已经非常熟悉，理发师可以不用花费太多时间沟通就知道这位顾客的想法。并且理发师对这位顾客的脑袋的形状也很熟悉，所以可以更快的完成一次理发的工作。场景8：理发店并不是只有剪发一种业务，还提供了烫发染发之类的业务，那么当顾客提出新的要求时，理发师服务一位顾客的时间可能会超过标准的1小时。而且这时如果要计算每位顾客的等待时间就变得复杂了很多，有些顾客的排队时间会比原来预计的延长，并最终导致他们因为无法忍受而离开模型-理发店模型场景9：有一次由于顾客与理发师产生矛盾，理发师处理不当，导致顾客发飙砸店，所有的理发均无法顺利进行，事故消除后，每位理发的顾客实际理发时间达到2小时；场景10：随着烫发和染发业务的增加，理发师们决定分工，两位专门剪发，一位专门负责烫发和染发。场景11：理发店的生意越来越好，理发师的数量和理发店的门面已经无法满足顾客的要求，于是理发店的老板决定在旁边再开一家店，并招聘一些工作能力更强的理发师。场景12：理发店的生意变得极为火爆了，两家店都无法满足顾客数量增长的需求，并且有些顾客开始反映到理发店的路途太远，到了以后又因为烫发和染发的人太多而等太久。可是理发店的老板也明白烫发和染发的收入要远远高于剪发，于是他脑筋一转，决定改变策略，在附近的几个大型小区租用小的铺面开设分店，专职剪发业务；再在市区的繁华路段开设旗舰店，专门为烫发、染发的顾客，以及VIP顾客服务。并增设800电话，当顾客想要剪发时，可以拨打这个电话，并由服务人员根据顾客的居住地点，将其指引到距离最近的一家分店去。模型-理发店模型总结：1.顾客在3人以下时，理发店理发效率最高，顾客满意度最高，但效益欠佳，时间（1，1，1）小时；2.同时有3人理发时，理发店效率和效益都最高，顾客满意度最高，但效益持久性难以保证，时间（1、1、1）小时；3.同时有6人理发时，理发店效率下降50%，效益最高，顾客满意度中等，时间（1，1.5，2）小时；4.同时有9人理发时，理发店效率最低，效益最高，顾客满意度最差，时间（1，2，3）小时；5.同时超过9人来到时，10人以后的顾客愤然离开；6.一段时间顾客持续在9人时，绝大多数客户的理发时间都在3小时，顾客很不满意，理发师也由于得不到休息，很疲惫，消极怠工，效益效率顾客满意度都持续下降模型-通用性能模型交流内容2概念1目标3模型3方法测试概念-资源资源信息资源硬件资源概念-计算机性能发展理发店场景与计算机性能发展历程：单任务多任务并行处理微处理队列控制存储升级JIT+缓存功能扩展结构化设计故障诊断与处理集群分布式（云）计算场景1场景2场景3场景4场景8场景7场景6场景5场景12场景11场景10场景9概念-时间响应时间：请求从进入到离开系统或功能模块之间的时间间隔。服务时间指系统处理该请求需要的时间。等待时间指请求被处理之前需要等待的时间。基准响应时间平均响应时间：满足了性能需求不代表系统性能满足了绝大多数用户的要求最小响应时间最大响应时间比例响应时间概念-时间C1：用户请求发出前在客户端需要完成的预处理所需要的时间C2：客户端收到服务器返回的响应后，对数据进行处理并呈现所需要的时间A1：Web/AppServer对请求进行处理所需要的时间A2：DBServer对请求进行处理所需的时间A3：Web/AppServer对DBServer返回的结果进行处理所需的时间N1：请求由客户端发出并达到Web/AppServer所需要的时间N2：如果需要进行数据库相关的操作，由Web/AppServer将请求发送至DBServer所需要的时间N3：DBServer完成处理并将结果返回Web/AppServer所需的时间N4：Web/AppServer完成处理并将结果返回给客户端所需的时间用户响应时间＝(C1+C2)+(A1+A2+A3)+(N1+N2+N3+N4)系统响应时间＝(A1+A2+A3)+(N1+N2+N3+N4)概念-吞吐量并发用户数绝对并发用户数最佳并发用户数最大并发用户数TPS服务器硬件资源配置软件中的处理开销磁盘上数据的布局硬件和软件都支持的并发度正在处理的事务类型网络流量概念-理解性能SLA：描述了所提供的服务，其可用性水平（正常运行时间和停机时间）、响应时间、客户服务水平以及违约责任。Measurement-〉Thresholds资源的管理和调度性能与投资成本硬件成本运营成本维护成本概念-理解性能木桶原理与性能瓶颈CPU-〉内存-硬盘-〉网络请求队列-线程池-连接池-数据库资源限制概念-理解性能软件性能和硬件性能的矛盾：硬件带来的东西，全让软件给拿走了（Intel送，微软取）软件是混乱、无序的概念-理解性能性能问题：交易速度慢，用户对当前应用程序的性能不满意；系统监控工具提醒你某组件正遇到超时或异常的负载；响应时间监控工具提示你服务等级协议未被满足。交易出错，多数是由于并发访问造成：系统崩溃和某些特定交易出错。性能下降概念-理解性能角色任务性能规划性能设计与编程性能测试性能监视性能问题诊断性能参数调优性能架构师精通熟悉熟悉熟悉精通精通开发人员熟悉精通了解熟悉熟悉了解测试人员了解了解精通熟悉熟悉熟悉实施人员了解了解熟悉熟悉熟悉精通维护人员了解了解了解精通熟悉熟悉交流内容2概念1目标3模型3方法测试目标-认识角度系统视角:性能”是一个整体的概念，是系统的负载与吞吐量、可接受的响应时间以及资源利用率之间的平衡。用户视角:系统对用户请求的响应速度决定了用户对系统性能的评价。管理视角:最低的成本能够让尽可能多的用户在任意时刻都拥有最好的体验,系统能够在同一时间内处理更多的用户请求。测试视角:“好的性能”意味着更大的最佳并发用户数和最大并发用户数，兼顾系统、用户、管理。目标-测试目标基于硬件投资成本的考虑基于吞吐量的考虑注册用户？在线用户？并发数？TPS基于响应时间的考虑响应时间最长不超过？秒平均时间在？~秒以内基于HA的考虑交流内容2概念1目标3模型3方法测试方法1、了解性能测试框架2、熟悉性能测试流程3、掌握性能测试工具4、熟悉测试结果分析灰色部分不在本次培训范围内方法-性能测试框架方法-性能测试流程方法-性能测试流程-框架-业务架构(范例）方法-性能测试流程-框架-技术架构(范例）方法-性能测试流程-框架-软件架构(范例）方法-性能测试流程-框架-硬件架构(范例）方法-性能测试流程方法-性能测试流程-策略-测试方式现场测试：实施项目，用户实际IT环境，项目验收或性能风险评估项目测试：研发、实施项目，公司现有IT环境，项目结项或性能故障排除选型测试：软件选型、硬件选型、组件选型对比测试：性能优化、版本发布、软硬件升级、参数/数据规模重大变化方法-性能测试流程-策略-测试类型性能测试：a点到b点之间的性能，以性能预期目标为前提，对系统不断施加压力，验证系统在资源可接受范围内，是否能达到性能预期。负载测试：b点的系统性能，对系统不断的增加压力或增加一定压力下的持续时间，直到系统的某项或多项性能指标达到极限。压力测试：b点到d点之间，超过安全负载的情况下，对系统不断施加压力，通过确定一个系统的瓶颈或不能接受用户请求的性能点，来获得系统能够提供的最大服务级别。稳定性测试：a点到b点之间，在特定硬件、软件、网络条件下，给系统加载一定业务压力，试系统运行一段较长时间，检测系统是否稳定，一般时间为n*12小时。方法-性能测试流程-策略-约束条件硬件环境：CPU、内存、存储、网络等软件环境：操作系统、中间件、数据库、应用程序等业务类型：OLTP、OLAP、DSS等业务范围：投资管理、预算管理、资金管理等参数规模、复杂度：单位、用户、机构、部门、指标、公式、字典等数据规模、复杂度：单位数、用户数、机构数、部门数、指标数、记录数等性能目标：响应时间、吞吐量、资源利用等方法-性能测试流程方法-性能测试流程-模型-业务模型(范例）方法-性能测试流程-模型-功能模型(范例）方法-性能测试流程-模型-度量模型度量关键字-业务层面（范例）预算编制表展示预算编制表保存生成编制分析表容量计算（每个功能-操作的具体用户量-YYY）度量指标并发用户数响应时间资源利用率网络流量系统无故障率方法-性能测试流程方法-性能测试流程-场景核心业务应用服务域：不同的域性能要求不一样操作频繁用户多数据很关键关键流程主流用户用户行为业务周期工作习惯方法-性能测试流程-场景-应用服务域(范例）方法-性能测试流程方法-性能测试流程-用例事务性原子性：要么成功，要么失败一致性：执行前和执行后数据一致隔离性：资源独立非共享持久性：持续不间断的运行需要针对性面向用户兼顾系统：子事务嵌套【根据系统实现方式，拆分成多个子事务，方便跟踪响应时间等-YYY】多元性实现用户操作收集性能指标定位性能瓶颈方法-性能测试流程