第8章 分析测试结果

第八章分析测试结果测试结果是在运行过程中动态产生的。你也可以为了查看和分析的需要在运行后重新产生结果。IBMRationalPerformanceTester提供了非常丰富的测试报告功能，你可以灵活的选择适合你的测试目标的测试报告。本章节将全面的介绍IBMRationalPerformanceTester中提供报告特性，包括报告的类型、报告的查看、两个报告的比较、定制报告、查看执行历史等特性。IBMRationalPerformanceTester中包含了非常全面的报告类型，完全能够满足绝大多数测试项目的需求。在完成了测试创建、扩展、调度创建和运行后，你需要对测试报告进行分析，以找出当前被测系统在哪些方面还存在性能问题。针对具体的需求，并不是所有的报告都是有意义的。你在规划测试时，你不仅仅建立了负载模型，同时你也应该确定测试的评测标准。换句话说就是，你要在测试执行之前对具体的测试指标和期望结果进行规划。举个简单的例子，假设我们正在测试一个网上购物的站点，我们期望系统在1000个用户同时访问时响应的时间在1秒中之内。对于这个需求，我们可以确定出具体的性能指标：在性能报告中（接下来的章节会详细介绍）页面的平均响应时间在1秒中之内。当你运行测试后，你就应该找到性能报告中的页面性能标签，查看平均响应时间是多少（如下图）。如果响应时间在1秒钟之内，证明被测系统的此项指标达到了期望值。接下来的章节，会详细的介绍IBMRationalPerformanceTester包含的报告类型，你可以根据具体的测试需求来选择报告中的具体指标进行评测。在分析测试结果时，你可能希望更好的将你关心的指标组织在一起，以便结果的查看和分析，或者你希望对多次的测试执行报告进行比较，对测试执行过程中的信息进行查看，本章的后面几个小节将详细的介绍这些功能。8.1IBMRationalPerformanceTester中的报告类型IBMRationalPerformanceTester中包括了以下的报告类型：1.性能报告2.页面元素报告3.百分比报告4.事务报告5.验证点报告接下来，将对这些类型的报告进行详细的说明。8.1.1性能报告这一报告概括了运行的正确性，总结了对运行最重要的数据，指出测试中最慢的十个页面的响应趋势，并作出每一页面的响应趋势的时间变化图。总体标签总体标签提供了下列信息：一个指出运行状态的进度标识。一个表明运行大致成功的柱状图。图形指出：o整个运行中页面元素状态码成功的百分比。页面元素成功百分比是指根据请求通过的响应代码检验点。如果一个请求没有检验点，成功是指服务器收到了请求并返回一个带有属于200或300范畴的状态码的响应，或者返回一个期望的带有属于400或500范畴的状态码的响应。o整个运行中页面状态码成功的百分比。页面状态码成功百分比是指根据主请求通过的响应代码检验点。如果一个主要请求没有检验点，成功是指服务器收到了请求并返回一个带有属于200或300范畴的状态码的响应，或者返回一个期望的带有属于400或500范畴的状态码的响应。o如果运行包含了页面标题检验点，柱状图指出了通过的检验点的百分比。o如果运行包含了响应代码或响应长度检验点，柱状图指出了通过的检验点的百分比。o如果运行包含了内容检验点，柱状图指出了通过的检验点的百分比。图8.1摘要标签摘要标签概括了对测试运行最重要的数据并使你能够迅速分析一个测试的最终或中间结果。概要标签提供了下列运行摘要信息：活动的和全部的用户数量。这一数字在运行过程中被更新。消耗的时间。这是运行过程的时间，按小时，分钟，秒来显示。显示计算机的结果。你可以通过在性能测试运行视图中点击计算机名称查看单个计算机的概要结果。运行状态，是指运行的状态。它可以是初始化计算机，添加用户，运行，执行运行历史数据转移，停止，或完成。概要标签提供了下列页面摘要信息：所有页面的平均响应时间。响应时间是所有页面元素响应时间之和（包括连接时间和内部请求延迟）。所有页面的最长响应时间。所有页面的最短响应时间。页面尝试的总数和命中页面的总数。页面尝试指的是一个主请求被发出；它不包括页面内的请求。命中指的是服务器收到请求并返回响应。如果你设置了页面检验点，概要标签会显示页面检验点的结果摘要。概要标签提供了下列页面元素摘要信息：所有页面元素的平均响应时间。响应时间是从发送第一个请求字符到收到最后一个响应字符的时间。页面元素尝试的总数和命中页面元素的总数。页面元素尝试指的是一个请求被发出。命中指的是服务器收到请求并返回响应。通过的检验点的百分比。如果你设置了页面元素检验点，概要标签会显示检验点的结果摘要。如果你在测试中设置了交易事务，概要标签提供下列事务信息：所有事务的最小，最大，以及平均响应时间。响应时间是事务容器内实际消耗的时间。启动的事务总数和完成的事务总数。图8.2页面性能标签页面性能标签显示了测试过程中最慢的十个页面的平均响应。它使你能够评估测试期间系统的响应，以及测试后系统的响应情况。柱状图表示了最慢的十个页面的平均响应时间。每根柱代表了在记录过程中你所访问的一个页面。当你运行测试时，柱状图随之改变，因为在运行过程中最慢的十个页面在动态地更新。比如说，在运行初期“登陆”页面可能是十个最慢的页面之一，但是，随着测试的进行，“购物车”页面可能取代“登陆”页面成为最慢的十个页面之一。运行结束后，标签显示整个运行中最慢的十个页面。柱状图下的表格提供了下列附加信息：运行中每个页面的响应时间最小值。响应时间是从发送第一个请求字符到收到最后一个响应字符的时间。运行中每个页面的响应时间平均值；即，与图中相同的信息。运行中每个页面的响应时间最大值。尝试访问每个页面的速度。一次尝试是指一个主要请求被发送出去；它不包括页面内的请求。访问页面的尝试计数。图8.3响应与时间摘要标签响应与时间摘要标签使你从时间变化图中看到平均响应的趋势。它包含了两条带有相应摘要表格的曲线图：左边的曲线图表示运行过程中所有页面的平均响应。图上的每一点代表了该时间间隔内的平均值。图下面的表格指出了一个数字：运行中所有页面的总平均响应时间。右边的曲线图表示运行过程中所有页面元素的平均响应时间。图上的每一点表示了该时间间隔内的平均值。图下面的表格指出了一个数字：运行中所有页面元素的总平均响应时间。你在调度中设置统计信息样本时间间隔作为一个调度属性。图8.4响应与时间详细信息标签响应与时间详细信息标签使你能够通过时间图看到响应趋势。每个页面由一条单独的曲线表示。曲线图显示了每个页面随时间的平均响应。图下面的表格包含了下列补充信息：运行的页面响应时间最小值。响应时间是从发送主请求的第一个请求字符到收到最后一个响应字符的时间；它不包括页面内的请求。运行的页面响应时间平均值（这与图形相似，但是表格中的信息涵盖了整个运行）。运行的页面响应时间最大值。最近信息样本时间间隔的每个间隔内的页面尝试速率。页面尝试是指主请求被发送；它不包括页面内的请求。你在调度中设置统计信息样本时间间隔作为一个调度属性。每个间隔内的页面尝试计数。图8.5页面吞吐量标签页面吞吐量标签为你提供了每个时间间隔内传输请求的频率的总体情况。左边的曲线图显示了每个间隔内所有页面的页面尝试速率和页面命中速率。页面尝试是指主请求被发送；它不包括页面内的请求。命中是指服务器收到请求并返回响应。图下面的摘要表格指出了运行中每个页面总的命中率和计数。右边的曲线图显示了在运行过程中活动的和完成的用户数。图下面的摘要表格指出了最近的信息样本时间间隔。你在调度中设置统计信息样本时间间隔作为一个调度属性。图8.6服务器吞吐量标签服务器吞吐量标签为你提供了每个时间间隔内服务器字节传输的频率的总体情况。左边的曲线图显示了每个间隔内所有服务器字节传输速率。图下面的摘要表格指出了运行中服务器接收和发送字节数的计数。右边的曲线图显示了在运行过程中活动的和完成的用户数。图下面的摘要表格指出了最近的信息样本时间间隔。你在调度中设置统计信息样本时间间隔作为一个调度属性。图8.7服务器运行状况摘要标签服务器运行状况摘要标签为你提供了服务器对负荷的响应情况的整体指示。左边的柱状图指出了运行中页面尝试的总数，页面命中的总数，以及状态码成功的总数。图下面的表格显示了相同的信息。页面尝试是指一个主要请求被发送出去；它不包括页面内的请求。命中是指服务器收到了请求并返回响应。成功是指通过请求的响应码检验点。如果请求没有检验点，则成功指服务器收到请求并返回一个带有属于200或300范畴的状态码的响应，或返回一个带有属于400或500范畴的状态码的期待响应。右边的柱状图表示了运行中页面元素尝试的总数，页面命中的总数，以及状态码成功的总数。图下面的表格显示了相同的信息。图8.8服务器运行状况详细信息标签服务器运行状况详细信息标签提供了最不成功的十个页面的具体细节。柱状图显示了最不成功的十个页面。图下面的概要表格显示了运行中所有页面的尝试次数，命中次数，以及成功次数，还有运行时每秒的尝试次数。尝试是指一个主要请求被发送；它不包括页面内的请求。命中是指服务器收到请求并返回响应。成功是指通过请求的响应码检验点。如果请求没有检验点，则成功指服务器收到请求并返回一个带有属于200或300范畴的状态码的响应，或返回一个带有属于400或500范畴的状态码的期待响应。图8.98.1.2页面元素报告该报告概括了对测试运行最重要的页面元素数据。这份报告中的图表指出了时间间隔，尝试，命中，以及成功。间隔取决于你如何在调度中设置统计信息样本时间间隔。尝试是指一个请求被发送出去。命中是指服务器收到请求并返回响应。成功是指通过请求的响应码检验点。如果请求没有检验点，则成功指服务器收到请求并返回一个带有属于200或300范畴的状态码的响应，或返回一个带有属于400或500范畴的状态码的期待响应。响应时间是从发送第一个请求字符到收到最后一个响应字符的时间。RationalPerformanceTester默认显示的的报告是性能报告，要打开页面元素报告、百分点报告、事务报告和验证点报告，可以采用如下的方式：1.打开测试运行结果，在性能测试运行视图所有主机图标上点击反键，选择显示报告。图8.102.在选择报告对话框中，选择HTTP报告页面元素性能报告,点击确定。图8.103.这样就打开了页面元素报告图8.11总体标签总体曲线图指出了随时间变化的所有页面元素的平均响应时间。图下面的表格提供了下列信息：运行中所有页面元素的平均响应时间。运行中页面元素尝试的速率。运行中页面元素尝试的总数。图8.12响应与时间摘要标签响应与时间摘要曲线图显示了运行中最慢的十个页面元素的响应时间。图下面的表格列出了母页面和页面元素，并提供了下列信息：运行中页面元素的响应时间平均值。最近的样例间隔的每秒尝试速率。最近的样例间隔的尝试计数。图8.13响应与时间详细信息标签响应与时间详细信息表格指出了运行中每个页面元素的响应时间。该表格列出了母页面和页面元素，并为整个运行过程中每个页面元素提供了下列信息：响应时间平均值。尝试计数。每秒的尝试速率。图8.14页面元素吞吐量标签页面元素吞吐量标签通过时间图使你能够看到平均响应的趋势。它包含了两条带有相应概要表格的曲线：左边的曲线表示了最后记录的间隔内所有页面尝试比率和命中比率的组合。图下面的表格指出了一个数字：运行中所有页面的平均命中比率。右边的曲线图表示了活动的和完整的用户的对比。图下面的表格指出了整个运行中活动的，完成的，以及全部的用户数。图8.15服务器运行状况详细标签服务器运行状况详细柱状图显示了运行中最慢的十个页面元素的成功度。图下面的表格列出了母页面和页面元素，并提供了如下的整体运行信息：尝试次数。命中次数。成功次数。成功百分比（与柱状图中绘出的信息相同）。每秒尝试次数。图8.168.1.3百分点报告该报告产生于一次运行完成以后，指出了运行中最慢的十个页面的85％