中国公有云用户体验报告

基于用户体验的云测试中国公有云用户体验报告TINGYUN.COM前言什么才是适合自己的云服务？我们经常听到云服务商给我们传递的信息总是非常简单：打消顾虑，我们会帮你处理所有的事情。忘记挥汗如雨地安装服务器，忘记反复检查备份设备，或是忘记那成千上万容易出错的环节带给你的那份不安吧，把你的信用卡号和数据给我们，我们将完成剩下的工作。如上所述，云服务真的能如此让你省心吗？也许吧，但是当你面对众多云服务厂商，作为非专业人士的你如何选择？牵涉指标太多，专业的云性能指标一般人看不懂，这里就不说了。听云利用自主开发的听云Network产品仅从模拟真实用户的角度对比不同云服务的使用效果，结合听云Server、听云Sys产品进行测试，实现端到端的评测效果，给您一份直观的评测报告。TINGYUN.COM评测说明•同一网站素材在不同云上的用户访问体验对比评测目标•听云Network主动测试+听云Server&听云Sys产品被动监测评测手段•8家云满足网站应用的基本测试单元评测环境•2015.08.22~2015.09.05评测周期TINGYUN.COM测试机房选择测试对象名称CPU内存数据库部署方式带宽地域AWS双核4GEC2搭建方式自适应中国（北京）区cn-­north-­1aUnitedStack双核4G虚拟机自建数据库5Mbps北京一区阿里云双核4G云数据库5Mbps北京百度开放云双核4G云数据库5Mbps北京腾讯云双核4G云数据库5Mbps华东一区上海一区华为云双核4G虚拟机自建数据库5Mbps中国华北可用性区域8青云双核4G云数据库5Mbps北京二区UCloud双核4G云数据库5Mbps北京BGP CTINGYUN.COM评测逻辑图20w+节点主动测试8家主流云为测试对象听云两大诊断产品参与被动监测听云Network模拟用户视角听云Server听云SysCloud备注：听云Network模拟用户（所有客户端都是模拟实际用户部署在各地，不在公有云上。）对网站首页和内容页进行访问，访问频次如下：第一测试阶段：20150822日00:00~20150827日00:00 UV/天：3240第二测试阶段：20140827日00:00~20150905日00:00 UV/天：6480TINGYUN.COM测试结果汇总总结了各个公有云在不同运营商和不同区域的特点之后，下面我们就把每家公有云自身指标进行汇总，以此次测试中每家云的主要指标绘制成雷达图，让我们可以清晰的看到每家云每项指标情况。用户体验类：首屏时间、总下载时间；应用端指标：首包时间、建连时间、网络层时间、基础页面下载速度后台综合指标：（Apdex指数=（1×满意数量+0.5×可容忍数量）/总样本数，T=500）所有雷达图以测试指标实际值标示，面积越大代表整体测试结果越优秀TINGYUN.COM测试结果汇总UCloud百度开放云UnitedStack腾讯云AWS阿里云华为云青云TINGYUN.COM华为云测试结果TINGYUN.COM百度开放云测试结果TINGYUN.COMUnitedStack测试结果TINGYUN.COM腾讯云测试结果TINGYUN.COMAWS测试结果TINGYUN.COM阿里云测试结果TINGYUN.COMUCloud测试结果TINGYUN.COM青云测试结果TINGYUN.COM目录一、用户访问网站体验对比二、应用前端性能关键指标对比三、应用后台性能关键指标对比四、测试结果分析一、用户访问网站体验对比首屏时间和总下载时间是用户体验最为明显的指标，因此这里可以通过两个指标来测试网站应用，依据这两个指标在8个云上用户发起访问的效果进行对比。TINGYUN.COM1.1首屏时间走势对比首先我们从对用户感知影响比较明显的指标首屏时间来看，通过对两周数据的对比看出：华为首屏时间明显高于其他7家测试对象，在其余7家公有云中AWS首屏时间波动略高于其他。整体上差别不大。接下来我们对整个测试周期内不同测试对象的平均值进行对比。2015-08-22 00:00~2015-09-05 00:00TINGYUN.COM1.2 首屏时间第一测试阶段TINGYUN.COM首屏时间第二测试阶段TINGYUN.COM1.3总下载时间第一测试阶段说明：此项测试总时间受客户端耗时影响。客户端均是真实用户客户端的情况。由于客户端情况的复杂性，因此会一定程度影响测试结果。TINGYUN.COM总下载时间第二测试阶段说明：此项测试总时间受客户端耗时影响。客户端均是真实用户的客户端的情况。由于客户端情况的复杂性，因此会一定程度影响测试结果。二、应用前端性能关键指标对比TINGYUN.COM2.1建连时间第一次测试阶段TINGYUN.COM建连时间第二次测试阶段TINGYUN.COM2.2首包时间第一测试阶段TINGYUN.COM首包时间第二测试阶段TINGYUN.COM2.3网络层时间第一测试阶段TINGYUN.COM网络层时间第二测试阶段TINGYUN.COM2.4基础页面下载速度第一测试阶段TINGYUN.COM基础页面下载速度第二测试阶段三、应用后端性能关键指标对比通过听云Network模拟用户对同一应用在8个不同云环境的访问，可以直观的看到用户的访问效果。同时在应用后台方面，基于听云Server和听云Sys两个后台诊断产品，同样可以看出同一应用后台程序在不同云环境下的差异。TINGYUN.COM3.1应用服务器响应时间TINGYUN.COM3.2应用CPU使用率TINGYUN.COM3.3应用内存占用TINGYUN.COM3.4Apdex分值对比此次测试Apdex的T值，我们设置为500（ms）Apdex指数=（1 ×满意数量+ 0.5 ×可容忍数量）/ 总样本数，0代表没有满意用户，1则代表所有用户都满意。TINGYUN.COM3.5服务器CPU使用率TINGYUN.COM3.6数据库调用时间四、测试结果分析TINGYUN.COM4.1运营商差异性分析从右图中我们可以看到：•华为云在中国铁通的承载方式下首屏时间最长，其他运营商表现也需要进一步提升•AWS在中国移动方面表现相对其他运营商承载方式表现较弱；阿里云在中国铁通承载方式下相对其他运营商表现较弱。中国铁通中国移动教育网中国联通中国电信TINGYUN.COM4.2公有云优势区域对比-首屏时间通过对比我们发现：在首屏时间上百度开放云在我国北方省份占有绝对的优势；而腾讯云在我国南方区域优势较为明显；AWS在河南、湖北、甘肃、宁夏以及西藏区域具有优势。地图着色说明：从全国各省份进行优势对比分析，测试对象指标最好则在省份单位的地图上显示该测试对象的颜色。TINGYUN.COM4.3公有云优势区域对比-首包时间通过对首包时间的地域着色发现，呈现出清晰的南北优势实力分布图，UCloud占领几乎所有北方区域，而南方区域都被腾讯云占领。地图着色说明：从全国各省份进行优势对比分析，测试对象指标最好则在省份单位的地图上显示该测试对象的颜色。TINGYUN.COM4.4公有云优势区域对比-建立连接时间地图着色说明：从全国各省份进行优势对比分析，测试对象指标最好则在省份单位的地图上显示该测试对象的颜色。通过对建立连接时间的对比，可以看出百度开放云在北方区域具有优势；在南方仍然是腾讯云具有优势；UnitedStack在四川和山东具有优势，西藏、青海以及河南则属于AWS优势区域。TINGYUN.COM4.5公有云优势区域对比-总下载时间地图着色说明：从全国各省份进行优势对比分析，测试对象指标最好则在省份单位的地图上显示该测试对象的颜色。从总下载时间来看，整体全国占领区域则比较分散，总体AWS占据区域较大，而这里华为云在新疆和广西区域则出现了逆袭，体现出了部分区域优势。结束语通过本次测试我们对云厂商的性能有了如下认识：1.不同云厂商在各个指标上均呈现出不同的优势，因此不同的用户需要根据自身特点进行选择；2.本次测试的压力主要以6480uv的数量进行测试，本次测试主要体现了一般中小企业在购买云服务的基本情况，更高端的企业用户仅供参考；3.通过测试后我们对云厂商进行了详细的调研，我们了解到如下情况：华为云正处于产品新旧版本更新期，UCloud针对这种中小企业规模的云服务还有很多不同场景的服务策略，AWS自身更是有很多针对用户购买云服务后的性能优化策略…目前公有云厂家目前在国内正处于群雄争霸的激烈竞争阶段，各个云厂家都在大力推进自身云服务技术的发展，版本迭代，技术更新都在不断的进行中。因此，听云作为第三方应用性能管理服务提供商，借助自有遍布全球的真实用户网络节点，也会实时关注云厂商的发展状态，定期给出合理公正的评测结果。注：本次原计划对10家公有云服务进行测试，由于金山云和微软云属于申请制，在我们测试任务开始前仍未通过申请，因此我们一共对8家公有云进行了评测，后续我们也会根据实际情况调整公有云测试数量，尽可能完整地评测公有云。TINGYUN.COM附录指标名称指标定义首屏时间是听云首创的评测网站用户体验的一个重要指标。指一个网站被浏览器如IE窗口上部800*600的区域被充满所需时间，反映了用户在打开网站第一时间的感觉性能。总下载时间监测一个页面总的消耗时间，即从开始监测到监测结束的时间。建连时间IE浏览器和WEB服务器建立TCP/IP连接的消耗时间。首包时间IE浏览器发送HTTP请求结束开始，到收到WEB服务器返回的第一个数据包的消耗时间此指标包含了发送HTTP请求时最后一个数据包在网络上的传输时间、服务器响应此请求的时间和服务器回应的第一个数据包在网络上面的传输时间。网络层时间监测一个页面时，发生网络通讯的总消耗时间。基础页面下载速度基础页面下载速度= 基础页面下载字节数/ 基础页面下载时间应用服务器响应时间应用服务器从接到请求到返回响应的时间。Apdex指标根据对应用设定的T值计算得出的应用响应分数。Apdex指数=（1 ×满意数量+ 0.5 ×可容忍数量）/ 总样本数，0代表没有满意用户，1则代表所有用户都满意。服务器CPU使用率系统、用户和IO等三个方面CPU占用比例。TINGYUN.COM法律声明本报告为北京基调网络股份有限公司（听云）制作，报告中所有的文字、图片、表格均受到中国法律知识产权相关条例的版权保护。从本报告中摘录的数据图表必须附带声明，以表明听云是发布者，并标明资料来源。未经听云事先书面明示同意，任何广告或其他宣传不得使用本报告中的信息。本报告中部分文字和数据采集于公开信息，所有权为原著者所有。没有经过原著者和本公司许可，任何组织和个人不得使用本报告中的信息用于其他商业目的。本报告中数据由于样本数据库的差异，其数据结果会受到样本的影响。由于研究方法及样本的限制，研究资料收集范围的限制，部分数据不能够完全反映真实市场情况。本报告只可作为市场参考资料，本公司对该报告的数据准确性不承担法律责任。THANKYOU