2016年第一期云测评报告

第一期云测评报告2016年（基于用户体验的云测试）tingyun.com前言什么才是适合自己的云服务？评测说明云服务提供商配置我们经常听到云服务商给我们传递的信息总是非常简单：打消顾虑，我们会帮你处理所有的事情。忘记挥汗如雨地安装服务器，忘记反复检查备份设备，或是忘记那成千上万容易出错的环节带给你的那份不安吧，把你的信用卡号和数据给我们，我们将完成剩下的工作。如上所述，云服务真的能如此让你省心吗？也许吧，但是当你面对众多云服务厂商，作为非专业人士的你如何选择？牵涉指标太多，专业的云性能指标一般人看不懂，这里就不说了。听云利用自主研发的听云Network产品仅从模拟真实用户的角度对比不同云服务的使用效果，结合听云Server、听云Sys产品进行测试，实现端到端的评测效果，给您一份直观的评测报告。同一应用（网站）在不同云上的用户访问体验对比评测目标评测手段评测环境评测周期听云Network主动式监测+听云Server&听云Sys产品被动式监测13家云满足网站应用的基本测试单元2016.04.01-2016.04.10云服务提供商名称配置带宽资源区域数据库搭建方式金山云2核4G2核4G2核4G2核4G2核4G2核4G2核4G2核3.5G2核4G2核4G2核4G2核1G2核4G5mbps北京1区北京1区自建虚拟机青云5mbps北京2区自建虚拟机腾讯云5mbps上海区自建虚拟机UnitedStack5mbps自建虚拟机UCloud5mbps北京BGP-B自建虚拟机华为云5mbps中国华北区-1自建虚拟机百度开放云5mbps华北-北京自建虚拟机微软云自动分配中国东部自建虚拟机AWS-China自动分配北京区自建虚拟机阿里云5mbps华北2-可用区C自建虚拟机移动云5mbps默认区域自建虚拟机联通沃云自动分配呼和浩特自建虚拟机天翼云5mbps北京节点自建虚拟机前言tingyun.com目录用户体验关键指标对比后台性能关键指标对比测试结果汇总123评测逻辑图备注：听云Network模拟用户（所有客户端都是模拟实际用户部署在各地，不在公有云上。）对网站首页和内容页进行访问，访问频次如下：测试阶段：20160401日00:00~20160411日00:00PV/天：6480模拟用户视角20w＋节点主动式监测13家主流云为测试对象听云两大诊断产品参与被动式监测Cloud用户体验关键指标对比tingyun.com通过模拟用户访问网络应用，基于每个模拟用户的访问指标进行测试。结合用户访问部署在13家云上的同一类型网络应用，进行用户发起访问的效果对比。PART01tingyun.com41.1建连时间1.2首包时间浏览器与Web服务器建立TCP/IP连接的消耗时间，TCP/IP连接三次握手的前两次握手的时间。IE浏览器发送HTTP请求结束开始，到收到Web服务器返回的第一个数据包的消耗时间。此指标包含了发送HTTP请求时最后一个数据包在网络上的传输时间、服务器响应此请求的时间和服务器回应的第一个数据包在网络上面的传输时间。0.00.050.10.150.20.25阿里云金山云华为云UCloud腾讯云青云微软云百度开放云天翼云移动云UnitedStack联通沃云建立连接时间（单位:秒）0.190.190.2050.2110.2140.2180.2310.2740.2870.2880.3580.4030.5380.00.10.20.30.40.50.6华为云腾讯云阿里云金山云百度开放云UCloud青云天翼云UnitedStack微软云联通沃云移动云首包时间（单位:秒）AWS-ChinaAWS-China0.2190.0920.0620.0620.0620.0630.0640.0670.0690.0730.0750.0820.084tingyun.com51.3首屏时间1.4总下载时间总下载时间是监测一个页面总的消耗时间，即从开始监测到监测结束的时间。首屏时间是基调网络首创的评测网站用户体验的一个重要指标。它是指一个网站被浏览器如IE窗口上部1024*768的区域被充满所需时间,反映了用户在打开网站第一时间的感觉性能。11.14711.31111.37611.46311.47411.78611.88711.97212.21912.60613.6913.7413.7760.02.04.06.08.010.012.014.016.0腾讯云阿里云UCloud微软云青云百度开放云金山云UnitedStack天翼云移动云联通沃云华为云总下载时间（单位:秒）1.3741.4871.491.5881.681.71.7791.7911.8452.242.6282.9132.9310.00.51.01.52.02.53.03.5腾讯云UCloud阿里云微软云百度开放云青云金山云UnitedStack天翼云联通沃云华为云移动云首屏时间（单位:秒）AWS-ChinaAWS-China后台关键指标对比tingyun.com通过听云Network模拟用户对同一应用在13个不同云环境的访问，可以直观的看到用户的访问效果。同时在应用后台方面基于听云Server和听云Sys两个后台诊断产品，同样可以看出同一应用后台程序在不同云环境下的差异。PART02tingyun.com72.1应用服务器响应时间2.2应用服务器响应时间走势175.3196.6201.5228.4272.5288.2320.6350.0356.6442.4528.2579.2635.80.0100.0200.0300.0400.0500.0600.0700.0AWS-China腾讯云阿里云UCloudUnitedStack青云华为云金山云百度开放云微软云天翼云联通沃云移动云应用服务器响应时间(单位:毫秒)AWS-China腾讯云阿里云UCloudUnitedStack青云华为云金山云百度开放云微软云天翼云联通沃云移动云云服务提供商tingyun.com82.3应用CPU使用率2.4应用CPU使用率走势0.1250.1620.1990.2070.2460.2820.2860.4130.4380.5540.6660.7620.7940.00.10.20.30.40.50.60.70.80.9AWS-China腾讯云阿里云华为云百度开放云UCloud金山云UnitedStack青云天翼云移动云微软云联通沃云应用CPU使用率（单位：%）AWS-China腾讯云阿里云UCloudUnitedStack青云华为云金山云百度开放云微软云天翼云联通沃云移动云云服务提供商tingyun.com92.5数据库调用时间2.6数据库调用时间走势0.0300.0830.1010.1150.1210.2320.2450.2530.3160.6071.5142.1404.8560.01.02.03.04.05.06.0AWS-ChinaUCloud百度开放云天翼云阿里云华为云青云金山云UnitedStack腾讯云移动云微软云联通沃云数据库调用时间(单位:毫秒)AWS-China腾讯云阿里云UCloudUnitedStack青云华为云金山云百度开放云微软云天翼云联通沃云移动云云服务提供商tingyun.com根据对应用设定的T值计算得出的应用响应分数。Apdex指数=(1×满意数量+0.5×可容忍数量)/总样本数,0代表没有满意用户,1则代表所有用户都满意。此处T设置为500ms。2.7Apdex分值对比2.8服务器CPU使用率0.99680.99680.99670.99650.99620.99550.99420.98270.98200.98140.96950.87570.80520.00000.20000.40000.60000.80001.00001.2000AWS-China阿里云腾讯云UnitedStackUCloud微软云青云金山云华为云百度开放云天翼云联通沃云移动云Apdex分值对比AWS-ChinaUCloudUnitedStack阿里云百度开放云华为云金山云联通沃云青云腾讯云天翼云微软云移动云云服务提供商10tingyun.com2.9服务器STOLEN-CPU比例2.10服务器内存占用AWS-ChinaUCloudUnitedStack阿里云百度开放云华为云金山云联通沃云青云腾讯云天翼云微软云移动云云服务提供商AWS-ChinaUCloudUnitedStack阿里云百度开放云华为云金山云联通沃云青云腾讯云天翼云微软云移动云云服务提供商11tingyun.com2.10服务器磁盘IO2.11服务器网络IOAWS-ChinaUCloudUnitedStack阿里云百度开放云华为云金山云联通沃云青云腾讯云天翼云微软云移动云云服务提供商AWS-ChinaUCloudUnitedStack阿里云百度开放云华为云金山云联通沃云青云腾讯云天翼云微软云移动云云服务提供商12测试结果汇总tingyun.comPART03tingyun.com备注：技术总得分按照各个指标排名次序计算,最后一名得1分,倒数第二名得2分,依次累加得分。排名指标参考客户端指标和服务器端Apdex。备注：支持自助购买得5分，不支持得3分;可自主获取发票得5分，不支持得3分;账户易用得5分，一般得4分，不易用得2分。3.1各家云服务提供商各项指标排名3.2公有云服务易用性情况云服务提供商总下载时间首屏时间建立连接时间首包时间服务器端Apdex技术总得分移动云313119微软云9963835天翼云4445320腾讯云13138111156青云8776735联通沃云2312210金山云66129639华为云121113532百度开放云7858432阿里云111113101257UnitedStack55241026UCloud101210794812109121255AWS-China云服务提供商是否支持网络自助购买购买方式得分是否支持自助开发票得分账户操作易用性得分合计得分青云是自助5是5易用515百度开放云是自助5是5易用515阿里云是自助5是5易用515UnitedStack是自助5是5易用515UCloud是自助5是5易用515腾讯云是自助5是5414华为云是自助5是5一般，期间出现账户绑定两个手机号，无法验证现象。414微软云是自助5是5212天翼云是自助5否3需要人工干预，先电话沟通，后获取发票。412联通沃云是自助5否3需要人工联系联通开发票负责人，申请方式开具。412否申请3是3易用511移动云是自助5否3210金山云否申请3否3易用410AWS-China一般，默认自己购买信息隐藏，如果忘记自己购买区域，需要逐个区域查找。无法整体显示。一般，网站登录慢，发票开具需跳转到世纪互联另一个账户，计费信息不够清晰。用户只购买一个虚拟机，计费信息显示两个虚拟机。售后解释说是系统原因，和计费无关，但确实令用户费解。比较难用，发票以手机话费发票获取方式为参考，限定时间获取发票，过期发票无法获取。整个流程目前无法走通。用户绑定手机号只能是移动号码。14tingyun.com153.3公有云综合评价象限图附录备注：标准分换算方式为技术标准得分=技术得分*100/65,服务标准得分=服务得分*100/15是基调网络首创的评测网站用户体验的一个重要指标。它是指一个网站被浏览器如IE窗口上部1024*768的区域被充满所需时间,反映了用户在打开网站第一时间的感觉性能。IE浏览器发送HTTP请求结束开始,到收到Web服务器返回的第一个数据包的消耗时间。此指标包含了发送HTTP请求时最后一个数据包在网络上的传输时间、服务器响应此请求的时间和服务器回应的第一个数据包在网络上面的传输时间。根据对应用设定的T值计算得出的应用响应分数。Apdex指数=（1×满意数量+0.5×可容忍数量）/总样本数，0代表没有满意用户，1则代表所有用户都满意。指标名称指标定义首屏时间总下载时间监测一个页面总的消耗时间，即从开始监测到监测结束的时间。IE浏览器和Web服务器建立TCP/IP连接的消耗时间