云计算技术总结与展望

第11章云计算技术总结与展望《云计算（第二版）》购买网址：当当网京东商城姊妹力作《实战Hadoop》购买网址：当当网京东商城提纲主流商业云计算解决方案比较主流开源云计算系统比较国内代表性云计算平台比较云计算的历史坐标与发展方向应用场景GoogleAmazon微软VMware提供的服务类型PaaS,SaaSIaaS,PaaS,SaaSIaaS,PaaS,SaaSIaaS,PaaS,SaaS服务间的关联度所有服务被捆绑在一起，耦合度高可以任意选择服务组合，耦合度低可以任意选择服务组合，耦合度低可以任意选择服务组合，耦合度低虚拟化技术未使用XenHyper-VESXServer运行环境Google提供的环境，位于云端Amazon平台，位于云端位于云端或本地位于云端支持的编程语言Python,Java多种多种多种使用限制最多最少较少较少实现功能最少最多较多较多计费方式有免费部分和收费项目按实际使用量付费按实际使用量付费按实际使用量付费可扩展性自动扩充所需资源并进行负载均衡需要手动或通过编程自动的增加所需的虚拟机数量需要手动或通过编程自动地增加所需的虚拟机数量需要手动或通过编程自动地增加所需的虚拟机数量不同应用间的隔离通过沙盒来实现通过将不同的应用运行在不同的虚拟机上来实现通过将不同的应用运行在不同的虚拟机上来实现通过将不同的应用运行在不同的虚拟机上来实现使用流程1.GoogleAppEngine的使用流程（1）注册Google账户，填写注册信息，登录（2）创建GoogleAppEngine应用，通过手机号码完成验证，填写应用的详细信息（注意应用的标示符无法更改）（3）下载AppEngineSDK（4）使用Python或Java语言在本地开发应用程序，完成本地调试（5）将程序上传到GoogleAppEngine后运行2.AmazonAWS的使用流程（1）注册亚马逊账户，填写注册信息，登录（2）根据需要选择需要的服务进行注册，填写相关信息，完成服务配置（对于IaaS类型服务需要选定所需的资源数，对于其他类型服务需要对设置参数）（3）上传应用程序或待处理数据，有时需要按要求上传附加程序（4）运行服务，直至获取结果（5）停止使用，根据实际使用量支付相关费用使用流程3.微软Azure的使用流程（1）Azure页面上输入LiveID，注册Azure帐号，填写注册信息，登录（2）在项目列表中选择“WindowsAzure”，然后在新建服务向导中选择“托管服务”（3）在本地新建“cloud”类型项目，编写应用程序并完成调试（4）创建应用程序服务包，将服务包上传到WindowsAzure上，设定URL地址，选择“部署”，选择“运行”（5）停止使用，根据实际使用量支付相关费用4.VMwarevCloud的使用流程（1）加入VMware技术联盟计划，填写基本信息，获取账号和信息支持，登录（2）选择编程语言（支持Java、C、C++）编写在不同操作系统（包括Linux、Windows、Solaris）上运行的软件应用程序，并可根据vCloudAPI来利用基于VMware的云计算基础架构（3）在VMware认证服务提供商列表中选择合适的服务提供商，或选择使用企业自身的支持vCloud的云计算环境（4）在虚拟机、虚拟设备和vApp三种模式中选择一种，将应用程序部署到云平台中运行（5）停止使用，如果使用了服务提供商的服务，根据实际使用量支付相关费用体系结构相同点（1）整个云计算平台对外提供统一Web接口（2）后台实现的细节对用户透明区别点（1）Amazon、微软和VMware的云计算服务都是由多种服务组成，需要为不同的服务提供不同的入口（2）微软云计算支持云端和本地应用程序Google、Amazon、微软和VMware的云计算解决方案所提供服务的差别与其云计算系统体系结构的差异密切相关实现技术1.GoogleAppEngine的实现技术总体来讲，可以分为GFS、MapReduce、Bigtable和Chubby四个相互独立却又紧密联系的组成部分2.AmazonAWS的实现技术最具代表性的是基础存储架构Dynamo，它是一个完全分布式的存储架构，采用了改进的一致性哈希算法、向量时钟、Merkle树等技术，在负载均衡、系统扩容等方面有着天然的优势3.微软Azure的实现技术通过在虚拟机上运行WindowsServer2008、基于SQLServer实现SQLAzure等方式构建云计算系统4.VMwarevCloud的实现技术VMware充分利用在虚拟化技术上的优势，对云计算中涉及的计算、存储、网络等方面进行了虚拟化，提供以IaaS类型为主的云计算服务核心业务GoogleMapReduceAmazonEC2微软Azure计算服务VMwarevCloud计算服务服务类型PaaSIaaSPaaSIaaS虚拟机的使用未使用用户可以根据需要设置运行虚拟机的硬件配置系统自动分配vCenter自动进行资源优化运行环境Google自身提供的环境，用户无法自行调配用户自行提供运行程序所需的AMI系统自动为用户生成的装有WindowsServer2008的虚拟机用户在虚拟机、虚拟设备和vApp三种模式中选择一种易用性最好稍差较好较好灵活性稍差最好较好较好适用的应用程序适合可以并行处理的应用程序任意程序任意可在WindowsServer2008上运行的程序任意程序商业云计算方案的计算服务比较核心业务商业云计算方案的存储服务比较GoogleGFSAmazonS3微软BlobVMware存储系统结构文件分块存储桶、对象两级模式容器、Blob两级模式目录、文件两级模式可扩展性可通过增加数据块服务器数量扩展存储容量可通过增加桶中对象数量扩展存储容量可通过增加容器中Blob数量扩展存储容量自动迁移虚拟机以获取更大存储容量，及自动回收未使用存储容量数据交互方式用户和数据块服务器进行数据交互用户可以从获得授权的对象中取得数据用户可以从获得授权的Blob中取得数据仅提供给虚拟机使用存储限制无特殊限制桶的数量和对象大小有限制，但对象的数量无限制Blob大小有限制，但是容器和Blob数量未限制数据存储可跨越多个物理存储子系统容量扩展方式自动扩容手动或编程实现自动扩容手动或编程实现自动扩容自动迁移虚拟机以扩容容错技术针对主、从服务器有各自的容错技术数据冗余存储仅重传出错的Block，数据冗余存储多个虚拟机的集中备份核心业务商业云计算方案的数据库服务比较GoogleDatastoreAmazonSimpleDB微软SQLAzureVMwareMongoDB系统结构实体组、实体、属性、值四级模式域、条目、属性、值四级模式Authority、容器、实体三级模式集合、文档、域、值四级模式主要存储的数据类型结构化和半结构化数据结构化数据结构化数据结构化和半结构化数据所用的查询语言GQL支持有限的SQL语句SQLBSON数据更新时间有延迟，但不是常态有延迟没有延迟有延迟实现的功能较多最少最多较多其他数据库服务无运行在EC2上的Oracle、SQLServer等无运行在vCloud上的Oracle、SQLServer等提纲主流商业云计算解决方案比较主流开源云计算系统比较国内代表性云计算平台比较云计算的历史坐标与发展方向开发目的HadoopEucalyptusNimbusSectorandSphere参照的商业方案GoogleAmazon无无提供的服务类型PaaSIaaSIaaSPaaS服务间的关联度所有服务被捆绑在一起，耦合度高可以选择服务组合，耦合度低可以选择组件来实现不同的服务，耦合度低所有服务被绑在一起，耦合度高支持的编程语言Java多种多种C++使用限制较多最少较少较多支持的功能最多较多较多较少可定制性较弱较弱较强较弱可扩展性自动扩充所需资源并进行负载均衡需要手动或通过编程自动的增加所需的虚拟机数量需要手动或通过编程自动地增加所需的虚拟机数量自动扩充所需资源并进行负载均衡特色实现了Google云计算系统的关键功能，得到了广泛应用支持多种AWS客户端接口，可替换和升级的模块化设计可选择组件并进行组合，适用于科学计算更高速和安全的数据传输，支持密集型数据应用体系结构--Hadoop采用与Google云计算平台类似的体系结构，主要由HadoopCommon、HDFS、MapReduce、HBase、Zookeeper等组件构成--Eucalyptus具有简单分层拓扑结构和模块化的设计，其中使用了开源Web服务技术，每个组件都由若干个Web服务组成。Eucalyptus主要组件包括节点控制器、集群控制器和云控制器--Nimbus中包含了一整套的开源工具，在提供的工具集中，工作区服务是整个平台的核心模块，此外还包括工作区控制器、工作区资源管理器、工作区指示器、Web服务资源框架、资源管理API、标准客户端、云客户端等--SectorandSphere主要包含了负责分布式存储的Sector和架构在Sector之上负责分布式计算Sphere两部分实现技术--Hadoop在功能上尽可能地模仿Google云计算平台，实现分布式文件存储系统HDFS、计算系统MapReduce、分布式数据库HBase等--Euclyptus实现了类似AmazonEC2和S3的组件。Euclyptus的结构中对用户空间和管理员空间有很明显的界线：超级用户的访问需要通过物理机管理员进行，而用户仅仅允许通过Web接口或者其他前端工具访问系统--Nimbus总体架构较为复杂，但提供了很强的可定制性，用户可以根据自身目标进行定制--SectorandSphere分为Sector和Sphere两部分。Sector中的主服务器负责维护文件的元数据、控制所有从节点的运行、与安全服务器通信进行验证。Sphere中对不同应用采用统一的数据流形式输入，并在对数据流分割的基础上实现负载平衡和大规模并行计算核心服务HadoopEucalyptusNimbusSectorandSphere计算服务基于MapReduce的计算任务支持用户程序的计算环境支持用户程序的计算环境提供分布式计算的Sphere存储服务提供分块存储的HDFS提供分布式存储的Walrus提供分布式存储的Cumlus提供分布式存储的Sector数据库服务提供布式数据库的HBase用户运行的数据库软件用户运行的数据库软件无提纲主流商业云计算解决方案比较主流开源云计算系统比较国内代表性云计算平台比较云计算的历史坐标与发展方向中国移动“大云”开发目的--满足中国移动IT支撑系统高性能、低成本、高扩展性、高可靠性的IT计算和存储的需要--满足中国移动提供移动互联网业务和服务的需求中国移动基于“大云”计划推出了三朵“云”（1）支撑云主要是构建私有云并应用于内部支撑系统、网管支撑系统等（2）业务云主要支撑GPRS、无线网、彩信等业务（3）公众服务云主要提供各层的云服务，包括IDC上的推广服务中国移动“大云”硬件层面的东西，基于开源的Linux系统，使用开源Xen、KVM提供计算资源的虚拟化平台层主要提供“大云”的可编程接口和技术支持（1）分布式文件系统HyperDFS（2）分布式数据库HugeTable（3）并行计算系统MapReduce面向应用开发的一些中间件和工具级，这些系统是“大云”里主要的研发的产品线支撑应用，可以支撑网管、管理信息系统、互联网应用等阿里巴巴“阿里云”--定位：云计算的全服务提供商--云计算的底层，“阿里云”开发了自己的云计算平台，包括了分布式操作系统“飞天”、分布式文件系统“盘古”、分布式存储系统“有巢”、命名服务“女娲”、任务调度系统“伏羲”、消息中间件“夸父”和虚拟机资源集群管理系统“后羿”--PaaS层，“阿里云”做了许多的尝试-XEngine平台--PHPWind“大云”与“阿里云”的比较移动“大云”“阿里云”提供的服务类型IaaS、PaaS、SaaSIaaS、PaaS、SaaS发展目标满足移动互联网业务的需求注重电子商务云计算，打造全新电子商