云计算及其关键技术

2019/12/2122019/12/2Outline云计算概述云计算体系结构云计算应用云计算关键技术云计算的发展与研究热点232019/12/2云计算概述云计算发展趋势集群计算云计算网格计算342019/12/2云计算概述云计算概念云计算(CloudComputing)是分布式处理、并行处理和网格计算的发展，或者说是这些计算机科学概念的商业实现。伯克利白皮书：云计算是一种商业模式，它将计算任务分布到大量的计算机、服务器构成的资源池上，使用用户能够按需获取计算能力、存储空间和信息服务。40多亿的移动电话一2010年[数据来源:Nokia]个人电脑和笔记本电脑企业电脑和服务器PDA452019/12/2云计算概述云计算综述数据在云端：不怕丢失,不必备份,可以任意点的恢复；软件在云端：不必下载自动升级；无所不在的计算：在任何时间，任意地点，任何设备登录后就可以进行计算服务；无限强大的计算：具有无限空间的，无限速度。硬件为中心软件为中心服务为中心PCC/S云计算562019/12/2云计算概述云计算特点超大规模Google云计算拥有100多万台服务器，Amazon、IBM等也有几十万台。虚拟化物理属性（地理位置、存储磁盘等）对用户透明。高可靠性数据具有多副本容错、计算节点同构来保障服务的高可靠性。通用性在云计算支撑下，可以构造千变万化的应用服务。高可伸缩性规模可以动态伸缩，满足应用和用户规模增长的需要。按需服务将计算作为一种资源，用户按需购买极其廉价体现在多个方面，计算节点廉价、管理成本低、能源利用率高等。672019/12/2云计算概述云计算服务类型IaaS（InfrastructureasaService）；将硬件设备等基础资源封装成服务提供给用户使用。如Amazon云计算的AmazonWebService的弹性计算云和简单存储服务。PaaS（PlatformasaService）；对资源的抽象层次更近一步，提供用户应用程序的运行环境，如GoogleAppEngine。SaaS（SoftwareasaService）；它的针对性更强，将某些特定应用软件功能封装成服务提供给客户，如一些在线的客户关系管理服务（CRM）。782019/12/2云计算概述云计算优势67.2%73.3%77.0%77.5%77.9%81.5%83.6%0%10%20%30%40%50%60%70%80%90%系统和信息共享更容易支持、推行IT标准提供最新的技术和功能IT人员减少，费用降低每月花费低无多余的开支开发容易快速%问题响应率3,4or5Q:云计算能带来的好处的调查与评估数据来源:IDCEnterprisePanel,August2008n=244892019/12/2Outline云计算概述云计算应用云计算关键技术云计算体系结构云计算的发展与研究热点9102019/12/2云计算体系结构10112019/12/2物理资源层；计算机、存储器、网络设施、数据库和软件。根据不同的需求增加其他硬件。资源池层；将大量相同类型的资源构成同构或接近同构的资源池，如计算资源池、数据资源池等。构建资源池更多是物理资源的集成和管理工作，例如研究在一个标准集装箱的空间如何装下2000个服务器、解决散热和故障节点替换的问题并降低能耗。管理中间件；负责对云计算的资源进行管理，并对众多应用任务进行调度，使资源能够高效、安全地为应用提供服务SOA构建层它的针对性更强，将某些特定应用软件功能封装成服务提供给客户，如一些在线的客户关系管理服务（CRM）。云计算体系结构11122019/12/2云计算的管理中间件负责资源管理、任务管理、用户管理和安全管理等工作。资源管理负责均衡地使用云资源节点，检测节点的故障并试图恢复或屏蔽之，并对资源的使用情况进行监视统计；任务管理负责执行用户或应用提交的任务，包括完成用户任务映象(Image)的部署和管理、任务调度、任务执行、任务生命期管理等等；用户管理是实现云计算商业模式的一个必不可少的环节，包括提供用户交互接口、管理和识别用户身份、创建用户程序的执行环境、对用户的使用进行计费等；安全管理保障云计算设施的整体安全，包括身份认证、访问授权、综合防护和安全审计等。云计算体系结构12132019/12/2Outline云计算概述云计算关键技术云计算体系结构云计算应用云计算的发展与研究热点13142019/12/2云计算应用云计算应用IaaS（InfrastructureasaService）；将硬件设备等基础资源封装成服务提供给用户使用。如Amazon云计算的AmazonWebService的弹性计算云和简单存储服务。PaaS（PlatformasaService）；对资源的抽象层次更近一步，提供用户应用程序的运行环境，如GoogleAppEngine。SaaS（SoftwareasaService）；它的针对性更强，将某些特定应用软件功能封装成服务提供给客户，如一些在线的客户关系管理服务（CRM）。14152019/12/2云计算应用IaaS（InfrastructureasaService）；实现模式完全操作系统（软硬件）接入防火墙路由器负载平衡优势节省费用/所付及所用即时升级安全可靠APIs15162019/12/2云计算应用IaaS（InfrastructureasaService）；实例当你想运行成批的程序组，但是没有合适的软硬件环境，可使用Amazon的EC2。当你想在网络上发布一个短期（几天到几个月）的网站，可使用Flexiscale。16172019/12/2云计算应用IaaS（InfrastructureasaService）；AmazonInfrastructurewebservicesEC2(ElasticComputeCloud)-nowwithWindows(99.95%availability!)S3(SimpleStorageService)SimpleDBSQS(SimpleQueueService)RackspaceMossoJungleDiskSliceHost17182019/12/2云计算应用PaaS（PlatformasaService）解决的问题平台价格昂贵需求估算不科学!平台管理复杂麻烦!流行的服务存储数据库扩展性优势节省费用/所付及所用即时升级安全可靠APIs18192019/12/2云计算应用PaaS（PlatformasaService）实例当你想把一个大容量的文件上传到网络上，允许35000个用户使用2个月的时间，可使用Amazon的CloudFront。当你想在网络上存储大量的文档，但是你没有足够的存储空间，可使用Amazon的S3。19202019/12/2云计算应用PaaS（PlatformasaService）GoogleAppsPythononlyBigTableHerokuRubyonRailshostedonEC2Force.comApexBungeeConnectBungeeLogic(aC-familylanguagesimilartoC#)Microsoft!Azure-.NEThostedinMSdatacentres20212019/12/2云计算应用云计算应用SaaS（SoftwareasaService）；实现模式在中小企业盛行无需管理软硬件服务通过浏览器实现优势无浪费费用即时扩展安全可靠APIs21222019/12/2云计算应用云计算应用SaaS（SoftwareasaService）；实例CRM财务计划HR文字处理Email22232019/12/2Outline云计算概述云计算应用云计算体系结构云计算关键技术云计算的发展与研究热点23242019/12/2云计算关键技术分布式文件系统分布式文件系统（DistributedFileSystem）是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。分布式文件系统除了具有本地文件系统的所有功能外，还必须管理分布式系统中所有计算机上的文件资源，从而把整个分布式文件资源以统一的视图呈现给用户。它需要隐藏内部的实现细节，对用户和应用程序屏蔽各个节点计算机底层文件系统的差异，提供用户方便的管理资源的手段或统一的访问接口。它需要具备存储、更新、备份和恢复功能，并能够满足多用户、多应用的数据共享的需求，为分布式操作系统中其他的构件提供基础。24252019/12/2云计算关键技术分布式文件系统考虑的关键问题网络透明性：分布式文件系统通常同时运行在多台计算机上，有时甚至构建在广域网络中，但呈现给用户和应用程序的感觉是和使用单台机器相同的，用户和应用程序可以用访问本地文件相同的方式访问远程文件，换言之，应用程序无法发现本地文件和远程文件的区别，最完美的情况就是分布式文件系统的用户无需知道文件的物理位置；高可用性：数据的高可用性是系统可靠性的基础，用户的文件访问过程不能因为局部网络故障或系统调度（例如在服务器之间备份数据）而出现中断。通常通过文件副本来实现系统的高可用性，最理想的情况是，只要系统中存在一个有效的副本，用户就可以访问该文件；可扩展能力：理论上来说，分布式系统的节点规模随时都有可能发生变化，分布式文件系统应能自动适应节点变化而导致的资源的变化；强大的资源管理能力：它应能根据系统中节点数以及负载情况而动态决定文件资源的分布情况，并在必须的时候进行调整。25262019/12/2云计算关键技术分布式文件系统架构26272019/12/2云计算关键技术分布式文件系统架构27282019/12/2云计算关键技术分布式数据处理-MapReduceMapReduce是Google提出的一个软件架构，用于大规模数据集（大于1TB）的并行运算。概念Map（映射）和Reduce（化简），和他们的主要思想，都是从函数式编程语言借来的，还有从矢量编程语言借来的特性。当前的软件实现是指定一个Map（映射）函数，用来把一组键值对映射成一组新的键值对，指定并发的Reduce（化简）函数，用来保证所有映射的键值对中的每一个共享相同的键组。28292019/12/2云计算关键技术MapReduce编程模型每一个Map函数就是对一部分原始数据进行指定的操作。每个Map操作都针对不同的原始数据，因此Map与Map之间时相互独立的，可以并行化。一个Reduce操作就是对每个Map所产生的一部分中间结果进行合并操作，每个Reduce所处理的Map中间结果互不交叉，所有Reduce产生的最终结果经过简单的连接就形成了完整的结果集，所以Reduce也可以并行化。主要函数：Map:(in_key,in_value)-{(keyi,valuej)|j=1…k}Reduce:(key,[value1,…,valuem])-(key,final_value)29302019/12/2云计算关键技术Dean,J.Ghemawat,S.MapReduce:Simplifieddataprocessingonlargeclusters2008MapReduce实现机制30312019/12/2云计算关键技术MapReduce实现机制1.TheMapReducelibraryintheuserprogramfirstsplitstheinputfilesintoMpiecesoftypically16megabytesto64megabytes(MB)perpiece(controllablebytheuserviaanoptionalparameter).Itthenstartsupmanycopiesoftheprogramonaclusterofmachines.2.Oneofthecopiesoftheprogramisspecial–themast