搜索
1第1章云计算基础《云计算和大数据技术：概念应用与实战》第1章云计算基础人民邮电出版社21世纪高等院校云计算和大数据人才培养规划教材2第1章云计算基础集群系统概述云计算基础分布式系统中计算和数据的协作机制云计算与物联网1.11.2内容导航CONTENTS1.31.43第1章云计算基础1.1云计算技术概述自从2006年谷歌公司CEO埃里克•施密特提出云计算概念后，云计算已经成为了全球关注度最高的IT词汇。随着信息技术水平的不断发展，云计算将会成为引领未来整个信息系统建设的主导者。云计算具有一体化的信息平台和运营平台，这种全新交付模式将会对IT界产生重大的影响。4第1章云计算基础1.1.1云计算简介云计算技术是硬件技术和网络技术发展到一定阶段而出现的一种新的技术模型，通常技术人员在绘制系统结构图时用一朵云的符号来表示网络，云计算这个奇怪的名字就是因此而得名的。云计算并不是对某一项独立技术的称呼，而是对实现云计算模式所需要的所有技术的总称。分布式计算技术虚拟化技术网络技术服务器技术数据中心技术云计算平台技术分布式存储技术Hadoop、HPCC、Storm、Spark等5第1章云计算基础1.1.1云计算简介云计算是一种基于互联网的计算方式，通过这种方式，共享的软硬件资源和信息可以按需求提供给计算机和其他设备，它就像我们日常生活中用水和用电一样，按需付费，而无需关心水、电是从何而来的一种资源管理模式。维基百科中对云计算的定义6第1章云计算基础1.1.1云计算简介云计算是基于互联网的服务的增加、使用和交付模式，通常涉及通过互联网来提供动态、易扩展且经常是虚拟化的资源。云计算是传统计算机和网络技术发展融合的产物，它意味着计算能力也可作为一种商品通过互联网进行流通。2012年的国务院政府工作报告将云计算作为国家战略性新兴产业给出了定义7第1章云计算基础1.1.1云计算简介在云计算时代基本的3种角色负责资源的整合输出资源的整合运营者负责将资源转变为满足客户需求的各种应用资源的使用者资源的最终消费者终端客户8第1章云计算基础1.1.2云计算的特点资源池弹性可扩张1243按需提供资源服务虚拟化网络化的资源接入5提高可靠性和安全性9第1章云计算基础1.1.3云计算技术分类这种类型的云计算系统在技术实现方面大多体现为集群架构，通过将大量节点的计算资源和存储资源整合后输出。这类系统通常能实现跨节点弹性化的资源池构建，核心技术为分布式计算和存储技术。MPI、Hadoop、HPCC、Storm等都可以被分类为资源整合型云计算系统。1、按技术路线分类资源整合型云计算10第1章云计算基础1.1.3云计算技术分类优点：用户的系统可以不做任何改变接入采用虚拟化技术的云系统，是目前应用较为广泛的技术，特别是在桌面云计算技术上应用得较为成功。资源切分型云计算这种类型最为典型的就是虚拟化系统，这类云计算系统通过系统虚拟化实现对单个服务器资源的弹性化切分，从而有效地利用服务器资源，其核心技术为虚拟化技术。缺点：跨节点的资源整合代价较大。KVM、VMware都是这类技术的代表。11第1章云计算基础1.1.3云计算技术分类公有云：指服务对象是面向公众的云计算服务，公有云对云计算系统的稳定性、安全性和并发服务能力有更高的要求。2、按服务对象分类私有云：指主要服务于某一组织内部的云计算服务，其服务并不向公众开放，如企业、政府内部的云服务。12第1章云计算基础1.1.3云计算技术分类混合云：是把公有云和私有云结合在一起的方式。在这个模式中，用户通常将非企业关键信息外包，并在公有云上处理，而掌握企业关键服务及数据的内容则放在私有云上处理。2、按服务对象分类社区云：是公有云范畴内的一个组成部分。它由众多利益相仿的组织掌控及使用，其目的是实现云计算的一些优势，例如特定安全要求、共同宗旨等。社区成员共同使用云数据及应用程序。13第1章云计算基础1.1.3云计算技术分类（1）基础设施即服务：把单纯的计算和存储资源不经封装地直接通过网络以服务的形式提供的用户使用。3、按资源封装的层次分类（2）平台即服务：计算和存储资源经封装后，以某种接口和协议的形式提供给用户调用，资源的使用者不再直接面对底层资源。14第1章云计算基础1.1.3云计算技术分类（3）软件即服务：将计算和存储资源封装为用户可以直接使用的应用并通过网络提供给用户，SaaS面向的服务对象为最终用户，用户只是对软件功能进行使用，无需了解任何云计算系统的内部结构，也不需要用户具有专业的技术开发能力。3、按资源封装的层次分类15第1章云计算基础集群系统概述分布式系统中计算和数据的协作机制1.11.2内容导航CONTENTS1.31.4云计算基础云计算与物联网16第1章云计算基础1.2集群系统概述当前云计算技术领域存在两个主要技术路线，一个是基于集群技术的云计算资源整合技术，另一个是基于虚拟机技术的云计算资源切分技术。基于集群技术的云计算资源整合技术路线将分散的计算和存储资源整合输出，主要依托的技术为分布式计算技术。Google、Hadoop、Storm、HPCC等系统都采用了集群技术，其资源整合是跨物理节点的。学习集群技术的基本知识对理解云计算与大数据技术有很好的作用，只有这样在学习时才能知其所以然。17第1章云计算基础1.2.1集群系统的基本概念集群系统是一组独立的计算机（节点）的集合体，节点间通过高性能的互联网络连接，各节点除了作为一个单一的计算资源供交互式用户使用外，还可以协同工作，并表示为一个单一的、集中地计算资源，供并行计算任务使用。集群系统是一种造价低廉、易于构建并且具有较好可扩放性的体系结构。18第1章云计算基础1.2.1集群系统的基本概念③网络接口与节点的I/O总线松耦合相连；④各节点有一个本地磁盘；⑤各节点有自己的完整的操作系统。集群系统具有以下重要特征：①集群系统的各节点都是一个完整的系统，节点可以是工作站，也可以是PC或SMP器；②互联网络通常使用商品化网络，如以太网、FDDI、光纤通道和ATM开关等，部分商用集群系统也采用专用网络互联；19第1章云计算基础1.2.2集群系统系统的分类1）高可用性集群系统。2）负载均衡集群系统。3）高性能集群系统。4）虚拟化集群系统。20第1章云计算基础集群系统概述云计算基础分布式系统中计算和数据的协作机制1.11.2内容导航CONTENTS1.31.4云计算与物联网21第1章云计算基础1.3分布式系统中计算和数据的协作机制计算和存储也是云计算系统研究的核心问题，分布式系统中计算和数据的协作关系非常重要，在分布式系统中实施计算都存在计算如何获得数据的问题，在面向计算时代这一问题并不突出，在面向数据时代计算和数据的协作机制问题就成为了必须考虑的问题。通常这种机制的实现与系统的架构有紧密的关系，系统的基础架构决定了系统计算和数据的基本协作模式。22第1章云计算基础1.3.1基于计算切分的分布式计算MPI将大量的节点通过消息传递机制连接起来，从而使节点的计算能力聚集成为强大的高性能计算，主要面向计算密集的任务。MPI提供API接口，通过MPI_Send()和MPI_Recv()等消息通信函数实现计算过程中数据的交换。高性能计算是一种较为典型的面向计算的系统，通常处理的是计算密集型任务，因此在基于MPI的分布式系统中并没有与之匹配的文件系统支持，计算在发起前通过NFS等网络文件系统从集中的存储系统中读出数据并用于计算。23第1章云计算基础1.3.1基于计算切分的分布式计算通常将MPI这样以切分计算实现分布式计算的系统称为基于计算切分的分布式计算系统。这种系统计算和存储的协作是通过存储向计算的迁移来实现的，也就是说系统先定位计算节点再将数据从集中存储设备通过网络读入计算程序所在的节点，在数据量不大时这种方法是可行的，但对于海量数据读取这种方式会很低效。MPI的典型系统架构24第1章云计算基础1.3.1基于计算切分的分布式计算计算程序注入主节点集中存储数据和程序从节点从节点从节点从节点从节点NFS读取数据NFS启动计算切分计算MPI的典型系统架构25第1章云计算基础1.3.2基于计算和数据切分的混合型分布式计算技术—网格计算硬件和网络发展到一定阶段后，硬件价格的便宜使大多数人都有了自己的个人电脑，但却出现了一方面一些需要大量计算的任务资源不够，另一方面大量个人电脑闲置的问题。得益于网络的发展网格技术正好是在这个时期解决这一矛盾的巧妙方法。人们对网格技术的普遍理解是：将分布在世界各地的大量异构计算设备的资源整合起来，构建一个具有强大计算能力的超级计算系统。26第1章云计算基础1.3.2基于计算和数据切分的混合型分布式计算技术—网格计算网格服务器数据切割及分发计算终端驻留程序计算终端驻留程序计算终端驻留程序计算终端驻留程序计算终端驻留程序典型网格系统的基本架构27第1章云计算基础1.3.3基于数据切分的分布式计算技术通过数据切分实现计算的分布化是面向数据技术的一个重要特征，2003年Google逐步公开了它的系统结构，Google的文件系统GFS实现了在文件系统上就对数据进行了切分，这一点对利用MapReduce实现对数据的自动分布式计算非常重要，文件系统自身就对文件施行了自动的切分完全改变了分布式计算的性质，MPI、网格计算都没有相匹配的文件系统支持，从本质上看数据都是集中存储的，网格计算虽然有数据切分的功能，但只是在集中存储前提下的切分。具有数据切分功能的文件系统是面向数据的分布式系统的基本要求。28第1章云计算基础1.3.3基于数据切分的分布式计算技术2004年JeffreyDean和SanjayGhemawat发表文章描述了Google系统的MapReduce框架。与MPI不同，这种框架通常不是拆分计算来实现分布式处理，而是通过拆分数据来实现对大数据的分布式处理，MapReduce框架中分布式文件系统是整个框架的基础，这一框架下的文件系统一般将数据分为128MB的块进行分布式存放，需要对数据进行处理时将计算在各个块所在的节点直接发起，避免了从网络上读取数据所耗费的大量时间，实现计算主动“寻找”数据的功能，大大简化了分布式处理程序设计的难度。29第1章云计算基础1.3.3基于数据切分的分布式计算技术基于数据切分的分布式系统结构从节点1主节点待处理大数据数据块1从节点2数据块2从节点3数据块3从节点4数据块4从节点5数据块5从节点n数据块n...GFS计算程序片注入切分数据块30第1章云计算基础1.3.3基于数据切分的分布式计算技术MapReduce框架使计算在集群节点中能准确找到所处理的数据所在节点位置的前提是所处理的数据具有相同的数据类型和处理模式，从而可以通过数据的拆分实现计算向数据的迁移，事实上这类面向数据系统的负载均衡在其对数据进行分块时就完成了，系统各节点的处理压力与该节点上的数据块的具体情况相对应，因此MapReduce框架下某一节点处理能力低下可能会造成系统的整体等待形成数据处理的瓶颈。2005年Apache基金会以Google的系统为模板启动了Hadoop项目Hadoop完整地实现了上面描述的面向数据切分的分布式计算系统，对应的文件系统为HDFS，Hadoop成为了面向数据系统的一个被广泛接纳的标准系统。31第1章云计算基础1.3.3基于数据切分的分布式计算技术面向计算的分布式系统混合型分布式系统面向数据的分布式系统分布式计算的方法计算拆分数据拆分数据拆分典型的储存方式集中存储集中存储分布式存储计算与数据的位置一致性关系数据向计算迁移数据向计算迁移计算向数据迁移并行程序开发难度难N/A易3种分布式系统的对比32第1章云计算基础1.3.3基于数据切分的分布式计算技术面向计算的分布式系统混合型分布式系统面向数据的分布式系统应用场景计算密集计算密集数据密集负载均衡方式CPU参数均衡CPU参数均衡，数据块均衡数据块均衡主要应用领域专业领域专业领域普通领域典型系统MPI，高性能计算网格计算，高性能计算Hadoop、Dyname、Cassandra、Google续表33第1章