云计算导论-第3章3.1

云计算导论第三章云计算系统的使能技术本章知识点云计算系统的技术基础分布式技术和虚拟化技术云平台的技术发展状况服务计算、多租户以及容器技术3.1云计算技术基础3.1.1云计算硬件技术基础3.1.2云计算网络技术基础3.1.1云计算硬件技术基础对于用户而言，云计算是一朵飘在天上的云，它表现给用户的是统一的面貌，而用户对于自己的资源和数据却是“云深不知处”。云计算建立在大量坚实的物理硬件之上。无论个人计算机系统还是云计算系统，都可以分为计算、存储和通信三个子系统。1.计算设备在云计算系统中，计算设备也常常被笼统称为主机（Host），是支撑系统运行的最基础设施。主要包括服务器、大型机、服务器群集、笔记本电脑、台式机、平板电脑、智能手机、虚拟计算机等各种类型。主机一般由CPU（中央处理器）、内存、I/O接口和I/O设备构成。随着云计算与大数据的发展，“算得多”（高通量）与“算得好”（高服务质量）成为主机系统体系结构设计的新标准，也有着更迫切的需求。高通量（HighThroughput）计算机应运而生。高通量计算机计划利用低成本、高拓展、集中的硬件和软件系统栈处理高并发和独立的数据密集型负载，为了达到此目的，它需要解决三个方面的问题：（1）多核超大规模并行、内核任务的动态调度（2）引入专用计算处理器，专用计算处理器最常见的是图形处理器（GraphicsProcessingUnit，GPU）芯片。（3）算存一体的内存计算技术，内存计算正是建立在主机超大容量内存系统的基础之上，最大限度利用内存的容量，结合多核并行计算优势，将数据分批的放入内存，实现数据容错和重用，中间数据不落地，从而实现海量数据的快速运算。2.网络通信设备云计算是互联网计算，除了主机作为云计算节点外，还必须有各式各样的通信设备来实现网络的互连，网络通信设备及部件都是连接到网络中的物理实体。主要包含中继器、集线器、交换机、网桥、路由器、网关、防火墙等。3.存储设备当基本任务是大量数据的存储、处理与管理时，云计算系统中就需要配置大量的存储设备，云计算系统也就转变成为一个云存储系统。云化的存储需要大量各种不同类型的存储设备集合起来协同工作。（1）常见存储介质磁带：按顺序进行数据访问，一次进行一项应用程序访问，存储/检索开销大。光盘：在小型的单用户计算环境中广泛用作分发介质，在容量和速度方面有限。磁盘驱动器：一般称为硬盘，最为流行的存储介质，可随机读/写访问，为云存储首选存储设备。闪存驱动器：使用半导体介质，低功耗，速度快，可用于存储分级存储快速缓存部分。常见有优盘，固态硬盘（SolidStateDrives，SSD）等。（2）常用存储接口协议串行高级技术附件(SerialAdvancedTechnologyAttachment，SATA)存储互连成本低廉，通常用于内部连接，提供的数据传输速度高达6Gb/s（标准3.0）。小型计算机系统接口(SmallComputerSystemInterface，SCSI)是连接主机与外围设备的并行接口标准，用于计算机主机与硬盘、打印机等外设的连接，也可用于与其他计算机和局域网的连接，一条总线上最多支持16个设备。串行连接SCSI(SerialSCSI，SAS)现已逐步取代并行SCSI，支持的最大数据传输速度为6Gb/s(SAS2.0)（3）硬盘存储器数据管理技术历经人工管理、文件管理、数据库管理等时代，大数据技术的出现使该领域进入了一个新的发展阶段数据管理技术发展历史194619511956196119701974197919912001200320082011第一台计算机ENIAC面世磁带+卡片人工管理磁盘被发明，进入文件管理时代网络型SQLE-RGE公司发明第一个网络模型数据库，但仅限于GE自己的主机1960年代，IT系统规模和复杂度变大，数据与应用分离的需求开始产生，数据库技术开始萌芽并蓬勃发展，并在1990年后逐步统一到以关系型数据库为主导IBME.F.Dodd提出关系模型SQL语言被发明关系型数据库ORACLE发布第一个商用SQL关系数据库，后续快速发展数据仓库数据仓库开始涌现，关系数据库开始全面普及且平台无关，进入成熟期2001年后，互联网迅速发展，数据量成倍递增，量变引起质变，开始对数据管理技术提出全新的要求1946年，电脑诞生，数据与应用紧密捆绑在文件中，彼此不分Hadoop成为Apache顶级项目，重点支持海量数据分布式管理和分布式计算GFS谷歌发表论文介绍分布式计算数据库VS.大数据数据池塘数据海洋•池塘小DB数据量MB•海洋大BIGDATA数据量TB甚至PB规模•池塘的鱼种类少DB以结构化为主•海洋的鱼上千种BIGDATA有结构化、非结构化数据类型古代，人们用牛来拉重物。当一头牛拉不动一根圆木时，他们想的并不是培育更大更壮的牛。同样，我们也不需要动辄使用超级计算机，而应试着结合使用更多计算机系统。（4）磁盘阵列批量数据迁移以100TB数据为例，从旧金山上传到硅谷的数据中心可能要1个月，而用马车搬运只需要3天。IBMCloudMassDataMigration(大数据迁移上云)2017,28寸的行李箱，120TB的数据,数据传输从之前几周甚至几个月缩减到7天，每次租用395美金2015年，亚马逊AWS发布Snowball，容纳50TB数据Snowmobile一节45英尺的集装箱，最多能存储100PB的数据2017阿里云:闪电立方100TB的数据。提供最高30：1的压缩比谷歌：TransferAppliance100TB的售价为300美元，加上运费，总费用约为500美元。480TB版本的售价为1800美元，另外需要加上约900美元的运费。（5）网络存储技术服务器和存储节点自身携带的存储器容量远远不能满足业务应用的需求，外置存储成为数据存储的主要存储区域。为了更好地与主机直接进行数据交换，业界开发了不同的网络存储技术：1）光纤通道存储区域网络(FC-SAN)2）IP通道存储区域网络IP-SAN3）网络连接存储（NAS）光纤通道存储区域网络(FC-SAN)IP通道存储区域网络IP-SAN网络连接存储（NAS）3.1.2云计算网络技术基础云是网络、互联网的一种比喻说法，云计算是互联网发展的结果，因此，云计算的物理基础之一是互联网中各种设备的互联互通。互联网自身的发展经历了三个阶段。第一阶段是传统网络，传统门户网站是其主要代表，特点是内容为主、服务为辅，信息单向传播。第二阶段是新型互联网网站和内容流型社交网络并存，特点是内容服务出现信息交互。第三阶段是移动应用程序(Application，APP)与消息流型社交网络并存的阶段，特点是网站弱化、消息流为主，内容流为辅。第四阶段即将来临，主要表现形式是超级APP，它将以用户为基础，承载一切的内容与服务，特点是全面整合、智能服务。互联网应用带来数据的爆炸性增长促成了云计算技术的诞生和发展。信息化3.0——大数据驱动信息化的第三波浪潮信息化1.0--1995以单机应用为特征的数字化阶段--2015以联网应用为特征的网络化阶段2015--以数据的深度挖掘与融合应用为特征的智慧化阶段信息化2.0信息化3.0全球数据总量统计（数据来源：IDC）•2003年，5百万TB•2009年，约8亿TB•2012年，约27亿TB•2020年，预计440亿TB人与人、人与机器、机器与机器交互，生成和采集TB、PB甚至EB的试实时数据物联网1.计算机网络通信协议主机信息连通示意图（1）OSI七层协议各层功能简介1）物理层为设备之间的数据通信提供传输媒体及互连设备，为数据传输提供可靠的环境。直观地，物理层传递的是由不同信号表示的比特流。2）数据链路层介乎于物理层和网络层之间。物理传输介质是长期的，但数据连接是有生存期的。在连接生存期内，收发两端可以进行一次或多次数据通信。每次通信都要经过建立通信联络和拆除通信联络两个过程。这种建立起来的数据收发关系就叫做数据链路。为了传输数据的准确，需要该层对物理层数据进项检错、纠错。数据链数层传输的数据格式为数据帧。3）网络层位于传输层和数据链路层之间，它在数据链路层提供的两个相邻端点之间的数据帧的传送功能上，进一步管理网络中的数据通信，将数据设法从源端经过若干个中间节点传送到目的端，从而向运输层提供最基本的端到端的数据传送服务。工作示意图所下：4）传输层是七层协议中最重要、最关键的一层，唯一负责总体的数据传输和数据控制的一层。传输层提供端到端的交换数据的机制。传输层对会话层等高三层提供可靠的传输服务,对网络层提供可靠的目的地站点信息。从通信和信息处理的角度看，运输层向它上面的应用层提供通信服务，它属于面向通信部分的最高层，同时也是用户功能中的最低层。5）会话层主要功能是按照在应用进程之间约定的原则，按照正确的顺序收、发数据，进行各种形态的对话。6）表示层主要功能是把应用层提供的信息变换为能够共同理解的形式，提供字符代码、数据格式、控制信息格式、加密等的统一表示。7）应用层是开放模型的最高层，是直接为应用进程提供服务的。（2）传统网络和云环境网络的异同云环境网络拓扑结构示意图大二层的网络架构2．数据通信技术通信就是信息从一地到另一地的传递和交流过程。集成电路和超大规模集成电路的普遍使用使得计算机技术进入通信领域，改变了通信技术面貌。光纤技术将传统的电通信带入了光通信时代。基于蜂窝移动电话技术的移动通信由于其便利性、个人化和无处不在的特性得到广泛应用，成为目前现代通信发展最快的领域。电磁波频谱2．数据通信技术（1）双绞线双绞线(TwistedPairwire)是常用的一种传输介质，它由四组两根具有绝缘保护层的铜导线按一定规格互相绞扭在一起，使导线在传输中辐射的电磁波相互抵消，以降低串扰。双绞线电缆在现有传输媒体中价格最为低廉，因而应用也最广。（2）同轴电缆同轴电缆（CoaxialCable）由两层同心的导体构成，中心导体是硬铜线，外层是密织的网状导体，两层之间是一层绝缘材料，最外层包覆一层保护橡胶或塑料护套。同轴电缆的这种结构，使它具有高带宽和极好的抗干扰特性。家庭常见的有线电视电缆就是同轴电缆。下图展示的是同轴电缆结构。（3）光缆光缆（FiberOpticCable）的核心是光导纤维，简称光纤。光纤通信是通过光信号的有无来表示二进制1或0，因此光纤是典型的数字信道。光缆可以是单股或多股光纤构成，由中间的加强芯和外层塑料护套提供必要的强度，光纤与塑料护套间的空隙可填充以泡沫、细线或以液体胶等物。3.宽带技术光纤接入技术4.移动通信技术（1）无线局域网WLAN：全称WirelessLocalAreaNetwork（无线局域网络）。目前，主流数据传输可达54Mbps。AP：全称AccessPoint（无线接入点）。Wi-Fi：Wi-Fi全称WirelessFidelity。Wi-Fi认证是WLAN领域中对符合Wi-Fi标准的产品的一种认证。WEP：全称WiredEquivalentProtocol（有线等效协议）。（2）蜂窝通信技术蜂窝通信是采用蜂窝无线组网方式，在终端和网络设备之间通过无线通道连接起来，进而实现用户在活动中可相互通信，其网络结构如图所示。各代移动通信技术对比表序号制式理论网速典型业务主要特点1GAMPS(美)、TACS(中、欧)不能提供数据业务和自动漫游语音提供区域性语音业务，容量小、制式多、兼容差、通话质量不高，不支持数据业务；设备成本高，质量大，体积大。2GGSM9.6kbps语音、短信、WAP上网保密性强、频谱利用率高、提供低速率的数据业务、标准化程度高、可实现省内外漫游。缺点是传输速率低，网络不稳定，维护成本高。CDMA8kbps(IS-95A)64kbps(IS-95B)2.5GGPRS150Kbps2.75GEDGE384Kbps序号制式理论网速典型业务主要特点3GWCDMA下载3Mbps上传384kbps语音、数据服务，及时通信、在线多媒体等能够同时传送语音及数据信息，基本实现在线视频、高速多媒体和移动网络访问业务；高质