阿里云飞天开放平台-技术白皮书-改

1飞天开放平台技术白皮书2目录文档图索引.................................................................................................................................................31.概述.................................................................................................................................................42.体系架构......................................................................................................................................53.飞天内核......................................................................................................................................64.分布式系统底层服务....................................................................................................................74.1.协调服务（女娲）...........................................................................................................74.2.远程过程调用（夸父）...................................................................................................74.3.安全管理（钟馗）.........................................................................................................84.4.分布式文件系统（盘古）.............................................................................................84.5.资源管理和任务调度（伏羲）....................................................................................94.6.集群监控和部署............................................................................................................113文档图索引图1飞天体系架构..........................................................................................................................541.概述阿里云飞天开放平台是在数据中心的大规模Linux集群之上构建的一套综合性的软硬件系统，将数以千计的服务器联成一台“超级计算机”，并且将这台超级计算机的存储资源和计算资源，以公共服务的方式，输送给互联网上的用户或者应用系统。阿里云致力于打造云计算的基础服务平台，注重为中小企业提供大规模、低成本的云计算服务。阿里云的目标是通过构建飞天这个支持多种不同业务类型的公有云计算平台，帮助中小企业在云服务上建立自己的网站和处理自己的业务流程，帮助开发者向云端开发模式转变，用方便、低廉的方式让互联网服务全面融入人们的生活，将网络济模式带入移动互联网，构建出以云计算为基础的全新互联网生态链。在此基础上，实现阿里云成为互联网数据分享第一平台的目标。52.体系架构图1飞天体系架构如图2.1所示是飞天的体系架构图。整个飞天平台包括飞天内核（图2.1中浅灰色组件）和飞天开放服务（图2.1中白色组件）两大组成部分。飞天内核为上层的飞天开放服务提供存储、计算和调度等方面的底层支持，对应于图2.1中的协调服务、远程过程调用、安全管理、资源管理、分布式文件系统、任务调度、集群部署和集群监控模块。飞天开放服务为用户应用程序提供了存储和计算两方面的接口和服务，包括弹性计算服务（ElasticComputeService，简称ECS）、开放存储服务（OpenStorageService，简称OSS）、开放结构化数据服务（OpenTableService，简称OTS）、关系型数据库服务（RelationalDatabaseService，简称RDS）和开放数据处理服务（OpenDataProcessingService，简称ODPS），并基于弹性计算服务提供了云服务引擎（AliyunCloudEngine，简称ACE）作为第三方应用开发和Web应用运行和托管的平台。63.飞天内核飞天内核包含的模块可以分为以下几部分：分布式系统底层服务：提供分布式环境下所需要的协调服务、远程过程调用、安全管理和资源管理的服务。这些底层服务为上层的分布式文件系统、任务调度等模块提供支持。分布式文件系统：提供一个海的、可靠的、可扩展的数据存储服务，将集群中各个节点的存储能力聚集起来，并能够自动屏蔽软硬件故障，为用户提供不间断的数据访问服务。支持增扩容和数据的自动平衡，提供类似于POSIX的用户空间文件访问API，支持随机读写和追加写的操作。任务调度：为集群系统中的任务提供调度服务，同时支持强调响应速度的在线服务（OnlineService）和强调处理数据吞吐的离线任务（BatchProcessingJob）。自动检测系统中故障和热点，通过错误重试、针对长尾作业并发备份作业等方式，保证作业稳定可靠地完成。集群监控和部署：对集群的状态和上层应用服务的运行状态和性能指标进行监控，对异常事件产生警报和记录；为运维人员提供整个飞天平台以及上层应用的部署和配置管理，支持在线集群扩容、缩容和应用服务的在线升级。74.分布式系统底层服务4.1.协调服务（女娲）女娲（Nuwa）系统为飞天提供高可用的协调服务（CoordinationService），是构建各类分布式应用的核心服务，它的作用是采用类似文件系统的树形命名空间来让分布式进程互相协同工作。例如，当集群变更导致特定的服务被迫改变物理运行位置时，如服务器或者网络故障、配置调整或者扩容时，借助女娲可以使其他程序快速定位到该服务新的接入点，从而保证了整个平台的高可靠性和高可用性。女娲基于类Paxos协议[15]，由多个女娲Server以类似文件系统的树形结构存储数据，提供高可用、高并发用户请求的处理能力。女娲的目录表示一个包含文件的集合。与Unix中的文件路径一样，女娲中路径是以“/”分割的，根目录（Rootentry）的名字是“/”，所有目录的名字都是以“/”结尾的。与Unix文件路径不一样之处在于：女娲中所有文件或目录都必须使用从根目录开始的绝对路径。由于女娲系统的设计目的是提供协调服务，而不是存储大数据的，所以个文件的内容（Value）的大小被限制在1MB以内。在女娲系统中，个文件或目录都保存有创建者的信息。一旦某个路径被用户创建，其他用户就可以访问和修改这个路径的值（即文件内容或目录包含的文件名）。女娲支持Publish/Subscribe模式，其中一个发布者、多个订阅者OnePublisher/ManySubscriber）的模式提供了基本的订阅功能；另外，还可用通过多个发布者、多个订阅者（ManyPublisher/ManySubscriber）的方式提供分布式选举（DistributedElection）和分布式锁的功能。再举一个使用女娲来实现负载均衡的例子：提供某一服务的多个节点，在服务启动的时候在女娲系统的同一目录下创建文件，例如，server1创建文件“nuwa://cluster/myservice/server1”，server2在同一目录下创建“nuwa://cluster/myservice/server2”。当客户端使用远程过程调用的时候，首先列举女娲服务中“nuwa://cluster/myservice”目录下的文件，这样就可以获得server1和server2，客户端随后可以从中选择一个节点发出自己的请求，从而实现负载均衡。4.2.远程过程调用（夸父）在分布式系统中，不同计算机之间只能通过消息交换的方式进行通信。显式的消息通信必须通过Socket接口编程，而远程过程调用（RemoteProcedureCall，简称RPC[9]）可以隐显式的消息交换，使得程序员可以调用本地函数一样来调用远程的服务。夸父（Kuafu）是飞天内核中负责网络通信的模块，它提供了一个RPC的接口，简化编写基于网络的分布式应用。夸父的设计目标是提供高可用（7x24小时）、大吞吐（Gigabyte）、高效率、易用（简明API、多种协议和编程接口）的RPC服务。RPC客户端（RPCClient）通过URI指定请求需要发送的RPC服务端（RPCServer）的地址，目前夸父支持两种协议形式。TCP：例如，tcp://fooserver01:90008Nuwa：例如，nuwa://nuwa01/FooServer与用流（stream）传输的TCP通信相比，夸父通信是以消息（Message）为单位的，支持多种类型的消息对象，包括标准字符串std::string和基于td::map实现的若干string键值对。夸父RPC同时支持异步（asynchronous）和同步（synchronous）的远程过程调用形式。异步调用：RPC函数调用时不等接收到结果就会立即返回；用户必须通过显式调用接收函数取得请求结果。同步调用：RPC函数调用时会等待，直到接收到结果才返回。在实现中，同步调用是通过封装异步调用来实现的。在夸父的实现中，客户端程序通过UnixDomainSocket与本机上的一个夸父代理（KuafuProxy）连接，不同计算机之间的夸父代理会建立一个TCP连接。这样做的好处是可以更高效地使用网络带宽，系统可以支持上千台计算机之间的互联需求。此外，夸父利用女娲来实现负载均衡；对大块数据的传输做了优化；与TCP类似，夸父代理之间还实现了发送端和接收端的流控（FlowControl）机制。4.3.安全管理（钟馗）钟馗（Zhongkui）是飞天内核中负责安全管理的模块，它提供了以用户为单位的身份认证和授权，以及对集群数据资源和服务进行的访问控制。用户的身份认证（Authentication）是基于密钥机制的。用户对资源的访问控制是基于权能（Capability）机制进行授权（Authorization）的。Capability是用于访问控制的一种数据结构，它定义了对一个或多个指定的资源（如目录、文件、表等）所具有的访问权限。用户访问飞天系统的资源时必须持有Capability，否则即视为非法。打个比方，如果把Capability理解为地铁票，乘坐地铁（对地铁的一种访问方式）的时候必须要有Capability，即地铁票。密钥对是基于公开密钥方法的，包括一个私钥和相对应的公钥。在飞天系统中，密钥对用于数字签名服务，以保证Capability的不可伪造。换句话说，私钥用于产生数字签名（如签发Capability）