云计算技术Amazon云计算AWS(2)(精)

电子工业出版社《云计算(第二版)》配套课件解放军理工大学刘鹏教授主编华东交通大学刘鹏制作第3章Amazon云计算AWS《云计算（第二版）》购买网址：当当网京东商城姊妹力作《实战Hadoop》购买网址：当当网京东商城提纲Amazon平台基础存储架构：Dynamo弹性计算云EC2简单存储服务S3简单队列服务SQS简单数据库服务SimpleDB关系数据库服务RDS内容推送服务CloudFront其他Amazon云计算服务AWS应用实例小结基本概念S3系统构架在Dynamo之上，采取的并不是传统的关系数据库存储方式，原因：使文件操作尽量简单、高效；使用关系数据库只会增加系统的复杂性1.对象数据（任意类型）和元数据（描述数据的数据）元数据是通过一对键-值（Name-Value）集合来定义元数据名称名称含义last-modified对象被最后修改的时间ETag利用MD5哈希算法得出的对象值Content-Type对象的MIME（多功能网际邮件扩充协议）类型，默认为二进制/八位组Content-Length对象数据长度，以字节为单位系统默认元数据基本概念2．键对象的唯一标示符3．桶存储对象容器（最多创建100个桶，不限桶中数量）桶具体命名规则建议使用规则S3的基本结构图基本操作基本操作根据Amazon提供的技术文档，目前S3支持的主要操作包括：Get、Put、List、Delete和Head操作目标GetPutListDeleteHead桶获取桶中对象创建或更新桶列出桶中所有键删除桶无对象获取对象数据和元数据创建或更新对象无删除对象获取对象元数据数据一致性模型S3系统采用冗余存储优势：某些服务器出现故障时用户仍然可以对其数据进行操作弊端：用户在操作时可能会出现如下几种情况（1）一个进程写入一个新的对象并立即尝试读取它，但在该改变被传送到S3的多个服务器前，服务器对该操作可能返回“键不存在”（2）一个进程写入一个新的对象并立即尝试列出桶中已有的对象，但在该改变被传送到S3的多个服务器前，该对象很可能不会出现在列表中（3）一个进程用新数据替换现有的对象并立即尝试读取它，但在该改变被传送到S3的多个服务器前，S3可能会返回以前的数据（4）一个进程删除现有的对象并立即尝试读取它，但在该改变被传送到S3的多个服务器前，S3可能会返回被删除的数据（5）一个进程删除现有的对象并立即尝试列出桶中的所有对象，但在该改变被传送到S3的多个服务器前，S3可能会列出被删除的对象为什么出现这些现象？出现这些现象是因为S3为了保证用户数据的一致性而采取的一种折中手段，即在数据被充分传播到所有的存放节点之前返回给用户的仍是原数据S3安全措施1.身份认证基于HMAC-SHA1的数字签名方式来确定用户身份S3数字签名具体实现过程S3安全措施S3数字签名具体实现过程权限允许操作目标具体权限内容READ桶列出已有桶对象读取数据及元数据WRITE桶创建、覆写、删除桶中对象READ_ACP桶读取桶的ACL对象读取对象中的ACLWRITE_ACP桶覆写桶的ACP对象覆写对象的ACPFULL_CONTROL桶允许进行以上所有操作，是S3提供的最高权限对象2.访问控制列表S3提供的可供用户自行定义的访问控制策略列表S3中有三大类型的授权用户1）所有者2）个人授权用户3）组授权用户提纲Amazon平台基础存储架构：Dynamo弹性计算云EC2简单存储服务S3简单队列服务SQS简单数据库服务SimpleDB关系数据库服务RDS内容推送服务CloudFront其他Amazon云计算服务AWS应用实例小结SQS基本模型简单队列服务（SimpleQueueService，SQS）Amazon为解决其云计算平台之间不同组件的通信而专门设计开发SQS由三个基本部分组成系统组件（Component）队列（Queue）消息（Message）SQS基本模型两个重要概念消息是发送者创建的具有一定格式的文本数据，接收对象可以是一个或多个组件。消息的大小是有限制的，目前Amazon规定每条消息不得超过8KB，但是消息的数量并未做限制队列是存放消息的容器，类似于S3中的桶，队列的数目也是任意的，创建队列时用户必须给其指定一个在SQS账户内唯一的名称消息消息1．消息的格式（1）消息ID（MessageID）（2）接收句柄（ReceiptHandle）（3）消息体（Body）（4）消息体MD5摘要（MD5ofBody）2．消息取样队列中的消息冗余存储，目的是为了保证系统的高可用性基于加权随机分布（BasedonaWeightedRandomDistribution）的消息取样基于加权随机分布的消息取样消息消息3.消息的可见性超时值及生命周期可见性超时值：可见性表明该消息可以被所有的组件查看，可见性超时值相当于一个计时器计时器两种操作：扩展（Extend）和终止（Terminate）消息可见性超时值及生命周期身份认证数字签名具体实现过程提纲Amazon平台基础存储架构：Dynamo弹性计算云EC2简单存储服务S3简单队列服务SQS简单数据库服务SimpleDB关系数据库服务RDS内容推送服务CloudFront其他Amazon云计算服务AWS应用实例小结重要概念简单数据库服务SimpleDB（SDB）主要用于存储结构化的数据，并为这些数据提供查找、删除等基本的数据库功能SDB基本结构图中包含了SDB中以下几个最重要的概念1．用户账户（CustomerAccout）2．域（Domain）数据容器3．条目（Item）一个实际的对象4．属性（Attribute）条目的特征5．值（Value）每个条目的某属性的具体内容SDB基本结构图SDB和关系型数据库有很多相同之处，但也有很大的不同传统的关系数据库——表结构SDB树状结构SDB为了系统的高可用性采取了最终一致性数据模型，每次操作设定了一个超时值，同时SDB也对关系数据库做了一些有益的改进SDB树状组织方式存在的问题及解决办法SDB主要存在的问题支持的操作类型不够存储方式简单解决方式整数补零负整数集添加正向偏移量ISO8601对日期进行转换SimpleDB和其他AWS的结合使用提纲Amazon平台基础存储架构：Dynamo弹性计算云EC2简单存储服务S3简单队列服务SQS简单数据库服务SimpleDB关系数据库服务RDS内容推送服务CloudFront其他Amazon云计算服务AWS应用实例小结SQL和NoSQL数据库的对比SQLNoSQL数据模型数据处理接口层优势、劣势严格约束无约束一致性、可用性可用、分区容忍性SQL语言访问API实现高一致性，ACID能力非常强，移植性很高；但在可扩展性方面能力较弱高可扩展性，并发处理能力强；缺乏数据一致性保证，查询困难RDS数据库原理Share-Nothing架构AmazonRDS—一种云中的MySQL数据库系统，采用集群方式将MySQL数据库移植到云中，在一定的范围内解决了关系数据库的可扩展性问题MySQL集群采用了Share-Nothing架构集群MySQL通过表单划分（Sharding）的方式将一张大表划分为若干个小表，分别存储在不同的数据库服务器上，从逻辑上保证了数据库可扩展性RDS数据库原理集群MySQL通过主从备份和读副本技术提高可靠性和数据处理能力集群MySQLRDS的使用Amazon将RDS中的MySQL服务器实例称做DBInstance，通过基于Web的API进行创建和管理，其余的操作可以通过标准的MySQL通信协议完成可以通过两种工具对RDS进行操作命令行工具：Amazon提供的Java应用套装，负责处理DBInstance的管理，比如创建、参数调整、删除等MySQL客户端：可以与MySQL服务器进行通信的应用程序，比如MySQLAdministrator客户端谢谢！