亚马逊 AWS 360度解析亚马逊AWS存储服务

360度解析AWS数据存储服务方国伟首席云技术顾问[e-mail]微博：方国伟_云端亚马逊AWS在线系列讲座数字化生存时代人工生成的数据Twitter/微博博客/评论/邮件/照片社交图谱Facebook,LinkedIn计算机生成的——从半结构化的日志到非结构化的数据应用服务器日志(网站，游戏)传感器数据(气象数据，水，电网)图片/视频(交通，安保摄像）AWS全球基础设施(区域,可用区,边缘站点)应用服务部署和管理存储数据库计算网络数据分析内容分发AWS云服务分类AWS核心基础设施服务传统基础设施AMIInstance安全扩展网络服务器存储RDMSDASSANNAS网络EC2存储VPCEC2“Classic”“Public”On-DemandEphemeralEBSS3ELBRDS部署ElastiCacheSecurityGroupsNACLsID&AccessMgmt安全AWS基础设施服务NoSQL存储服务AmazonEBSEBS供AmazonEC2通过网络访问的块存储服务AmazonS3图片视频文件二进制快照基于互联网的对象存储服务AmazonGlacier图片视频文件二进制快照适用归档和备份EC2实例存储供AmazonEC2直接使用的本地磁盘服务•虚拟磁盘•成本已包含在计算费用中EBS(ElasticBlockStore)——块存储服务高性能的块存储服务PIOPS：100-4000/卷作为存储卷挂载到EC2实例1GB到1TBAFR：0.1%-0.5%可以快速克隆/快照卷加密服务S3（SimpleStorageService）——对象存储高扩展的对象存储服务基于互联网的Web服务单对象：1字节-5TB高持久性：99.999999999%安全：访问策略（IAM，Bucket策略，ACL）；数据加密(SSL,CSE/SSE)与CloudFront无缝集成静态网站托管适合场景：WORMGlacier——归档服务长期文件/数据存储服务高持久性：99.999999999%低成本单对象（Archive）可达40TB结合S3实现数据的生命周期管理适合场景：数据归档•预先计划好什么时候数据需要归档，什么时候需要删除•成本控制:只保持部分热数据•合规:确保数据保存规定的时间•非常容易配置和使用数据的生命周期管理把数据上传到AWS存储AWSDirectConnect连接你的数据中心和AWS的专用网络AmazonStorageGateway通过虚拟应用的方式来实现企业数据与AWS存储之间的数据同步AWSImport/Export通过物理的方式来传送数据数据库服务的选择SQLNoSQL低成本高成本DIY完全托管AWS上没有数据库服务的选择SQLNoSQLDIY完全托管RDS-MySQL-Oracle-SQLServer-PostgreSQL数据库服务的选择SQLNoSQLDIY完全托管MySQLOracleSQLServerPostgreSQL其他你喜欢的关系型数据库数据库服务的选择SQLNoSQLDIY完全托管MongoDBCassandraRedis等AmazonDynamoDBAmazonElastiCache大部分应用建议从SQL开始SQL相对成熟，优缺点都比较明确大量工具、已有代码，图书资料，技能等一开始SQL能够满足需求，尤其是百万级用户量内的有一些常用的扩展SQL的方法什么时候要考虑使用NoSQL？短期内增长大量数据比如一年5TB以上应用要求非常低的延时非关系型数据非结构化数据半结构化数据快速的数据写入每秒几千个记录数据库服务AmazonRDSAmazonDynamoDB管理的关系型数据库服务管理的NoSQL数据库服务DBAAmazonElastiCache基于内存的缓存服务AmazonRedshiftPB级别的数据仓库服务RDS的几个特性ReadReplicasPush-ButtonScalingProvisionedIOPS区域Multi-AZ可用区（AZ）可用区（AZ）NoSQL数据库——DynamoDB•低延时•基于SSD构建•延时10ms•无缝扩展性•没有表大小限制•自定义吞吐量限制•自动在线分区•高持久性和高可用•几乎零维护DynamoDB:保持一致的性能US-EastRegionOnly木瓜移动基于AWS构建AppFloodAppFlood合作伙伴DynamoDBELBEC2AppFlood网站SQSEC2异步工作服务器Scribe日志服务器S3存储桶ELBEC2AppFloodWebServiceMySQLElastiCacheRedshiftBD/BIEMRCloudFrontS3存储桶广告内容移动应用程序使用ElastiCache服务托管的Memcached和Redis服务使用一样的API从一个节点扩展到多个节点自我修复（替换失效节点）非常快（通常是几个毫秒）Memcache使用一个AZ，Redis可以跨AZ复制使用AWS的AutoDiscovery客户端可以使群集的伸缩与应用透明Redshift的几个特点简单易用&低成本传统数据仓库的1/10成本基于列的存储数据压缩传统数据仓库的4-8倍使用直连存储IDAgeStateAmount12320CA50034525WA25067840FL12595737WA375AmazonRedshift架构头节点SQL端点存放元数据协调查询的执行计算节点本地，基于列的存储并行执行查询操作基于S3进行加载、备份和恢复从DynamoDB并发加载也有单节点版本10GigE(HPC)加载、备份和恢复JDBC/ODBCAWS在全球190个国家/地区有几十万个客户存储和归档案例超过2亿用户存储的文件都存放在S3中让NASDAQ的客户可以访问历史股票的信息把媒体网站和移动应用的数字内容存放上亿用户的照片存放总结基于云计算的存储方式改变了应用架构的设计AWS提供了多种存储服务AWS管理的数据库服务可以让你专注于应用设计基于AWS的数据备份和归档是一种安全可靠和低成本的解决方案谢谢！中文站点微博weibo.com/amazonaws微信AWS中国