阿里云体系架构ppt课件

数据中心DataCenterLinux分布式文件系统DistributedFileSystem任务调度JobScheduling集群部署Deployment集群监控Monitoring弹性计算服务(ECS)开放结构化数据服务(OTS)开放存储服务(OSS)开放数据处理服务(ODPS)云引擎(ACE)地图、电邮、搜索、安全、渲染、PW社区云市场及第三方服务大规模分布式计算系统（飞天）关系型数据库服务(RDS)资源管理ResourceManagement安全管理SecurityManagement远程过程调用RemoteProcedureCall分布协同服务DistributedCoordinationService开放缓存服务(OCS)阿里云体系架构-1级架构图1管理飞天以及上层应用服务的部署和配置、支持集群增量扩容和应用服务的在线升级监控飞天集群和上层应用服务的运行状况和性能指标，支持在线离线的性能剖析和故障诊断。管理飞天以及上层应用服务的部署和配置、支持集群增量扩容和应用服务的在线升级监控飞天集群和上层应用服务的运行状况和性能指标，支持在线离线的性能剖析和故障诊断。门类齐全的云服务产品，满足用户存储，计算，数据库，大数据分析的需求以飞天大规模分布式计算系统为平台支撑，统一管理集群的系统资源，控制分布式应用的运行多用户的运行环境，资源共享，安全隔离Linux数据中心DataCenter基于Kerberos的用户认证，基于权能机制的访问控制和授权。提供点对点的进程间远程调用服务，支持通讯信道的数据压缩和一致性校验。提供命名服务、状态同步服务和分布式锁服务。调度和分配集群的内存和计算等资源，管理进程的生命周期和资源使用。确保多用户之间公平有效地共享集群资源。分布式文件系统DistributedFileSystem任务调度JobScheduling一个10PB级别、上亿个文件的文件系统提供类POSIX的API支持随机读、追加写。面向海量数据处理和大规模计算类型的复杂应用，提供了灵活高效的数据驱动的多级流水线并行计算框架。开放存储服务(OSS)开放结构化数据服务(OTS)开放数据处理服务(ODPS)弹性计算服务(ECS)关系型数据库服务(RDS)AliyunAPIDeployment集群布署Monitoring集群监控以绿色高效的云数据中心和大规模Linux服务器集群为基础资源管理ResourceManagement安全管理SecurityManagement远程过程调用RemoteProcedureCall分布协同服务DistributedCoordinationService飞天大规模分布式计算系统(Apsara)阿里云体系架构-1级架构图2阿里云的技术层次（云计算&大数据）业务应用基础设施飞天分布式云操作系统联机事物处理(OLTP)联机分析处理(OLAP)大数据分析及处理内容管理搜索检索x86服务器&Linux弹性计算服务SLB/ECS(分布式)关系数据库DRDS/RDS大数据ODPS/ADS开放存储OSS分布式文件系统分布协同服务任务调度安全管理远程过程调用资源管理集群部署集群监控网络设备机房环境云计算大数据产品/服务……3阿里云系统架构数据中心DataCenterLinux分布式文件系统DistributedFileSystem任务调度JobScheduling集群部署Deployment集群监控Monitoring弹性计算服务(ECS)开放结构化数据服务(OTS)开放存储服务(OSS)开放数据处理服务(ODPS)云引擎(ACE)地图、电邮、搜索、安全、渲染、PW社区云市场及第三方服务大规模分布式计算系统（飞天）关系型数据库服务(RDS)资源管理ResourceManagement安全管理SecurityManagement远程过程调用RemoteProcedureCall分布协同服务DistributedCoordinationService开放缓存服务(OCS)4阿里云技术架构业务应用基础设施飞天分布式云操作系统联机事物处理(OLTP)联机分析处理(OLAP)大数据分析及处理内容管理搜索检索x86服务器&Linux弹性计算服务SLB/ECS(分布式)关系数据库DRDS/RDS大数据ODPS/ADS开放存储OSS分布式文件系统分布协同服务任务调度安全管理远程过程调用资源管理集群部署集群监控网络设备机房环境云计算和大数据产品/服务……5阿里云的产品体系6分布式文件系统-（一层结构）7分布式文件系统-盘古客户端主要为：ECSOSS/OSAODPS/OpensearchOTS/SLS8分布式文件系统-二层结构Paxos9任务调度系统-伏羲10物理部署示意图11IAAS基础服务-ECS弹性服务器12IAAS基础服务-SLB负载均衡13IAAS基础服务-ESS弹性伸缩服务14IAAS基础服务-OSS基础架构15协议接入层RESTfulLB/LVS数据访问层Key-Value引擎持久存储层Pangu负载均衡协议处理、访问控制分区、索引持久、冗余、容错1.RESTful协议处理2.资源使用计量3.防攻击策略4.授权、认证1.海量、分布式的KV存储2.可扩展至数千台服务器3.KVMaster/KVServer/Nuwa1.基于分布式文件系统Pangu2.Master-Slave，基于Paxos的多Master设计。3.三份拷贝分布不同机架存储IAAS基础服务-OSS基础架构16IAAS基础服务-OSS实现云端数据处理上传文件到OSS后，可以配合使用媒体转码服务、图片处理服务、批量计算服务、离线数据处理服务（ODPS），挖掘数据的价值。17阿里云体系架构PAAS-开放表格服务OTSOTS是构建在阿里云飞天分布式系统之上的NoSQL数据库服务，提供海量结构化数据的存储和实时访问。OTS以实例和表的形式组织数据，通过数据分片和负载均衡技术实现规模上的无缝扩展。应用通过OTSAPI或者操作管理控制台来使用OTS服务18阿里云体系架构PAAS-开放表格服务19大规模：基于阿里云云操作系统通用性：支持表，视图，事务，增删更新查等功能，支持partition,primaykey高可用：通过自动故障迁移来提供高可用性；通过存储的冗余备份来确保数据的安全。实时性：支持实时的数据插入、删除和更新；支持实时的随机查询、范围查询和偏移查询，并可通过视图和分页的方式让查询更高效。一致性：通过数据分区内的事务，使得数据的更改和查询保持强一致性宜用性：通过提供多语言SDK（包括C++、Python、C#等）让用户的开发更便捷。经济性：仅按用户的实际资源使用进行计费。PAAS-开放表结构服务(OTS)20PAAS-大数据计算服务ODPS功能组成21PAAS-大数据计算服务ODPS架构图22PAAS-大数据计算服务ODPS多数据中心23PAAS-大数据计算服务多租户24PAAS-大数据计算服务-数据交换25PAAS-云数据库服务-RDS云数据库-关系型数据库服务，是一种稳定、可靠、可弹性伸缩的在线服务数据库。在线的关系数据库服务即开即用支持四种DB引擎;MySQL、SQLServer、postgreSQL，PPAS支持在线的扩容、备份回滚、性能监控和分析等功能•自动备份、恢复、审计，和自动监控•配置可弹性伸缩•多重容灾，可用性99.95%•抵御90%的攻击安全性可用性易用性可扩展性RDS采用主从备份架构，具有高可用和数据可靠性26PAAS-云数据库服务-RDS总体架构27PAAS-云数据库服务-RDS数据量性能瓶颈，单实例最大14000IOPS、25000OPS，承载2T28PAAS-云数据库服务-RDS29PAAS中间件-分布式关系数据库DRDS分布式关系数据库DRDS，是一种水平拆分、可平滑扩缩容，读写分离的在线分布式数据库服务。DRDS使用中间件产品。30PAAS中间件-分布式关系数据库DRDS31PAAS中间件-分布式关系数据库DRDS32PAAS中间件-分布式关系数据库DRDS33PAAS中间件-分布式关系数据库DRDS34Paas中间件-分布式关系数据库DRDS-功能栈35PAAS中间件-分布式关系数据库DRDS-读写分离36PAAS中间件-DRDS-分库分表37PAAS中间件-DRDS-分库分表1F2F3F4M5F6M7M8M9M10F2F4M6M8M10F1F3F5F7M2F10F4M6M8M1F3F5F7M9M分库ID分表Gender38PAAS中间件-DRDS-SQL路由Select*fromcustomerWhereid=7Andgender=‘M’按照查询条件做路由：1：定位数据库2：定位表分片39PAAS中间件-DRDS-扩容用户视角系统视角40PAAS中间件-DRDS-平滑扩容41阿里云分析性数据库为什么快底层存储使用SSD盘，更强的磁盘IO能力表关联的时候，使用快速hashjoin智能索引自动结合数据状况创建合理的索引数据做就近处理、没有传输的开销尽量在内存中做各种表的关联和计算42