村上岗-第1讲分布式数据库系统概论

第一讲分布式数据库系统概论1什么是分布式数据库系统？2课程教学思路3课程考核方法第2页，共73页内容提要1.1分布式数据库系统的产生1.2分布式数据库系统的定义1.3分布式数据库系统的发展及研究热点1.4分布式数据库系统发展趋势第3页，共73页1什么是分布式数据库系统？1.1分布式数据库系统的产生分布式数据库系统的产生是随着各大网站的信息访问量激增而产生及不断发展的。传统的集中式数据库存储与管理模式已经不能应对新的数据存储与访问需求。1PB=1024TB1TB=1024GB分布式数据库系统基本构型：C/S与B/S分布式数据库不是单独存在的，它对需求非满足是成体系存在的。第5页，共73页集中式数据库系统的优点易于管理低冗余度应用程序和数据库相对独立数据恢复能力强等主机数据库终端用户处理结果存取请求集中式系统模型第6页，共73页集中式数据库系统的不足系统规模有限；可扩充性和安全性相对较差；主机瓶颈，可靠性不高；通信开销加大，影响性能；很难适应地理分散的大型公司管理数据需要；更新硬件，如升级到性能更高的服务器更新软件，如移植到Oracle上利用复制订阅、镜像等功能做扩展使用分布式数据库架构，用若干台中小型的服务器去替代大型的服务器第7页，共73页问题解决方案分布式系统的定义：分布式系统（distributedsystem）是建立在网络之上的软件系统。分布式系统由多个高度内聚性和透明性的站点组成。这些站点分别承担数据访问管理、数据存储以及数据服务器监控管理等功能。内聚性是指每一个数据库分布节点高度自治，有本地的数据库管理系统。透明性是指每一个数据库分布节点对用户的应用来说都是透明的，看不出是由哪台数据存储服务器来完成。第8页，共73页分布式系统的特点：在一个分布式系统中，一组互相独立的计算机展现给用户的是一个整体。系统拥有多种通用的物理和逻辑资源，可动态分配任务。分散的物理和逻辑资源通过计算机网络实现信息交换。系统中存在一个以全局的方式管理计算机资源的分布式操作系统。分布式操作系统往往又以现有的计算机操作系统为基础。对用户来说，分散的数据分布与数据处理对应了同一个模型或范型。分布式操作系统之上有一层中间件负责实现这个模型。一个著名的分布式系统的例子是万维网。在万维网中，所有的一切看起来就好像是一个文档（Web页面）一样。第9页，共73页分布式系统与网络系统的区别：在计算机网络中，这种统一性、模型以及其中的软件都不存在。用户看到的是实际的机器，如果这些机器有不同的硬件或不同的操作系统，计算机网络并没有使这些机器看起来是统一的。由于多数分布式系统是建立在计算机网络之上的，所以分布式系统与计算机网络在物理结构上是基本相同的。第10页，共73页目前存在很多动态网站，如学校教务系统、选课系统，它们属于分布式系统吗？分布式系统一般由以下几个部分等组成：分布式操作系统负责管理分布式处理系统资源和控制分布式程序运行。不需要直接管理系统硬件资源，因此它往往建立在现有操作系统基础之上。分布式程序设计语言用于编写运行于分布式计算机系统上的分布式程序。现实是大部分现行分布式系统都采用普通的程序设计语言进行开发。第11页，共73页分布式数据库系统由分布于多个计算机结点上的若干个数据库系统组成,它提供有效的存取手段来操纵这些结点上的子数据库。分布式文件系统具有执行远程文件存取的能力,并以透明方式对分布在网络上的文件进行管理和存取。第12页，共73页分布式数据库系统（DistributedDataBaseSystem，简称DDBS）由一组被管理的数据及管理软件（也就是熟称的管理系统）组成，这些数据以及管理软件分布在计算机网络的不同计算机上。分布式数据库系统强调场地自治性（局部应用）以及自治场地之间的协作性（全局应用）。分布式数据库系统是数据库技术和网络技术两者相互渗透和有机结合的结果。主要的目的是用廉价的机器提供高性能的服务。第13页，共73页1.2分布式数据库系统的定义第14页，共73页网络场地3图1DDBMS结构图场地1LDBLDBMSGDBMSCM用户／ＤＢＡGDD场地2DDBMS由以下部分组成：LDBMS（LocalDatabaseManagementSystem，局部数据库管理系统），主要用于管理局部数据库，提供场地自治能力，执行局部应用以及全局查询的子查询。LDB（LocalDatabase，局部数据库），主要用于存储部分数据。GDBMS（GlobalDatabaseManagementSystem，全局数据库管理系统），主要用于向终端用户提供分布透明性、协调全局事务的执行、协调各局部DBMS以完成全局应用、保证各数据库的全局一致性、执行并发控制、实现更新同步、提供全局恢复等。第15页，共73页GDD（GlobalDataDictionlary，全局数据字典），存放全局概念模式、分片模式、分布模式等的定义，以及各模式之间的映像定义，存放有关用户存取权限的定义、完整性约束的定义等。CM（CommunicationManagement，通信管理），主要用于在GDBMS与LDBMS或各LDBMS之间的通信调度与路由。按全局控制类型分类全局控制集中型DDBMS全局数据库和全局数据字典集中于某一结点，其优点是控制简单，容易实现更新一致性，但该结点容易成为系统的瓶颈，系统也较脆弱。第17页，共73页分布式数据库系统的分类全局控制分散的DDBMS全局数据库控制器和全局数据字典分散在网络上的每一个结点上，每个结点都能完成全局事务的协调和局部数据库事务的控制功能。每个结点既是全局事务的参与者，也是全局事务的协调者。其优点是结点独立，自治性强，但全局控制的协调机制和一致性维护都比较困难。全局控制部分分散的DDBMS介于上述两者之间，根据应用的需要将全局数据库管理器和全局数据字典分散在某些结点上。第18页，共73页按局部DBMS的数据模型类型分类同构型DDBMS每个结点的局部数据库具有相同的DBMS；异构型DDBMS各结点的局部数据库具有不同的DBMS；第19页，共73页数据独立性数据的逻辑独立性数据的物理独立性数据的分布透明性集中与自治相结合的控制机构数据的共享有两个层次：一是局部共享；二是全局共享。第20页，共73页分布式数据库系统的特点全局一致性分布式数据库系统中各局部数据库应满足集中式数据库的一致性、并发事务的可串行性和可恢复性。应保证数据库的全局一致性、全局并发事务的可串行性和系统全局的可恢复性。分布式数据库系统中全局应用要涉及两个以上结点的数据，全局事务可能由不同结点上的多个操作组成。第21页，共73页数据存在一定冗余在不同的结点存储同一数据的多个副本目的一：提高系统的可靠性、可用性，当某一结点出现故障时，系统可以对另一结点的相同副本进行操作，不会因为一处故障而造成整个系统的瘫痪；目的二提高系统性能，系统可以选择用户最近的数据副本来进行操作，减少通信代价，改善整个系统的性能。第22页，共73页第23页，共73页分布式数据库系统的优点：成本低廉数据访问速度快数据存储量大易于拓展分布式数据库系统的缺点：存取结构复杂系统开销大数据安全性和保密性较难处理现在的分布式数据库模式大致有两种：在原有关系型数据库的基础上进行拓展，如Oracle、IBMDB2、MySQL、Amobea等。重新构造适合应用需求的分布式数据结构，如以XML或其它文件形式进行数据存储，包括BigTable、HyperTable、HBase、Cassandra等。很多开源分布式数据库系统都是基于Google公开发表的《BigTable--adistributedstoragesystemforstructureddata》进行设计与实现的。第24页，共73页1.3分布式数据库系统的发展现状分布式数据库系统的发展阶段20世纪70年代末期——产生20世纪80年代——成长阶段20世纪90年代——商品化应用阶段21世纪——大规模应用阶段第25页，共73页目前开源分布式数据库系统类型主要包括：以Google的BigTable为原型和基础建立起来的面向数据半结构化的开源分布式数据库系统，其中包括Hypertable、Hbase、Cassandra。它们支持的是稀疏矩阵化的结构化数据。面向文档的分布式数据库系统，包括MongoDB、CouchDB等。实现分布式缓存，如Memcached等。实现Key/Value数据库引擎，包括Riak、Redis、Keyspace、TokyoCabinet等。基于嵌入式的分布式数据库，包括Neo4j、OracleBerkeleyDB等。目前分布式数据库系统的研究热点分布式数据存储模式：Nosql和SQL模式分布式数据查询与优化分布式数据库管理模式分配与监管问题分布式事务处理分布式数据并发控制分布式数据一致性问题安全与可靠性问题异构互联：？第27页，共73页分布式数据库的发展趋势与计算机网络、移动、网格数据库整合成为物流网、云计算基础云计算将网络上分布的计算、存储、服务构件、网络软件等资源集中起来，基于资源虚拟化的方式，为用户提供方便快捷的服务，它可以实现计算与存储的分布式与并行处理。第28页，共73页1.4分布式数据库系统发展趋势物联网（InternetofThings,IoT）最早于1999年由麻省理工学院提出。最开始的物联网是指依托射频识别（RadioFrequencyIdentification，RFID）技术和设备，按约定的通信协议与互联网相结合，使物品实现智能化识别和管理，实现物品信息互联。现代意义的物联网可以实现对物的感知识别控制、网络化互联和智能处理有机统一，从而形成高智能决策。第29页，共73页第30页，共73页第31页，共73页第32页，共73页架构演变第一步：物理分离webserver和数据库架构演变第二步：增加页面缓存补充材料1：大型网站构架变迁第33页，共73页架构演变第三步：增加页面片段缓存架构演变第四步：数据缓存第34页，共73页架构演变第五步：增加webserver架构演变第六步：分库第35页，共73页架构演变第七步：分表、DAL和分布式缓存第36页，共73页架构演变第八步：增加更多的webserver第37页，共73页架构演变第九步：数据读写分离和廉价存储方案第38页，共73页架构演变第十步：进入大型分布式应用时代和廉价服务器群时代第39页，共73页第40页，共73页补充材料2：—淘宝网数据库技术架构变迁第41页，共73页第42页，共73页第43页，共73页第44页，共73页第45页，共73页第46页，共73页第47页，共73页第48页，共73页第49页，共73页第50页，共73页第51页，共73页第52页，共73页2019/9/1953谢谢！！2019/9/1954