第九讲SQL优化设计.

数据库系统概论AnIntroductiontoDatabaseSystem第九章关系查询处理和查询优化第九章关系系统及其查询优化9.1关系数据库系统的查询处理9.2关系数据库系统的查询优化9.3代数优化9.4物理优化9.5小结9.1关系数据库系统的查询处理9.1.1查询处理步骤9.1.2实现查询操作的算法示例9.1.1查询处理步骤RDBMS查询处理阶段：1.语法分析与翻译2.优化3.执行查询处理步骤（续）查询处理步骤1.语法分析与翻译器查询处理器必须对查询语言中的语句做语法分析，并且将它们转换成某种内部表示。查询语言的语法分析与传统编程语言的语法分析几乎没有区别。语法分析与翻译的过程类似于程序设计语言编译器的语法分析过程：它以高层的查询语句（如：SQL）作为输入，输出的是关系代数表达式。2.查询优化器查询优化在关系数据库系统中有着非常重要的地位。关系数据库系统和非过程化的SQL语言能够取得巨大的成功，关键是得益于查询优化技术的发展。关系查询优化是影响RDBMS性能的关键因素。为了达到用户可接受的性能必须进行查询优化。由于关系表达式的语义级别很高，使关系系统可以从关系表达式中分析查询语义，提供了执行查询优化的可能性。这就为关系系统在性能上接近甚至超过非关系系统提供了机遇。2.查询优化器查询优化解决的问题：1、每个SQL语句可以翻译成多个等价的关系代数表达式，到底用哪一个关系代数表达式？2、每个关系代数表达式中的关系运算可以用不同的算法来实现，还可以采用不同的索引，到底用哪一个算法和什么样的索引？3、对整个表达式的求值是采用流水线计算方法，还是采用实体化计算方法？或者是采用二者混合的计算方法？2.查询优化器1、问题的提出SQL语句可以有多种表达方式，而每个SQL语句又可以翻译成多个等价的关系代数表达式。例如：selectbalancefromaccountwherebalance2500可以翻译成下面两个关系代数表达式：每个表达式中的关系运算又可以用不同的算法和索引去实现。因此，查询优化器的任务就是要找出上述表达式中代价最小的计算给定查询的处理过程(processing)。250025001(())(())balancebalancebalancebalanceaccountaccount、、2.查询优化器2、执行计划一个查询执行计划。什么是查询执行计划？2.查询优化器2、执行计划释。这些注释用于说明如何具体实施每个操作。例如，可以说明某个关系运算所采用的算法或将要使用的一个或多个特定的索引。这些加上了有关如何执行的注释的关系代数运算称为执行原语，而用于计算一个查询的原语序列称为查询执行计划或查询计算计划。及到两个方面的内容：⑴等价、但执行效率更高的一个表达式；⑵体算法和要使用的特定索引等等。2.查询优化器2、执行计划2.查询优化器3、查询优化器必须估计每个查询执行计划的代价。这要用到有关关系的统计信息。如何估计查询执行计划的代价？3.执行引擎执行引擎出的则是具体的查询结果。3.执行引擎并非所有数据库系统都完全遵从这些步骤，许多数据库系统就不用关系代数表达式来表示查询。而是采用基于给定SQL查询结构的带注释的语法分析树来表示执行引擎出的则是具体的查询结果。9.1关系数据库系统的查询处理9.1.1查询处理步骤9.1.2实现查询操作的算法示例9.1.2实现查询操作的算法示例一、选择操作的实现二、连接操作的实现一、选择操作的实现［例1］Select*fromstudentwhere条件表达式；考虑条件表达式的几种情况：C1：无条件；C2：Sno＝'200215121'；C3：Sage20；C4：Sdept＝'CS'ANDSage20；选择操作的实现（续）选择操作典型实现方法：1.简单的全表扫描方法对查询的基本表顺序扫描，逐一检查每个元组是否满足选择条件，把满足条件的元组作为结果输出适合小表，不适合大表2.索引(或散列)扫描方法适合选择条件中的属性上有索引(例如B+树索引或Hash索引)通过索引先找到满足条件的元组主码或元组指针，再通过元组指针直接在查询的基本表中找到元组选择操作的实现（续）［例1-C2］以C2为例，Sno＝‘200215121’，并且Sno上有索引(或Sno是散列码)使用索引(或散列)得到Sno为‘200215121’元组的指针通过元组指针在student表中检索到该学生［例1-C3］以C3为例，Sage20，并且Sage上有B+树索引使用B+树索引找到Sage＝20的索引项，以此为入口点在B+树的顺序集上得到Sage20的所有元组指针通过这些元组指针到student表中检索到所有年龄大于20的学生。选择操作的实现（续）［例1-C4］以C4为例，Sdept＝‘CS’ANDSage20，如果Sdept和Sage上都有索引：算法一：分别用上面两种方法分别找到Sdept＝‘CS’的一组元组指针和Sage20的另一组元组指针求这2组指针的交集到student表中检索得到计算机系年龄大于20的学生算法二：找到Sdept＝‘CS’的一组元组指针，通过这些元组指针到student表中检索对得到的元组检查另一些选择条件(如Sage20)是否满足把满足条件的元组作为结果输出。二、连接操作的实现连接操作是查询处理中最耗时的操作之一本节只讨论等值连接(或自然连接)最常用的实现算法［例2］SELECT*FROMStudent，SCWHEREStudent.Sno=SC.Sno；连接操作的实现（续）1.嵌套循环方法(nestedloop)2.排序-合并方法(sort-mergejoin或mergejoin)3.索引连接(indexjoin)方法4.HashJoin方法连接操作的实现（续）1.嵌套循环方法(nestedloop)对外层循环(Student)的每一个元组(s)，检索内层循环(SC)中的每一个元组(sc)检查这两个元组在连接属性(sno)上是否相等如果满足连接条件，则串接后作为结果输出，直到外层循环表中的元组处理完为止连接操作的实现（续）2.排序-合并方法(sort-mergejoin或mergejoin)适合连接的诸表已经排好序的情况排序－合并连接方法的步骤：如果连接的表没有排好序，先对Student表和SC表按连接属性Sno排序取Student表中第一个Sno，依次扫描SC表中具有相同Sno的元组连接操作的实现（续）200215121200215122200215123200215124...200215121192200215121285200215121388200215122290200215122380...排序-合并连接方法示意图连接操作的实现（续）排序－合并连接方法的步骤（续）：当扫描到Sno不相同的第一个SC元组时，返回Student表扫描它的下一个元组，再扫描SC表中具有相同Sno的元组，把它们连接起来重复上述步骤直到Student表扫描完连接操作的实现（续）Student表和SC表都只要扫描一遍如果2个表原来无序，执行时间要加上对两个表的排序时间对于2个大表，先排序后使用sort-mergejoin方法执行连接，总的时间一般仍会大大减少连接操作的实现（续）3.索引连接(indexjoin)方法步骤：①在SC表上建立属性Sno的索引，如果原来没有该索引②对Student中每一个元组，由Sno值通过SC的索引查找相应的SC元组③把这些SC元组和Student元组连接起来循环执行②③，直到Student表中的元组处理完为止连接操作的实现（续）4.HashJoin方法把连接属性作为hash码，用同一个hash函数把R和S中的元组散列到同一个hash文件中步骤：•划分阶段(partitioningphase)：–对包含较少元组的表(比如R)进行一遍处理–把它的元组按hash函数分散到hash表的桶中•试探阶段(probingphase)：也称为连接阶段(joinphase)–对另一个表(S)进行一遍处理–把S的元组散列到适当的hash桶中–把元组与桶中所有来自R并与之相匹配的元组连接起来连接操作的实现（续）上面hashjoin算法前提：假设两个表中较小的表在第一阶段后可以完全放入内存的hash桶中以上的算法思想可以推广到更加一般的多个表的连接算法上第九章关系系统及其查询优化9.1关系数据库系统的查询处理9.2关系数据库系统的查询优化9.3代数优化9.4物理优化9.5小结9.2关系数据库系统的查询优化查询优化在关系数据库系统中有着非常重要的地位关系查询优化是影响RDBMS性能的关键因素由于关系表达式的语义级别很高，使关系系统可以从关系表达式中分析查询语义，提供了执行查询优化的可能性查询优化概述（续）查询优化的优点不仅在于用户不必考虑如何最好地表达查询以获得较好的效率，而且在于系统可以比用户程序的“优化”做得更好(1)优化器可以从数据字典中获取许多统计信息，而用户程序则难以获得这些信息(2)如果数据库的物理统计信息改变了，系统可以自动对查询重新优化以选择相适应的执行计划。在非关系系统中必须重写程序，而重写程序在实际应用中往往是不太可能的。查询优化概述（续）(3)优化器可以考虑数百种不同的执行计划，程序员一般只能考虑有限的几种可能性。(4)优化器中包括了很多复杂的优化技术，这些优化技术往往只有最好的程序员才能掌握。系统的自动优化相当于使得所有人都拥有这些优化技术查询优化概述（续）RDBMS通过某种代价模型计算出各种查询执行策略的执行代价，然后选取代价最小的执行方案集中式数据库执行开销主要包括：–磁盘存取块数(I/O代价)–处理机时间(CPU代价)–查询的内存开销I/O代价是最主要的分布式数据库总代价=I/O代价+CPU代价+内存代价＋通信代价查询优化概述（续）查询优化的总目标：选择有效的策略求得给定关系表达式的值使得查询代价最小(实际上是较小)9.2关系数据库系统的查询优化9.2.1查询优化概述9.2.2一个实例9.2.2一个实例[例3]求选修了2号课程的学生姓名。用SQL表达：SELECTStudent.SnameFROMStudent，SCWHEREStudent.Sno=SC.SnoANDSC.Cno=‘2’；假定学生-课程数据库中有1000个学生记录，10000个选课记录其中选修2号课程的选课记录为50个一个实例（续）系统可以用多种等价的关系代数表达式来完成这一查询Q1=πSname(σStudent.Sno=SC.Sno∧Sc.Cno='2'(Student×SC))Q2=πSname(σSc.Cno='2'(StudentSC))Q3=πSname(StudentσSc.Cno='2'(SC))一个实例（续）一、第一种情况Q1=πSname(σStudent.Sno=SC.Sno∧Sc.Cno='2'Student×SC))1.计算广义笛卡尔积把Student和SC的每个元组连接起来的做法：在内存中尽可能多地装入某个表(如Student表)的若干块，留出一块存放另一个表(如SC表)的元组。把SC中的每个元组和Student中每个元组连接，连接后的元组装满一块后就写到中间文件上从SC中读入一块和内存中的Student元组连接，直到SC表处理完。再读入若干块Student元组，读入一块SC元组重复上述处理过程，直到把Student表处理完一个实例（续）设一个块能装10个Student元组或100个SC元组，在内存中存放5块Student元组和1块SC元组，则读取总块数为＋=100+20×100=2100块其中，读Student表100块。读SC表20遍，每遍100块。若每秒读写20块，则总计要花105s连接后的元组数为103×104=