Oracle查询优化.

黄老师2013.7Oracle查询优化•本章目的：–RDBMS的查询处理概述及步骤–查询优化的概念–基本方法和技术•查询优化分类：–代数优化–物理优化1查询处理概述1.1查询处理步骤•RDBMS查询处理阶段：1.查询分析2.查询检查3.查询优化4.查询执行1.1查询处理步骤（续）查询处理步骤1）查询分析•对查询语句进行扫描、词法分析和语法分析•从查询语句中识别出语言符号•进行语法检查和语法分析2）查询检查•根据数据字典对合法的查询语句进行语义检查•根据数据字典中的用户权限和完整性约束定义对用户的存取权限进行检查•检查通过后把SQL查询语句转换成等价的关系代数表达式•RDBMS一般都用查询树(语法分析树)来表示扩展的关系代数表达式•把数据库对象的外部名称转换为内部表示3）查询优化•查询优化：选择一个高效执行的查询处理策略•查询优化分类：–代数优化：指关系代数表达式的优化–物理优化：指存取路径和底层操作算法的选择•查询优化方法选择的依据：–基于规则(rulebased)–基于代价(costbased)–基于语义(semanticbased)4）查询执行•依据优化器得到的执行策略生成查询计划•代码生成器(codegenerator)生成执行查询计划的代码1.2实现查询操作的算法示例•1)选择操作的实现•2)连接操作的实现1)选择操作的实现•［例1］Select*fromstudentwhere条件表达式；考虑条件表达式的几种情况：C1：无条件；C2：Sno＝'200215121'；C3：Sage20；C4：Sdept＝'CS'ANDSage20；1)选择操作的实现（续）•选择操作典型实现方法：–1.简单的全表扫描方法对查询的基本表顺序扫描，逐一检查每个元组是否满足选择条件，把满足条件的元组作为结果输出适合小表，不适合大表–2.索引(或散列)扫描方法适合选择条件中的属性上有索引(例如B+树索引或Hash索引)通过索引先找到满足条件的元组主码或元组指针，再通过元组指针直接在查询的基本表中找到元组1)选择操作的实现（续）•［例1-C2］以C2为例，Sno＝‘200215121’，并且Sno上有索引(或Sno是散列码)–使用索引(或散列)得到Sno为‘200215121’元组的指针–通过元组指针在student表中检索到该学生•［例1-C3］以C3为例，Sage20，并且Sage上有B+树索引–使用B+树索引找到Sage＝20的索引项，以此为入口点在B+树的顺序集上得到Sage20的所有元组指针–通过这些元组指针到student表中检索到所有年龄大于20的学生。1)选择操作的实现（续）•［例1-C4］以C4为例，Sdept＝‘CS’ANDSage20，如果Sdept和Sage上都有索引：–算法一：分别用上面两种方法分别找到Sdept＝‘CS’的一组元组指针和Sage20的另一组元组指针求这2组指针的交集到student表中检索得到计算机系年龄大于20的学生–算法二：找到Sdept＝‘CS’的一组元组指针，通过这些元组指针到student表中检索对得到的元组检查另一些选择条件(如Sage20)是否满足把满足条件的元组作为结果输出。2)连接操作的实现•连接操作是查询处理中最耗时的操作之一•本节只讨论等值连接(或自然连接)最常用的实现算法•［例2］SELECT*FROMStudent，SCWHEREStudent.Sno=SC.Sno；2)连接操作的实现（续）•1.嵌套循环方法(nestedloop)•2.排序-合并方法(sort-mergejoin或mergejoin)•3.索引连接(indexjoin)方法•4.HashJoin方法2)连接操作的实现（续）1.嵌套循环方法(nestedloop)–对外层循环(Student)的每一个元组(s)，检索内层循环(SC)中的每一个元组(sc)–检查这两个元组在连接属性(sno)上是否相等–如果满足连接条件，则串接后作为结果输出，直到外层循环表中的元组处理完为止2)连接操作的实现（续）2.排序-合并方法(sort-mergejoin或mergejoin)–适合连接的诸表已经排好序的情况–排序－合并连接方法的步骤：如果连接的表没有排好序，先对Student表和SC表按连接属性Sno排序取Student表中第一个Sno，依次扫描SC表中具有相同Sno的元组2)连接操作的实现（续）200215121200215122200215123200215124...200215121192200215121285200215121388200215122290200215122380...排序-合并连接方法示意图2）连接操作的实现（续）–排序－合并连接方法的步骤（续）：当扫描到Sno不相同的第一个SC元组时，返回Student表扫描它的下一个元组，再扫描SC表中具有相同Sno的元组，把它们连接起来重复上述步骤直到Student表扫描完2)连接操作的实现（续）•Student表和SC表都只要扫描一遍•如果2个表原来无序，执行时间要加上对两个表的排序时间•对于2个大表，先排序后使用sort-mergejoin方法执行连接，总的时间一般仍会大大减少2)连接操作的实现（续）3.索引连接(indexjoin)方法•步骤：①在SC表上建立属性Sno的索引，如果原来没有该索引②对Student中每一个元组，由Sno值通过SC的索引查找相应的SC元组③把这些SC元组和Student元组连接起来循环执行②③，直到Student表中的元组处理完为止2)连接操作的实现（续）4.HashJoin方法–把连接属性作为hash码，用同一个hash函数把R和S中的元组散列到同一个hash文件中–步骤：•划分阶段(partitioningphase)：–对包含较少元组的表(比如R)进行一遍处理–把它的元组按hash函数分散到hash表的桶中•试探阶段(probingphase)：也称为连接阶段(joinphase)–对另一个表(S)进行一遍处理–把S的元组散列到适当的hash桶中–把元组与桶中所有来自R并与之相匹配的元组连接起来2连接操作的实现（续）•上面hashjoin算法前提：假设两个表中较小的表在第一阶段后可以完全放入内存的hash桶中•以上的算法思想可以推广到更加一般的多个表的连接算法上2、关系数据库系统的查询优化•查询优化在关系数据库系统中有着非常重要的地位•关系查询优化是影响RDBMS性能的关键因素•由于关系表达式的语义级别很高，使关系系统可以从关系表达式中分析查询语义，提供了执行查询优化的可能性2.1查询优化概述•查询优化的优点不仅在于用户不必考虑如何最好地表达查询以获得较好的效率，而且在于系统可以比用户程序的“优化”做得更好–(1)优化器可以从数据字典中获取许多统计信息，而用户程序则难以获得这些信息–(2)如果数据库的物理统计信息改变了，系统可以自动对查询重新优化以选择相适应的执行计划。在非关系系统中必须重写程序，而重写程序在实际应用中往往是不太可能的。2.1查询优化概述（续）–(3)优化器可以考虑数百种不同的执行计划，程序员一般只能考虑有限的几种可能性。–(4)优化器中包括了很多复杂的优化技术，这些优化技术往往只有最好的程序员才能掌握。系统的自动优化相当于使得所有人都拥有这些优化技术2.1查询优化概述（续）•查询优化的总目标：–选择有效的策略–求得给定关系表达式的值–使得查询代价最小(实际上是较小)2.2一个实例[例3]求选修了2号课程的学生姓名。用SQL表达：SELECTStudent.SnameFROMStudent，SCWHEREStudent.Sno=SC.SnoANDSC.Cno=‘2’；假定学生-课程数据库中有1000个学生记录，10000个选课记录其中选修2号课程的选课记录为50个2.2一个实例（续）•系统可以用多种等价的关系代数表达式来完成这一查询Q1=πSname(σStudent.Sno=SC.Sno∧Sc.Cno='2'(Student×SC))Q2=πSname(σSc.Cno='2'(StudentSC))Q3=πSname(StudentσSc.Cno='2'(SC))2.2一个实例（续）•一、第一种情况Q1=πSname(σStudent.Sno=SC.Sno∧Sc.Cno='2'Student×SC))1.计算广义笛卡尔积•把Student和SC的每个元组连接起来的做法：–在内存中尽可能多地装入某个表(如Student表)的若干块，留出一块存放另一个表(如SC表)的元组。–把SC中的每个元组和Student中每个元组连接，连接后的元组装满一块后就写到中间文件上–从SC中读入一块和内存中的Student元组连接，直到SC表处理完。–再读入若干块Student元组，读入一块SC元组–重复上述处理过程，直到把Student表处理完•设一个块能装10个Student元组或100个SC元组，在内存中存放5块Student元组和1块SC元组，则读取总块数为＋=100+20×100=2100块•其中，读Student表100块。读SC表20遍，每遍100块。若每秒读写20块，则总计要花105s•连接后的元组数为103×104=107。设每块能装10个元组，则写出这些块要用106/20=5×104s2.2一个实例（续）1010005101000100100002.2一个实例（续）2.作选择操作–依次读入连接后的元组，按照选择条件选取满足要求的记录–假定内存处理时间忽略。读取中间文件花费的时间(同写中间文件一样)需5×104s–满足条件的元组假设仅50个，均可放在内存2.2一个实例（续）3.作投影操作–把第2步的结果在Sname上作投影输出，得到最终结果–第一种情况下执行查询的总时间≈105+2×5×104≈105s–所有内存处理时间均忽略不计•二、第二种情况Q2=πSname(σSc.Cno='2'(StudentSC))1.计算自然连接执行自然连接，读取Student和SC表的策略不变，总的读取块数仍为2100块花费105s自然连接的结果比第一种情况大大减少，为104个写出这些元组时间为104/10/20=50s，为第一种情况的千分之一2.读取中间文件块，执行选择运算，花费时间也为50s。3.把第2步结果投影输出。第二种情况总的执行时间≈105+50+50≈205s2.2一个实例（续）•三、第三种情况Q3=πSname(StudentσSc.Cno='2'(SC))1.先对SC表作选择运算，只需读一遍SC表，存取100块花费时间为5s，因为满足条件的元组仅50个，不必使用中间文件。2.读取Student表，把读入的Student元组和内存中的SC元组作连接。也只需读一遍Student表共100块，花费时间为5s。3.把连接结果投影输出第三种情况总的执行时间≈5+5≈10s2.2一个实例（续）2.2一个实例（续）•假如SC表的Cno字段上有索引–第一步就不必读取所有的SC元组而只需读取Cno=‘2’的那些元组(50个)–存取的索引块和SC中满足条件的数据块大约总共3～4块•若Student表在Sno上也有索引–第二步也不必读取所有的Student元组–因为满足条件的SC记录仅50个，涉及最多50个Student记录–读取Student表的块数也可大大减少•总的存取时间将进一步减少到数秒2.2一个实例（续）•把代数表达式Q1变换为Q2、Q3，–即有选择和连接操作时，先做选择操作，这样参加连接的元组就可以大大减少，这是代数优化•在Q3中–SC表的选择操作算法有全表扫描和索引扫描2种方法，经过初步估算，索引扫描方法较优–对于Student和SC表的连接，利用Student表上的索引，采用indexjoin代价也较小，这就是物理优化3.1关系代数表达式等价变换规则•代数优化策略：通过对关系代数表达式的等价变换来提高查询效率•关系代数表达式的