搜索
1：概念以及内存结构作者：IT168hanson2006-12-21本文首先详细介绍了oracle中buffercache的概念以及所包含的内存结构。然后结合各个后台进程（包括DBWRn、CKPT、LGWR等）深入介绍了oracle对于buffercache的管理机制，并详细解释了oracle为什么会采用现在的管理机制，是为了解决什么问题。比如为何会引入touch次数、为何会引入增量检查点等等。最后全面介绍了有关buffercache监控以及调优的实用方法。1.buffercache的概念用最简单的语言来描述oracle数据库的本质，其实就是能够用磁盘上的一堆文件来存储数据，并提供了各种各样的手段对这些数据进行管理。作为管理数据的最基本要求就是能够保存和读取磁盘上的文件中的数据。众所周知，读取磁盘的速度相对来说是非常慢的，而内存相对速度则要快的多。因此为了能够加快处理数据的速度，oracle必须将读取过的数据缓存在内存里。而oracle对这些缓存在内存里的数据起了个名字：数据高速缓存区（dbbuffercache），通常就叫做buffercache。按照oracle官方的说法，buffercache就是一块含有许多数据块的内存区域，而这些数据块主要都是数据文件里的数据块内容的拷贝。通过初始化参数：buffer_cache_size来指定buffercache的大小。oracle实例一旦启动，该区域大小就被分配好了。buffercache所能提供的功能主要包括：1）通过缓存数据块，从而减少I/O。2）通过构造CR块，从而提供读一致性功能。3）通过提供各种lock、latch机制，从而提供多个进程并发访问同一个数据块的功能。2.buffercache的内存结构2.1buffercache概述oracle内部在实现其管理的过程中，有两个非常有名的名词：链表和hash算法。链表是一种数据结构，通过将对象串连在一起，从而构成链表结构。这样，如果要修改、删除、查找某个对象的话，都可以先到链表中去查找，而不必实际的访问物理介质。oracle中最有名的链表大概就是LRU链表了，我们后面会介绍它。而hash算法则是为了能够进行快速查找定位所使用一种技术。所谓hash算法，就是根据要查找的值，对该值进行一定的hash算法后得出该值所在的索引号，然后进入到该值应该存在的一列数值列表（可以理解为一个二维数组）里，通过该索引号去找它应该属于哪一个列表。然后再进入所确定的列表里，对其中所含有的值，进行一个一个的比较，从而找到该值。这样就避免了对整个数值列表进行扫描才能找到该值，这种全扫描的方式显然要比hash查找方式低效很多。其中，每个索引号对应的数值列在oracle里都叫做一个hashbucket。我们来列举一个最简单的hash算法。假设我们的数值列表最多可以有10个元素，也就是有10个hashbuckets，每个元素最多可以包含20个数值。则对应的二维数组就是t[10][20]。我们可以定义hash算法为nMOD10。通过这种算法，可以将所有进入的数据均匀放在10个hashbucket里面，hashbucket编号从0到9。比如，我们把1到100都通过这个hash函数均匀放到这10个hashbucket里，当查找32在哪里时，只要将32MOD10等于2，这样就知道可以到2号hashbucket里去找，也就是到t[2][20]里去找，2号hashbucket里有10个数值，逐个比较2号hashbucket里是否存在32就可以了。buffercache就是使用多个hashbucket来管理的，其hash算法当然比我们前面列举的要复杂多了。我们先来看下面这个图一。这副图从逻辑上说明了整个buffercache的结构是怎么样的。这副图的右上角列出了三个名词：hashbucket、bufferheader和hashchain。这里的hashbucket就是我们前面说明hash算法中提到的二维数组的第一维。它是通过对bufferheader里记录的数据块地址和数据块类型运用hash算法以后，得到的组号。这里的hashchain就是属于同一个hashbucket的所有bufferheader所串起来的链表。实际上，hashbucket只是一个逻辑上的概念。每个hashbucket都是通过不同的hashchain而体现出来的。每个hashchain都会由一个cachebufferschainslatch来管理其并发操作。而对于bufferheader来说，每一个数据块在被读入buffercache时，都会先在buffercache中构造一个bufferheader，bufferheader与数据块一一对应。bufferheader包含的主要信息有：1）该数据块在buffercache中实际的内存地址。就是上图中的虚线箭头所表示的意思。2）该数据块的类型，包括data、segmentheader、undoheader、undoblock等等。3）该bufferheader所在的hashchain，是通过在bufferheader里保存指向前一个bufferheader的指针和指向后一个bufferheader的指针的方式实现的。4）该bufferheader所在的LRU、LRUW、CKPTQ等链表（这些链表我们后面都会详细说明）。也是通过记录前后bufferheader指针的方式实现。5）当前该bufferheader所对应的数据块的状态以及标记。6）该bufferheader被访问（touch）的次数。7）正在等待该bufferheader的进程列表（waiterlist）和正在使用该bufferheader的进程列表（userlist）。buffercache中，缺省的hashbucket的数量或者说缺省有多少条hashchain链表，是由一个隐藏参数：_db_block_hash_buckets决定的。置于该参数的取值，在我的测试中，8i下，该参数缺省为db_block_buffers×2；但是到了9i以后，该参数似乎取的是小于且最接近于db_block_buffers×2的素数。2.2转储buffercache就象实例中的其他内存结构一样，oracle提供了可以将buffercache转储到跟踪文件的方法。方法如下：ALTERSESSIONSETEVENTS'immediatetracenamebufferslevellevel';这里的level有很多值，分别可以转储buffercache中的不同的内容。level的可选值包括：1只转储bufferheader2在level1的基础上再转储数据块头3在level2的基础上再转储数据块内容4转储bufferheader和hashchain5在level1的基础上再转储数据块头和hashchain6在level2的基础上再转储数据块内容和hashchain8转储bufferheader和hashchain以及users/waiters链表9在level1的基础上再转储数据块头、hashchain以及users/waiters链表10在level2的基础上再转储数据块内容、hashchain以及users/waiters链表我们创建一个简单的测试表，然后看看转储出来的bufferheader是什么样子的。SQLcreatetablebuffer_test(idnumber);SQLselectobject_idfromdba_objectswhereobject_name='BUFFER_TEST';OBJECT_ID----------7087SQLinsertintobuffer_testvalues(1);SQLcommit;这时我们知道buffer_test表的object_id是7987，同时，该表中只有2个block具有数据。1个是segmentheader，另一个就是实际存放了1这个值的数据块。接着我们把bufferheader转储出来：SQLALTERSESSIONSETEVENTS'immediatetracenamebufferslevel1';到user_dump_dest所定义的目录下，找到跟踪文件并打开，可以看到类似下面的信息，这里我们列出前两个bufferheader以及我们建立的object_id为7087的buffer_test表所对应的bufferheader的内容：BH(0x637F0720)file#:1rdba:0x004011ed(1/4589)class1ba:0x63570000…………………………………hash:[64be8000,65a5eab4]lru:[637f06ac,637f0824]LRUflags:moved_to_tailckptq:[NULL]fileq:[NULL]…………………………………BH(0x64BE8000)file#:0rdba:0x00000000(0/0)class0ba:0x64800000…………………………………hash:[65a5eab4,637f0720]lru:[64be8104,65aa3f0c]…………………………………BH(0x63BEC0A0)file#:6rdba:0x0180b00a(6/45066)class1ba:0x638B0000set:3dbwrid:0obj:7087objn:7087hash:[65a9ccd4,65a9ccd4]lru:[63bec1a4,63bec02c]ckptq:[65abceb4,63bec66c]fileq:[65abcfbc,63becd10]st:XCURRENTmd:NULLrsop:0x00000000tch:1flags:buffer_dirtygotten_in_current_moderedo_since_readLRBA:[0xe9.229.0]HSCN:[0x0000.00122967]HSUB:[1]RRBA:[0x0.0.0]BH(0x63BECAE8)file#:6rdba:0x0180b009(6/45065)class4ba:0x638CC000set:3dbwrid:0obj:7087objn:7087hash:[65a9cbcc,65a9cbcc]lru:[63becbec,63beca74]ckptq:[637fc250,63becdc4]fileq:[65ab8ad0,63becdcc]st:XCURRENTmd:NULLrsop:0x00000000tch:2flags:buffer_dirtygotten_in_current_moderedo_since_readLRBA:[0xe9.21b.0]HSCN:[0x0000.00122965]HSUB:[1]RRBA:[0x0.0.0]…………………………………我们可以看到第一个BH(0x637F0720)的hash:[64be8000,65a5eab4]和第二个BH(0x64BE8000)的hash：[65a5eab4,637f0720]。这里记录的就是指向前一个bufferheader和后一个bufferheader的指针。这里，我们看到第一个BH所指向的后一个bufferheader的指针是65a5eab4，而第二个BH所指向的前一个bufferheader的指针也是65a5eab4，说明这两个bufferheader是在同一个hashchain上。同样的，我们还可以看到类似结构的lru、ckptq、fileq，这些都是管理bufferheader的一些链表结构。然后，我们来看我们创建的buffer_test表所对应的bufferheader。首先，我们看到class，表示该bufferheader所对应的数据块的类型，具体的值与含义的对应为：1=datablock；2=sortblock；3=saveundoblock；4=segmenthea