Oracle20060626

1Oracle－快速删除重复的记录做项目的时候，一位同事导数据的时候，不小心把一个表中的数据全都搞重了，也就是说，这个表里所有的记录都有一条重复的。这个表的数据是千万级的，而且是生产系统。也就是说，不能把所有的记录都删除，而且必须快速的把重复记录删掉。对此，总结了一下删除重复记录的方法，以及每种方法的优缺点。为了陈诉方便，假设表名为Tbl，表中有三列col1，col2，col3，其中col1，col2是主键，并且，col1，col2上加了索引。1、通过创建临时表可以把数据先导入到一个临时表中，然后删除原表的数据，再把数据导回原表，SQL语句如下：createtabletbl_tmp(selectdistinct*fromtbl);truncatetabletbl;//清空表记录insertintotblselect*fromtbl_tmp;//将临时表中的数据插回来。这种方法可以实现需求，但是很明显，对于一个千万级记录的表，这种方法很慢，在生产系统中，这会给系统带来很大的开销，不可行。2、利用rowid在Oracle中，每一条记录都有一个rowid，rowid在整个数据库中是唯一的，rowid确定了每条记录是Oracle中的哪一个数据文件、块、行上。在重复的记录中，可能所有列的内容都相同，但rowid不会相同。SQL语句如下：deletefromtblwhererowidin(selecta.rowidfromtbla,tblbwherea.rowidb.rowidanda.col1=b.col1anda.col2=b.col2)如果已经知道每条记录只有一条重复的，这个sql语句适用。但是如果每条记录的重复记录有N条，这个N是未知的，就要考虑适用下面这种方法了。3、利用max或min函数这里也要使用rowid，与上面不同的是结合max或min函数来实现。SQL语句如下deletefromtblawhererowidnotin(selectmax(b.rowid)fromtblbwherea.col1=b.col1anda.col2=b.col2);//这里max使用min也可以或者用下面的语句2deletefromtblawhererowid(selectmax(b.rowid)fromtblbwherea.col1=b.col1anda.col2=b.col2);//这里如果把max换成min的话，前面的where子句中需要把改为跟上面的方法思路基本是一样的，不过使用了groupby，减少了显性的比较条件，提高效率。SQL语句如下：deletefromtblwhererowidnotin(selectmax(rowid)fromtbltgroupbyt.col1,t.col2);deletefromtblwhere(col1,col2)in(selectcol1,col2fromtblgroupbycol1,col2havingcount(*)1)androwidnotin(selectmin(rowid)fromtblgroupbycol1,col2havingcount(*)1)还有一种方法，对于表中有重复记录的记录比较少的，并且有索引的情况，比较适用。假定col1，col2上有索引，并且tbl表中有重复记录的记录比较少，SQL语句如下4、利用groupby，提高效率Oracle物理结构故障的处理方法：Oracle物理结构故障是指构成数据库的各个物理文件损坏而导致的各种数据库故障。这些故障可能是由于硬件故障造成的，也可能是人为误操作而引起。所以我们首先要判断问题的起因，如果是硬件故障则首先要解决硬件问题。在无硬件问题的前提下我们才能按照下面的处理方发来进一步处理。控制文件损坏：控制文件记录了关于Oracle的重要配置信息，如数据库名、字符集名字、各个数据文件、日志文件的位置等等信息。控制文件的损坏，会导致数据库异常关闭。一旦缺少控制文件，数据库也无法启动，这是一种比较严重的错误。可以通过查询数据库的日志文件来定位损坏了的控制文件。日志文件位于$ORACLE_BASE/admin/bdump/alert_ORCL.ora.损坏单个控制文件：1.确保数据库已经关闭，如果没有用下面的命令来关闭数据库：svrmgrlshutdownimmediate;2.查看初始化文件$ORACLE_BASE/admin/pfile/initORCL.ora,确定所有控制文件的路径。3.用操作系统命令将其它正确的控制文件覆盖错误的控制文件。4.用下面的命令重新启动数据库svrmgrlstartup;5.用适当的方法进行数据库全备份。3损坏所有的控制文件：1.确保数据库已经关闭，如果没有用下面的命令来关闭数据库：svrmgrlshutdownimmediate;2.从相应的备份结果集中恢复最近的控制文件。对于没有采用带库备份的点可以直接从磁带上将最近的控制文件备份恢复到相应目录；对于采用带库备份的点用相应的rman脚本来恢复最近的控制文件。3.用下面的命令来创建产生数据库控制文件的脚本：svrmgrlstartupmount;svrmgrlalterdatabasebackupcontrolfiletotracenoresetlogs;4.修改第三步产生的trace文件，将其中关于创建控制文件的一部分语句拷贝出来并做些修改，使得它能够体现最新的数据库结构。假设产生的sql文件名字为createcontrol.sql.注意：Trace文件的具体路径可以在执行完第3）步操作后查看$ORACLE_BASE/admin/bdump/alert_ORCL.ora文件来确定。5.用下面命令重新创建控制文件：svrmgrlshutdownabort;svrmgrlstartupnomount;[e-mail];6.用适当的方法进行数据库全备份。重做日志文件损坏：数据库的所有增、删、改都会记录入重做日志。如果当前激活的重做日志文件损坏，会导致数据库异常关闭。非激活的重做日志最终也会因为日志切换变为激活的重做日志，所以损坏的非激活的重做日志最终也会导致数据库的异常终止。在ipas/mSwitch中每组重做日志只有一个成员，所以在下面的分析中只考虑重做日志组损坏的情况，而不考虑单个重做日志成员损坏的情况。确定损坏的重做日志的位置及其状态：1.如果数据库处于可用状态：select*fromv$logfile;svrmgrlselect*fromv$log;2.如果数据库处于已经异常终止：svrmlgrstartupmount;svrmgrlselect*fromv$logfile;svrmgrlselect*fromv$log;其中，logfile的状态为INVALID表示这组日志文件出现已经损坏；log状态为Inactive：表示重做日志文件处于非激活状态；Active：表示重做日志文件处于激活状态；Current：表示是重做日志为当前正在使用的日志文件。损坏的日志文件处于非激活状态：1.删除相应的日志组：svrmgrlalterdatabasedroplogfilegroupgroup_number;2.重新创建相应的日志组：svrmgrlalterdatabaseaddlogfilegroupgroup_number（’log_file_descritpion’，…）4sizelog_file_size;损坏的日志文件处于激活状态且为非当前日志：1.清除相应的日志组：svrmgrlalterdatabaseclearunarchivedlogfilegroupgroup_number;损坏的日志文件为当前活动日志文件：用命令清除相应的日志组：svrmgrlalterdatabaseclearunarchivedlogfilegroupgroup_number;如果清除失败，则只能做基于时间点的不完全恢复。打开数据库并且用适当的方法进行数据库全备份：svrmgrlalterdatabaseopen;部分数据文件损坏：若损坏的数据文件属于非system表空间，则数据库仍然可以处于打开状态可以进行操作，只是损坏的数据文件不能访问。这时在数据库打开状态下可以单独对损坏的数据文件进行恢复。若是system表空间的数据文件损坏则数据库系统会异常终止。这时数据库只能以Mount方式打开，然后再对数据文件进行恢复。可以通过查看数据库日志文件来判断当前损坏的数据文件到底是否属于system表空间。非system表空间的数据文件损坏1.确定损坏的文件名字：svrmgrlselectnamefromv$datafilewherestatus=’INVALID’;2.将损坏的数据文件处于offline状态：svrmgrlalterdatabasedatafile‘datafile_name’offline;3.从相应的备份结果集中恢复关于这个数据文件的最近的备份。对于没有采用带库备份的点可以直接从磁带上恢复；对于用带库备份的点用相应的rman脚本来恢复。4.恢复数据文件：svrmgrlalterdatabaserecoverdatafile‘file_name’;5.使数据库文件online：svrmgrlalterdatabasedatafile‘datafile_name’online;6.用适当的方法进行数据库全备份。system表空间的数据文件损坏：1.以mount方式启动数据库svrmgrlstartupmount;2.从相应的备份结果集中恢复关于这个数据文件的最近的备份。对于没有采用带库备份的点可以直接从磁带上恢复；对于用带库备份的点用相应的rman脚本来恢复。3.恢复system表空间：svrmgrlalterdatabaserecoverdatafile‘datafile_name’;4.打开数据库：svrmgrlalterdatabaseopen;5.用适当的方法进行数据库全备份。5表空间损坏：若非system表空间已经损坏，则数据库仍然可以处于打开状态可以进行操作，只是损坏的表空间不能访问。这样在数据库打开状态下可以单独对损坏的表空间进行恢复。若是system表空间损坏则数据库系统会异常终止。这时数据库只能以Mount方式打开，然后再对表空间进行恢复。可以通过查看数据库日志文件来判断当前损坏的表空间是否是system表空间.非system表空间损坏：1.将损坏的表空间处于offline状态：svrmgrlaltertablespace‘tablespace_name’offline;2.从相应的备份结果集中恢复关于这个表空间最近的备份。对于没有采用带库备份的点可以直接从磁带上恢复；对于用带库备份的点用相应的rman脚本来恢复。3.恢复表空间：svrmgrlalterdatabaserecovertablespace‘tablespace_name’;4.使表空间online：svrmgrlaltertablespace‘tablespace_name’online;5.用适当的方法进行数据库全备份.system表空间损坏：1.以mount方式启动数据库svrmgrlstartupmount;2.从相应的备份结果集中恢复system表空间最近的备份。对于没有采用带库备份的点可以直接从磁带上恢复；对于用带库备份的点用相应的rman脚本来恢复。3.恢复system表空间：svrmgrlalterdatabaserecovertablespacesystem;4.打开数据库：svrmgrlalterdatabaseopen;5.用适当的方法进行数据库全备份。整个数据库的所有文件损坏：整个数据库所有文件的损坏一般是在共享磁盘阵列发生无法恢复的灾难时才发生，这种情况下只能对数据库进行恢复。若数据库的归档目录也已经丢失，则数据库不可能做完全恢复，会有用户数据