基于元数据的数据仓库性能优化

福州大学2004届本科毕业论文第1页共27页2004届毕业生毕业论文题目：基于元数据的数据仓库性能优化院系：__数学与计算机学院_____专业：__计算机科学与技术年级：_____2000（2）____________学号：______1000228_____________姓名：______陈磊________________指导教师：__________________________2004年6月10日福州大学2004届本科毕业论文第2页共27页摘要随着数据仓库规模的扩大，数据仓库的性能问题就显得越来越突出，如何提高数据仓库的性能，除了在设计阶段对其逻辑结构和物理结构进行优化设计外；还可以在数据仓库运行阶段，采取一些优化措施来使系统性能最佳。本系统主要功能是利用oracle9i所提供的技术：分区、实体化视图和查询重写来实现数据仓库的性能优化：用户自己建表、视图并进行查询比较；比较是否采用优化技术和直接查询的时间，体现优化程度。关键词：数据仓库、分区、实体化视图、查询重写AbstractWiththeenlargementofthescaleofdatawarehouse,theperformancequestionofthedatawarehouseseemsmoreandmoreoutstanding,howtoimproveperformanceofwarehouse,exceptthatcarryonoptimizationdesigntoitslogicstructureandphysicsstructureduringthecourseofdesigning;Canalsotakesomeoptimizationmeasurestomakesystematicfunctionbestatthewarehouseoperationstageofthedata.Mainfunctionofthissystemistoexploittechnologyofferedbyoracle9iinstitute:partition,materializedviewandqueryrewritetorealizeoptimizationofdatawarehouse：Usersbuildtables,viewsandcomparetherequestresults;Comparethetimeofadoptingthetechnologyofoptimizingandthetimeofinquiringdirectly,reflectthedegreeofoptimizing.Keyword:Datawarehouse,partition,materializedview,queryrewrite福州大学2004届本科毕业论文第3页共27页目录第一章引言...............................................................................4§1.1课题背景.....................................................................................................4§1.2研究课题的任务、目的、意义.................................................................41.2.1课题的任务............................................................................................................41.2.2课题的目的............................................................................................................51.2.3课题的意义............................................................................................................5§1.3系统的主要功能与特色.............................................................................51.3.1系统的主要功能大概如下....................................................................................51.3.2系统的特色............................................................................................................5第二章系统的需求分析...........................................................6§2.1本课题研究现状分析.................................................................................62.1.1数据仓库性能优化的发展现状............................................................................62.1.2数据仓库性能优化关键技术................................................................................6§2.2要解决的技术难点......................................................................................9§2.3本系统设计的主要内容、目标.................................................................9§2.4系统开发的环境和工具...........................................................................10第三章系统的详细设计.........................................................10§3.1系统的体系结构和功能设计...................................................................103.1.1系统的体系结构..................................................................................................103.1.2系统所有的模块功能设计模块图.....................................................................11§3.2系统各个模块的设计思路.......................................................................123.2.1连接数据库并列表模块.....................................................................................123.2.2用户建分区表模块..............................................................................................133.2.3用户建实体化视图模块......................................................................................15第四章系统实现和测试.........................................................19§4.1系统主界面................................................................................................19§4.2用户登录数据库的界面.............................................................................20§4.3建分区........................................................................................................21§4.4建实体化视图............................................................................................22§4.5查询后得到的结果集................................................................................24§4.6比较时间的柱状图....................................................................................25第五章结束语.........................................................................26致谢........................................................................................26参考文献.............................................................................27福州大学2004届本科毕业论文第4页共27页第一章引言§1.1课题背景随着计算机技术的飞速发展和企业界不断提出新的需要，数据仓库技术应运而生。当前的数据处理可以大致地划分为两大类：操作型处理和分析型处理。操作型处理也叫事务处理，是指对数据库联机地日常操作，人们关心地是响应时间、数据的安全性和完整性。分析型处理又叫信息型处理，用于管理人员的决策分析。两者之间的巨大差异使得操作型处理和分析型处理的分离成为必然。数据库系统作为数据管理手段，主要用于事务处理。而数据仓库有助于把数据转变成信息，为用户提供决策支持。但是必须注意的是：即使可以建立一个数据仓库来帮助制定决策，仍然有可能在具有完美数据的情况下作出坏的决策。随着数据仓库规模的扩大，数据仓库的性能问题就显得越来越突出，如何提高数据仓库的性能进行优化，除了在设计阶段对其逻辑结构和物理结构进行优化设计，使之在满足需求条件的情况下，系统性能达到最佳，系统开销达到最小外；还可以在数据仓库运行阶段，采取一些优化措施来使系统性能最佳。在Oracle9i中，使用关系数据库存储数据仓库中的数据，数据仓库中包含大量的数据，对数据的提取和更新操作需要花费大量的时间和资源，为了能够管理好这些大表，同时提高访问大表的查询速度和执行效