基于数据仓库和OLAP的决策技术研究

基于数据仓库和OLAP的决策技术研究作者：常大俊学位授予单位：长春理工大学相似文献(6条)1.学位论文李英吉农电企业应用信息整合框架的设计与实现2008“SG186”工程农电管理业务应用是国家电网公司信息化建设的一个重要组成部分。分为公司总部到网省公司的农电系统应用和县供电企业的农电企业应用两个层次。对于农电企业应用，鉴于县供电企业体制多样性、管理差异性和业务需求复杂性的考虑，采用一体化业务支撑技术和信息整合功能框架体系，实现农电企业应用的横向集成、纵向贯通。农电企业应用的三大核心业务应用的典型应用(包括：安全生产管理业务应用、用电营销管理业务应用、供电所标准化管理业务应用)，通过业务组件化技术把三个核心业务应用成功整合到农电企业应用一体化业务支撑平台上，实现了农电企业应用的横向系统集成和纵向的数据贯通。农电企业应用信息整合功能框架体系是一体化业务支撑平台的技术核心，是农电企业信息化建设第一阶段的目标。通过信息整合技术和三个核心业务应用的有机结合，实现了“SG186”工程农电企业应用的横向集成、纵向贯通，消除了信息孤岛，为构建一个实用、高效、稳定、灵活的县供电企业应用集成体，实现农电的“规范化、标准化、精益化”管理提供了坚实的技术保障。本文基于数据仓库理论、企业门户技术，运用多种开发工具，建立了农电企业应用信息整合功能框架。本文首先介绍了“SG186”农电项目的背景和本文的研究内容。然后分别阐述了数据仓库、ETL、OLAP和Porlet的相关理论技术。并分析了农电信息化建设需求，介绍了信息整合框架的由来和必要性。描述了信息整合框架设计和实现的过程。在文章最后，对农电企业应用一体化业务支撑平台的进一步完善做提出展望。2.会议论文刘建国关联规则采掘的研究2001本文介绍了关联规则挖掘的研究情况.阐述了关联规则的基本概念和描述参数,对一些典型算法进行了分析,展望了关联规则挖掘的未来研究方向.3.学位论文孙海涛报业发行联机分析处理系统中的数据整理2001随着数据库技术的成熟和广泛使用,商业数据的不断积累,希望获得数据深层次信息的需求越来越强烈.联机分析处理OLAP(On-LineAnalyticalProcessing)技术就是用于解决海量数据高效分析的先进技术.原始业务数据的整理和更新是OLAP应用过程中的一个重要环节,根据数据仓库中数据结构的不同,联机分析处理系统存储数据的模型有两种:基于关系数据库理论的ROLAP模型和基于多维数据库理论的MOLAP模型.在数据整理和更新这一步骤,基于ROLAP模型的系统使用的是物化视图维护的方法.针对MOLAP模型的数据更新问题目前没有很好的解决方案.根据MOLAP模型的特点,我们在数据整理和数据更新工作中提出使用数据缓冲层,它包括数据镜像子层和Star-Schema子层.通过使用数据缓冲层,将数据整理的过程进行合理的分解,降低数据整理的实现难度,减轻数据整理工作对OLTP系统以及OLAP系统的负担,将物化视图维护理论拓展到多维物化视图维护;针对需要进行整理的数据特点和对系统效率的考虑提出增量式相反数抵消IOC算法;分析并优化数据的更新策略问题.该文介绍的理论和方法应用在方正报业发行联机分析处理系统中,结合报社业务数据自身的特点,实现了一套用户认可的商用OLAP系统.4.学位论文范书国数据仓库维护技术的研究2004数据仓库技术完全是在需求的驱动下产生与发展起来的,比如在应用中需要进行海量信息检索查询和资源共享,实现信息或知识检索查询的快、准、全.为了保证数据的完整性、一致性和所分析数据的准确性,要有准确可行、快速高效的数据集成、加载和维护数据的方法.24(时)×7(天)的联机应用模式已经成为现实的工作方式,维护时间的长短与维护的完备性之间的矛盾必须认真考虑.所以在动态、高效地刷新维护数据仓库视图时,必须考虑中间结果集大小、表连接操作、后台维护运算所占用CPU资源的时间等因素.传统的数据库理论和技术难以建立通用、灵活、高效率的数据仓库系统,数据仓库维护技术已经明显跟不上实际应用的需求.数据仓库维护技术中数据刷新的方法、数据周期确定和数据的平衡性研究具有重要学术价值和广泛应用前景.解决这些问题的关键在于理论知识和技术的创新.该文研究并实现了多层(数据源_基库_数据仓库)数据仓库维护系统原型(TDWMS).原型系统包括数据过滤、转换、加载、增量数据维护和数据维护周期的确定,以及多版本在线维护等数据仓库维护技术.在文中概述了数据仓库维护体系结构、维护管理的主要内容、ETL技术中变化数据捕获(CDC)的方法、数据同步的方法设计和数据仓库中维表、事实表的加载、维护算法;详细介绍了该文提出的基于多delta文件的选择增量维护算法_MBMD多版本增量维护算法及其理论证明.通过大量的实验成果说明维护加载的方法、接口、数据分割的必要性、I/O冲突解决方法、数据准备区的加载测试、索引、约束的维护方法.论述了基库端集成器和抽取器的实现算法;增量文件的保存与传输算法、加载进程与维护进程、读进程和垃圾收集进程的多版本协调算法;根据子表(汇总表)的误差要求自动维护和加载策略的研究及实现方法;选择一致性数据的加载和周期性刷新的方法和时机.该文提出的增量维护算法实现了数据加载、增量维护的较小结果集、较小小的表连接次数,采用多层体系结构,用基库将操作型OLTP环境和DSS或OLAP环境桥接起来,在基库端和仓库端采用多版本控制思想,控制抽取动态结果集大小以及在数据仓库端对非聚集表、单(多)表聚集表用较小的增量获取集批量加载维护,并不影响数据仓库端的查询操作明显地减少了对OLAP和OLTP环境的影响.该算法和体系结构宜于实现,具有较强的工程参考价值.5.期刊论文张元英编程实现数据库的查询优化-宜春学院学报2003,25(2)数据库系统是管理信息系统的核心,基于数据库的联机事务处理(OLTP)以及联机分析处理(OLAP)是银行、企业、政府等部门最为重要的计算机应用之一.从大多数系统的应用实例来看,查询操作在各种数据库操作中所占据的比重最大,其效率的高低直接影响到数据库系统的性能的好坏.本文以应用实例为基础,结合数据库理论,介绍查询优化技术在现实系统中的运用.6.学位论文李宝艳粗糙关系数据库的属性值分解及其应用研究2009关系数据模型是由E.F.Codd于1970年开始发表系列论文提出的，关系数据库理论的研究逐渐趋于成熟。但关系数据模型处理的主要是具有良好定义的、清晰明确的数据，而现实世界中的数据通常是含糊的、不完全的、不确定的。有关不确定性信息的处理等问题逐渐显现出来。粗糙集理论是波兰数学家Z.Pawlak于1982年提出的一种分析不完整、不精确、不确定数据的数据分析理论。由于粗糙集理论是利用数据集上的等价关系对知识的不确定性进行度量，而无需提供所处理集合之外的任何先验信息，这样就避免了对知识的主观评价所带来的误差。所以将粗糙集和关系数据库模型相结合，建立一种扩充的数据库模型，即粗糙关系数据库模型是必要的。它能有效的处理含糊和不确定数据，将更好的发挥关系数据库和粗糙集的优势，在数据库领域有着更广阔的应用前景。在粗糙关系数据库的实际应用中，往往会出现一些对象属性取多值的情况。例如，数据收集的时候并不知道该属性的具体值，而只知道该属性可能是取几个值之中的某一个或者几个；再如，在文本分类中，一个文档往往可以是多个类别。在处理多值属性的关系时，如进行查询，进行OLAP分析等，存在诸多不便。为了能将粗糙关系数据库中的部分实际操作转化，本文提出了属性值分解理论。本文对粗糙集理论的基本概念、粗糙关系数据库的相关内容、属性值分解算法及其在OLAP中的应用进行了初步系统的研究，在此基础上做了以下几个方面的工作：(1)本文提出了粗糙关系数据库中单值属性、单值属性分解、单值属性关系、分解定理等相关概念。(2)把Rough关系中对象的多值属性的各取值排序，运用粗糙关系熵理论择优选择属性的取值，并对粗糙关系进行分解得到标准数据库中的关系。(3)在充分认识Rough关系特点的基础上提出了一种Rotlgh关系单值属性分解的算法，并详细介绍了对粗糙关系属性值进行分解的原理与算法，分析了它的算法复杂度，用实例验证了算法的有效性和可行性。(4)在讨论Rough关系单值属性分解的基础上，给出了多值分解的思路。(5)把运用分解算法所得的关系应用到OLAP分析中，相对于直接在Rough关系上的分析，增强了定位信息的准确性，提高了数据分析处理的效率。最后，对本论文所研究的内容进行了总结，并对本文将来的研究方向提出了展望。本文的主要创新点：本文探讨了粗糙关系的一种处理方法。(1)证明了对粗糙关系进行分解的可行性，提出了粗糙关系数据库系统中单值属性、单值属性分解、分解定理等概念；(2)把信息度量理论中的熵用到粗糙关系属性值重要程度的判断上，较粗糙度的属性值度量的准确度有较大提高，用实例代码验证了分解算法的可行性。本文链接：：上海海事大学(wflshyxy)，授权号：9e3c81c0-9ee2-43c4-b760-9df300a67852下载时间：2010年9月16日