搜索
项目名称OLAP（在线分析处理）技术摘要随着计算机技术的广泛应用，企业每天都要产生大量的数据，如何从这些数据中提取对企业决策分析有用的信息，是企业决策管理人员所面临的一个难题。传统的数据库系统即联机事务处理系统（OnlineTransactionProcessing，简称OLTP），作为数据管理手段，主要用于事务处理，但它对分析处理的支持一直不能令人满意。因此，人们逐渐尝试对OLTP数据库中的数据进行再加工，形成一个综合的、面向分析的环境，以更好地支持决策分析。本文主要论述了OLAP（在线分析处理）的基本概念，分析阐述了OLAP的发展背景、基本概念、特征、主要的分析动作，及基于数据仓库的OLAP的三种存储机制。重点研究了OLAP基本分类情况、实现的标准和体系结构技术。关键词：OLAP；数据处理；事务处理系统正文1发展背景60年代，关系数据库之父E.F.Cdd提出了关系模型，促进了联机事务处理(OLTP)的发展(数据以表格的形式而非文件方式存储)。1993年，E.F.Cdd提出了OLAP（联机分析处理）概念，认为OLTP已不能满足终端用户对数据库查询分析的需要，SQL对大型数据库进行的简单查询也不能满足终端用户分析的要求。用户的决策分析需要对关系数据库进行大量计算才能得到结果，而查询的结果并不能满足决策者提出的需求。因此，E.F.Cdd提出了多维数据库和多维分析的概念，即OLAP技术概念。[1]OLTP与OLAP的不同点：OLTP数据OLAP数据原始数据导出数据细节性数据综合性和提炼性数据当前值数据历史数据可更新不可更新，但周期性刷新一次处理的数据量小一次处理的数据量大面向应用，事务驱动面向分析，分析驱动面向操作人员，支持日常操作面向决策人员，支持管理需要2关于OLAP2.1定义OLAP(联机分析处理)：是使分析人员、管理人员或执行人员能够从多种角度对从原始数据中转化出来的、能够真正为用户所理解的、并真实反映企业维特性的信息进行快速、一致、交互地存取，从而获得对数据的更深入了解的一类软件技术——OLAP委员会的定义。[1]OLAP的目标：是满足决策支持或多维环境特定的查询和报表需求，它的技术核心是“维”这个概念，因此OLAP也可以说是多维数据分析工具的集合。2.2OLAP相关基本概念：1、维：是人们观察数据的特定角度，是考虑问题时的一类属性，属性集合构成一个维(时间维、地理维等)。2、维的层次：人们观察数据的某个特定角度(即某个维)还可以存在细节程度不同的各个描述方面(时间维：日期、月份、季度、年)。3、维的成员：维的一个取值。是数据项在某维中位置的描述。(“某年某月某日”是在时间维上位置的描述)4、多维数组：维和变量的组合表示。一个多维数组可以表示为：(维1，维2，…，维n，变量)。(时间，地区，产品，销售额)5、数据单元(单元格)：多维数组的取值。(2000年1月，上海，笔记本电脑，$100000)[2]2.3OLAP的特性1、快速性：用户对OLAP的快速反应能力有很高的要求，主要是指计算机的计算的反应速度，系统应能在5秒内对用户的大部分分析要求做出反应，但对业务数据的实时信息却很难反应。2、可分析性：OLAP系统应能处理与应用有关的任何逻辑分析和统计分析。3、多维性：多维性是OLAP的关键属性。系统必须提供对数据的多维视图和分析,包括对层次维和多重层次维的完全支持。。4、信息性：不论数据量有多大，也不管数据存储在何处，OLAP系统应能及时获得信息，并且管理大容量信息。2.4OLAP多维数据结构1、超立方结构(Hypercube)：超立方结构指用三维或更多的维数来描述一个对象,每个维彼此垂直。数据的测量值发生在维的交叉点上,数据空间的各个部分都有相同的维属性。(收缩超立方结构。这种结构的数据密度更大,数据的维数更少,并可加入额外的分析维)。2、多立方结构(Multicube)：即将超立方结构变为子立方结构。面向某一特定应用对维进行分割,它具有很强的灵活性,提高了数据(特别是稀疏数据)的分析效率。[3]3OLAP多维数据分析1、切片和切块(SliceandDice)：在多维数据结构中,按二维进行切片,按三维进行切块,可得到所需要的数据。如在“城市、产品、时间”三维立方体中进行切块和切片,可得到各城市、各产品的销售情况。[4]OLAP分析示意图：2、钻取(Drill)：钻取包含向下钻取(Drill-down)和向上钻取(Drill-up)/上卷(Roll-up)操作，钻取的深度与维所划分的层次相对应。[4]3、旋转(Rotate)/转轴(Pivot)：通过旋转可以得到不同视角的数据。4OLAP分类4.1OLAP分类4.2OLTP、ROLAP与MOLAP模式4.3ROLAP的星型模式(StarSchema)事实表：用来存储事实的度量值和各个维的码值。维表：用来存放维的元数据（维的层次、成员类别等描述信息）。4.4MOLAP的多维立方体(Multicube)4.5数据组织形式4.6ROLAP与MOLAP的性能对比ROLAPMOLAP优势没有大小限制现有的关系数据库的技术可以沿用可以通过SQL实现详细数据与概要数据的存储现有关系型数据库已经对OLAP做了很多优化，包括并行存储、并行查询、并行数据管理、基于成本的查询优化、位图索引、SQL的OLAP扩展(cube,rollup)等大大提高ROALP的速度[5]性能好、响应速度快专为OLAP所设计支持高性能的决策支持计算复杂的跨维计算多用户的读写操作n行级的计算缺点一般比MDD响应速度慢不支持有关预计算的读写操作SQL无法完成部分计算无法完成多行的计算增加系统复杂度，增加系统培训与维护费用受操作系统平台中文件大小的限制，难以达到TB无法完成维之间的计算级(只能10~20G)需要进行预计算，可能导致数据爆炸无法支持维的动态变化缺乏数据模型和数据访问的标准[6]5OLAP体系结构6OLAP评价准则1.OLAP模型必须提供多维概念模型2.透明性准则3.存取能力准则4.稳定的报表性能5.客户/服务器体系结构6.维的等同性准则7.动态稀疏矩阵处理准则8.多用户支持能力准则9.非受限的跨维操作10.直观的数据处理11.灵活的报表生成12.非受限的维与维的层次[4]参考文献[1]OLAP:北大高科网站，[2]刘春霞，基于数据仓库联机分析处理技术的研究.软件导刊,2010,02:9-2[3]王付山，潘东静.联机分析处理技术的应用研究.德州学院学报,2006,10:22-5.[4]OLAP:=DFHj7g2_w05ELyN66tOsn_Oge1LyonR2NAwHMKj9euSFyGMYc-1gN32lugSgFpy_xgRoSVN1FIqZKfDgyKvT2ZWhV_OzMJmN2S5L10cqeEXr-hEIqrtxKbxMj820fzvTZQB2z2a5GVLJa3vHSzo-F_[5]赵宇海,李秋菊;关系数据库中OLAP系统的分析与设计[J];鞍山师范学院学报;2005年04期[6]张旭,董有田;OLAP多维数据分析与应用研究[J];黑龙江科技学院学报;2002年03期