数据仓库之路FAQ

数据仓库之路FAQFAQ目录一、与数据仓库有关的几个概念..........................................................................................31.1目录..................................................................................................................................3二、数据仓库产生的原因......................................................................................................6三、数据仓库体系结构图......................................................................................................8四、数据仓库设计..................................................................................................................94.1数据仓库的建模..............................................................................................................94.2数据仓库建模的十条戒律：.........................................................................................10五、数据仓库开发过程........................................................................................................105.1数据模型的内容............................................................................................................105.2数据模型转变到数据仓库.............................................................................................115.3数据仓库开发成功的关键.............................................................................................11六、数据仓库的数据采集....................................................................................................126.1后台处理........................................................................................................................126.2中间处理........................................................................................................................136.3前台处理........................................................................................................................136.4数据仓库的技术体系结构.............................................................................................136.5数据的有效性检查.........................................................................................................156.6清除和转换数据............................................................................................................166.7简单变换........................................................................................................................176.8清洁和刷洗....................................................................................................................176.9集成................................................................................................................................186.10聚集和概括................................................................................................................196.11移动数据........................................................................................................................19七、如何建立数据仓库........................................................................................................217.1数据仓库设计................................................................................................................217.2数据抽取模块................................................................................................................227.3数据维护模块................................................................................................................22一、与数据仓库有关的几个概念1.1目录DatawarehouseDatamartOLAPROLAPMOLAPClientOLAPDSSETLAdhocqueryEISBPRBIDataminingCRMMetaDataDatawarehouse本世纪80年代中期，“数据仓库之父”WilliamH.Inmon先生在其《建立数据仓库》一书中定义了数据仓库的概念，随后又给出了更为精确的定义：数据仓库是在企业管理和决策中面向主题的、集成的、与时间相关的、不可修改的数据集合。与其他数据库应用不同的是，数据仓库更像一种过程，对分布在企业内部各处的业务数据的整合、加工和分析的过程。而不是一种可以购买的产品。Datamart即数据集市，或者叫做“小数据仓库”。如果说数据仓库是建立在企业级的数据模型之上的话。那么数据集市就是企业级数据仓库的一个子集，他主要面向部门级业务，并且只面向某个特定的主题。数据集市可以在一定程度上缓解访问数据仓库的瓶颈。OLAP联机分析处理(OLAP)的概念最早是由关系数据库之父E.F.Codd于1993年提出的。当时,Codd认为联机事务处理(OLTP)已不能满足终端用户对数据库查询分析的需要,SQL对大数据库进行的简单查询也不能满足用户分析的需求。用户的决策分析需要对关系数据库进行大量计算才能得到结果,而查询的结果并不能满足决策者提出的需求。因此Codd提出了多维数据库和多维分析的概念,即OLAP。Codd提出OLAP的12条准则来描述OLAP系统：准则1OLAP模型必须提供多维概念视图准则2透明性准则准则3存取能力推测准则4稳定的报表能力准则5客户/服务器体系结构准则6维的等同性准则准则7动态的稀疏矩阵处理准则准则8多用户支持能力准则准则9非受限的跨维操作准则10直观的数据操纵准则11灵活的报表生成准则12不受限的维与聚集层次ROLAP基于Codd的12条准则，各个软件开发厂家见仁见智，其中一个流派，认为可以沿用关系型数据库来存储多维数据，于是，基于稀疏矩阵表示方法的星型结构（starschema）就出现了。后来又演化出雪花结构。为了与多维数据库相区别，则把基于关系型数据库的OLAP称为RelationalOLAP，简称ROLAP。代表产品有InformixMetacube、MicrosoftSQLServerOLAPServices.MOLAP严格遵照Codd的定义，自行建立了多维数据库，来存放联机分析系统数据的ArborSoftware,开创了多维数据存储的先河，后来的很多家公司纷纷采用多维数据存储。被人们称为MuiltDimensionOLAP,简称MOLAP，代表产品有Hyperion(原Arborsoftware)Essbase、ShowcaseSTRATEGY等。ClientOLAP相对于ServerOLAP而言。部分分析工具厂家建议把部分数据下载到本地，为用户提供本地的多维分析。代表产品有BrioDesigner,BusinessObject.DSS决策支持系统（DecisionSupportsystem），相当于基于数据仓库的应用。决策支持就是在收集所有有关数据和信息，经过加工整理，来为企业决策管理层提供信息，为决策者的决策提供依据。ETL数据抽取（Extract）、转换（Transform）、清洗（Cleansing）、装载（Load）的过程。构建数据仓库的重要一环，用户从数据源抽取出所需的数据，经过数据清洗,最终按照预先定义好的数据仓库模型，将数据加载到数据仓库中去。Adhocquery即席查询，数据库应用最普遍的一种查询，利用数据仓库技术，可以让用户随时可以面对数据库，获取所希望的数据。EIS领导信息系统（ExecutiveInformationSystem）,指为了满足无法专注于计算机技术的领导人员的信息查询需求，而特意制定的以简单的图形界面访问数据仓库的一种应用。BPR业务流程重整（BusinessProcessReengineering）,指利用数据仓库技术，发现并纠正企业业务流程中的弊端的一项工作。数据仓库的重要作用之一。BI商业智能（Bus