搜索
第12章数据仓库与分析服务2数据仓库•什么是数据仓库？•数据仓库的结构•数据仓库系统•建立数据仓库•实现数据仓库的数据库环境•数据仓库与决策支持•SQLServer的数据仓库解决方案•将SQLServer的OLTP数据转换到OLAP数据仓库•软件开发商的数据仓库解决方案3什么是数据仓库？•数据仓库是支持管理决策过程的、面向主题的、集成的、随时间而增长的持久的数据集合。4OLTP与OLAP•数据库上的业务处理称作OLTP（On-LineTransactionProcessing），即联机事务处理；•而数据仓库上的业务处理称作OLAP（On-LineAnalyticalProcessing），即联机分析处理。5数据仓库的特点：1.面向主题：可以根据最终用户的观点组织和提供数据。2.管理大量信息：数据仓库含有大量历史数据。3.信息存储在多个存储介质上：因为必须管理大量的信息，所以数据仓库的数据往往存储在多个介质上。4.信息的概括和聚集：可以将信息概括和聚集，并以人们易于理解的方式提供出来。5.从许多数据来源中将信息集成并使之关联：由于数据仓库要管理大量的、且包含历史信息的数据，而这些数据可能和多个应用及多个数据库有关，所以需要数据仓库收集和组织这些应用程序多年来在各场合获得的数据。6.跨越数据库模式的多个版本：因为数据仓库必须管理和存储历史数据，而这些历史数据在不同时代数据库模式的不同版本之中，所以数据仓库有时还需要处理来自不同数据库的信息。6数据仓库的结构7数据仓库系统8建立数据仓库•分析决策需求，确定数据来源。这是一个分析过程，需要从可操作的源数据库中筛选所需数据，对其进行归纳整理，存入数据仓库的不同信息层。•定义数据的综合、转化过程。使系统自动将数据从不同的信息源中提取出来，转移到数据仓库中，并给予维护。•建立数据仓库。综合并行技术、关系数据库系统和中间件，在现有的异构环境基础上建立数据仓库。•建立能使用户从数据仓库中获取所需信息（数据、知识）的工具。能进行有效的数据访问和应用开发，为用户迅速建立起适用于决策支持的数据仓库界面和应用软件。9实现数据仓库的数据库环境•高性能数据库服务器•并行数据库技术•数据库互操作技术10数据仓库与决策支持•基于数据仓库的决策支持技术是通过数据仓库来转化、综合和管理业务数据库中的大量数据的，因此数据仓库的快速查询可以高效地获得数据。数据挖掘不是一种单一的技术或软件，它综合了数据可视化、机器学习、统计学和数据库技术，通过某种方法在大量数据中发现有用知识，使数据、知识和决策过程成为一个有机的整体，因此，决策支持过程的准确性和实时性都能大大提高。数据仓库和数据挖掘技术已经迅速发展起来，并逐渐成为决策支持的新手段。11SQLServer的数据仓库解决方案•SQLServer提供了一些组件可以将OLTP数据转换为OLAP数据，并使OLAP信息可由决策者使用，从而构成SQLServer的数据仓库解决方案。XML和OLEDBSQLServer关系数据库管理系统数据转换服务AnalysisServices和数据挖掘EnglishQueryMetaDataServices12XML和OLEDB•XML（扩展标记语言）是一种用以定义独立于特定的数据存储或应用程序的数据表示语言。在应用程序间或通过Web传输数据方面，XML正在成为一种标准。SQLServer能够将查询的结果集以XML文档的形式返回，也可以从XML文档中析取数据并将这些数据存储在数据库内的相关表中。•OLEDB是Microsoft定义的公用数据访问规范。许多数据存储产品（如电子表格、数据库或其它服务器应用程序）都提供OLEDB驱动程序，可供OLEDB应用程序在访问数据时使用。OLEDB可以将数据表示为XML文档。•XML和OLEDB是在各种不同的SQLServer数据仓库组件之间交流数据的重要机制。13SQLServer关系数据库管理系统•SQLServer关系数据库管理系统主要用在OLTP系统中，也用于存储和管理数据仓库或数据集市中的数据。14数据转换服务•DTS（DataTransitionService）是一个组件，用于从OLEDB数据源获取数据、执行聚合数据（SUM、MIN、MAX、AVG等）操作，并将数据存储在目的OLEDB数据源中。•DTS将存储在关系表中的OLTP数据转换为不同的结构，以便可以用作多维数据集。OLTP数据库中的数据存储在关系表中，但OLAP数据仓库中的数据却存储在事实数据表和维度表中。事实数据表存储多维数据集中表现的度量值，维度表则存储有关维度成员的信息。15AnalysisServices和数据挖掘•AnalysisServices是一套易于使用、综合的可伸缩组件，使用它可以生成多维数据集并向应用程序提供对多维数据集的访问。AnalysisServices为多维数据集提供的存储机制类型非常灵活。•AnalysisServices通过OLEDB将多维数据集中的数据表现给应用程序。•AnalysisServices也支持工业标准数据挖掘算法。数据挖掘支持用于发现数据中的趋势和预测未来结果的新的先进工具。16EnglishQuery•EnglishQuery允许最终用户就存储在SQLServer数据库、数据仓库和OLAP多维数据集中的信息用英语提出问题。EnglishQuery可以定义数据库或多维数据集中的各种表和列、维度及数据仓库中的度量值之间的逻辑和语义关系，可以根据提供的数据逻辑定义对问题进行分析。当查询OLAP多维数据集时，EnglishQuery会返回一个SQL语句，以便从数据库中析取所请求的信息。当查询数据仓库或数据集市时，EnglishQuery会返回MDX（MultidimensionalExpressions）多维表达式。应用程序执行SQL语句或MDX查询并将结果返回给最终用户。17MetaDataServices•SQLServer的MetaDataServices（元数据服务）存储了一个模型，用以映射SQLServer数据库和数据仓库中的数据结构。该信息主要用于第三方的快速开发工具，这些工具既可以建立应用程序原型，也可以提供基于MetaDataServices模型中的信息的应用程序模板。18将SQLServer的OLTP数据转换到OLAP数据仓库•从数据库到数据仓库的一个重要步骤就是将数据库中的OLTP数据转换为数据仓库中的OLAP数据，这种转换需要执行下列过程：–合并数据–清理数据–聚合数据–将数据组织到多维数据集中–转换阶段和数据仓库组件19合并数据•必须能够将特定项目的全部相关信息从多个OLTP系统合并到一个OLAP系统。合并过程必须解决不同OLTP系统间的编码差别问题。合并过程还必须能够将各OLTP系统中使用不同数据类型存储的数据转换成在某个OLAP系统中使用的单一数据类型。合并过程还必须把与OLAP系统无关的OLTP系统中的数据排除在合并过程外。•为OLAP系统提供输入数据的系统并不局限于传统的、位于中央数据库的OLTP系统。有些重要的信息甚至可能存储在相对较小的数据源（如Excel等）。20清理数据•将OLTP数据合并到数据仓库中后，便提供了一个清理数据的机会。可能会发现不同的OLTP系统之间存在数据不一致，在将数据装载到数据仓库中供OLAP系统使用之前，必须找出这些不一致。21聚合数据•OLTP数据记录所有的事务详细信息。OLAP查询通常需要汇总数据或是以某种方式聚合的数据。•对数据仓库内数据的聚合程度取决于许多设计因素，如OLAP查询的速度要求和分析所要求的粒度级。22将数据组织到多维数据集中•OLTP数据的组织方式增加了分析处理的难度且非常耗费时间，当将OLTP数据移入数据仓库时，必须对其结构进行转换，使之能够更好地支持决策分析。生成数据仓库的过程包括将存储在关系表中的OLTP数据重组为存储在多维数据集中的数据。23转换阶段和数据仓库组件•通过OLAP应用程序使数据可用的过程一般经过下列三个阶段：–将数据从OLTP或其他数据源析取到中间存储区域中；–将数据转换为更适合在OLAP系统中使用的格式（这涉及数据清理和聚合等操作）；–将数据装载到数据仓库或数据集市中。24将SQLServer的OLTP数据转换到OLAP数据仓库•数据源•中间数据存储•仓库服务器业务智能元数据25数据源•OLTP数据库和其他数据源，其内包含的数据必须转换为数据仓库和数据集市中的OLAP数据。26中间数据存储•组合的数据存储区，对OLTP数据进行存储、清理并转换为有用的OLAP数据的过程。27仓库服务器•仓库服务器是运行包含数据仓库和数据集市数据的关系数据库的计算机，以及运行管理OLAP数据的服务器的计算机。28业务智能•用于查询OLAP数据并向企业决策者提供报表和信息的成套工具和应用程序。29元数据•不同OLAP组件中的数据和应用程序的结构模型。元数据描述OLTP数据库中的表、数据仓库和数据集市中的多维数据集这类对象，还记录哪些应用程序引用不同的记录块。30软件开发商的数据仓库解决方案•【本章小节】–数据仓库是为决策支持服务的一种应用解决方案；–什么是数据仓库？–数据仓库的结构和数据仓库系统；–如何建立数据仓库？–SQLServer的数据仓库解决方案Thankyou!用好奇心去学习数据库技术的应用