数据仓库与数据挖掘课件

第1章数据仓库与数据挖掘概述第1章1.1数据仓库的兴起1.2数据挖掘的兴起1.3数据仓库和数据挖掘的结合1.1数据仓库的兴起1.1.1从数据库到数据仓库1.1.2从OLTP到OLAP1.1.3数据字典与元数据1.1.4数据仓库的定义与特点1.1.1从数据库到数据仓库（1）“数据太多，信息不足”的现状（2）异构环境的数据的转换和共享（3）利用数据进行数据处理转换为利用数据支持决策沃尔玛数据仓库系统美国的沃尔玛（Wal*Mart）是世界最大的零售商。沃尔玛的创始人萨姆．沃尔顿：“我总是喜欢尽快得到那些数据、我们越快得到那些信息、我们就能越快据此采取行动，这个系统已经成为我们的一个重要工具”。Wal*Mart上世纪80年代建立了基于NCRTeradata数据仓库的决策支持系统。88年数据是12GB。硬盘容量20MB89年升级为24GB。96年达到7.5TB97年为圣诞节市场预测，达到了24TB现在已经达到了170TB沃尔玛数据仓库系统美国的沃尔玛（Wal*Mart）是世界最大的零售商，Wal*Mart建立了基于NCRTeradata数据仓库的决策支持系统，它是世界上第二大的数据仓库系统，总容量达到170TB以上。强大的数据仓库系统将世界4000多家分店的每一笔业务数据汇总到一起，让决策者能够在很短的时间里获得准确和及时的信息，并做出正确和有效的经营决策。沃尔玛的创始人萨姆．沃尔顿：“我总是喜欢尽快得到那些数据、我们越快得到那些信息、我们就能越快据此采取行动，这个系统已经成为我们的一个重要工具”。利用数据仓库，沃尔玛对商品进行市场类组分析，即分析哪些商品顾客最有希望一起购买。一个意外的发现就是：跟尿布一起购买最多的商品竟是啤酒！按常规思维，尿布与啤酒风马牛不相及，若不是借助于数据仓库系统，商家决不可能发现隐藏在背后的事实。沃尔玛就在它的一个个商店里将它们并排摆放在一起，结果是尿布与啤酒的销量双双增长。沃尔玛数据仓库系统每天要处理并更新2亿条记录，要对来自6000多个用户的48，000条查询语句进行处理。销售数据、库存数据每天夜间从4，000多个商店自动采集过来，并通过卫星线路传到总部的数据仓库里。利用数据仓库，进行决策支持分析，具体表现为：沃尔玛数据仓库系统存储数据的数据库和数据仓库有什么不同？？？1.数据库用于事务处理数据库作为数据资源用于管理业务中的事务处理。数据库中存放的数据基本上是保存当前数据，随着业务的变化随时在更新数据库中的数据。不同的管理业务需要建立不同的数据库。例如，银行中储蓄业务、信用卡业务分别要建立储蓄数据库和信用卡数据库。2.数据仓库用于决策分析数据仓库用于决策分析数据库保持事务处理的当前状态，数据仓库既保存过去的数据又保存当前的数据数据仓库的数据是大量数据库的集成对数据库的操作比较明确，操作数据量少。对数据仓库操作不明确，操作数据量大3.数据库与数据仓库对比数据库数据仓库细节的综合或提炼的代表当前的数据代表过去的数据可更新的不更新一次操作数据量小一次操作数据量大面向应用面向分析支持管理支持决策1.1.2从OLTP到OLAP1.联机事务处理（OLTP）2.联机分析处理（OLAP）3.OLTP与OLAP的对比1.联机事务处理（OLTP）联机事务处理（OnLineTransactionProcessing，OLTP）是在网络环境下的事务处理工作，以快速的响应和频繁的数据修改为特征，使用户利用数据库能够快速地处理具体的业务。OLTP应用要求多个查询并行，以便将每个查询分布到一个处理器上。1.联机事务处理（OLTP）OLTP的特点在于事务处理量大，但事务处理内容比较简单且重复率高。OLTP处理的数据是高度结构化的，涉及的事务比较简单，数据访问路径是已知的，至少是固定的。OLTP面对的是事务处理操作人员和低层管理人员。2.联机分析处理（OLAP）决策分析需要对多个关系数据库共同进行大量的综合计算才能得到结果。E.F.Codd在1993年提出了多维数据库和多维分析的概念，即联机分析处理（OnLineAnalyticalProcessing，OLAP）概念。关系数据库是二维数据（平面），多维数据库是空间立体数据。2.联机分析处理（OLAP）OLAP的基本思想是决策者从多方面和多角度以多维的形式来观察企业的状态和了解企业的变化。3.OLTP与OLAP的对比OLTPOLAP细节性数据综合性数据当前数据历史数据经常更新不更新，但周期性刷新一次性处理的数据量小一次处理的数据量大对响应时间要求高响应时间合理面向应用，事务驱动面向分析，分析驱动1.1.3数据字典与元数据1.数据库的数据字典2.数据仓库的元数据1.数据库的数据字典数据字典是数据库中各类数据描述的集合。(1)数据项(2)数据结构(3)数据流(4)数据存储(5)处理过程2.数据仓库的元数据在数据仓库中引入了“元数据”的概念，它不仅仅是数据仓库的字典，而且还是数据仓库本身信息的数据。元数据（metadata）定义为描述数据及其环境的数据。两方面的用途。首先,元数据能提供基于用户的信息,如记录数据项的业务描述信息的元数据能帮助用户使用数据。其次,元数据能支持系统对数据的管理和维护数据仓库的元数据除对数据仓库中数据的描述（数据仓库字典）外，还有以下三类元数据：(1)关于数据源的元数据(2)关于抽取和转换的元数据(3)关于最终用户的元数据在数据仓库系统中,元数据机制主要支持以下五类系统管理功能:（１）描述哪些数据在数据仓库中；（２）定义要进入数据仓库中的数据和从数据仓库中产生的数据；（３）记录根据业务事件发生而随之进行的数据抽取工作时间安排；（４）记录并检测系统数据一致性的要求和执行情况；（５）衡量数据质量1.1.4数据仓库的定义与特点1.数据仓库定义（1）W.H.Inmon在《建立数据仓库》一书中，对数据仓库的定义为：数据仓库是面向主题的、集成的、稳定的，不同时间的数据集合，用于支持经营管理中决策制定过程。（2）SAS软件研究所观点：数据仓库是一种管理技术，旨在通过通畅、合理、全面的信息管理，达到有效的决策支持。2.数据仓库特点（1）数据仓库是面向主题的主题是数据归类的标准，每一个主题基本对应一个宏观的分析领域。例如，银行的数据仓库的主题：客户DW的客户数据来源：从银行储蓄DB、信用卡DB、贷款DB等三个DB中抽取同一客户的数据整理而成。在DW中分析客户数据，可决定是否继续给予贷款。（2）数据仓库是集成的数据进入数据仓库之前，必须经过加工与集成。对不同的数据来源进行统一数据结构和编码。统一原始数据中的所有矛盾之处，如字段的同名异义，异名同义，单位不统一，字长不一致等。将原始数据结构做一个从面向应用到面向主题的大转变。（3）数据仓库是稳定的数据仓库中包括了大量的历史数据。数据经集成进入数据仓库后是极少或根本不更新的。（4）数据仓库是随时间变化的数据仓库内的数据时限在5~10年，故数据的键码包含时间项，标明数据的历史时期，这适合DSS进行时间趋势分析。而数据库只包含当前数据，即存取某一时间的正确的有效的数据。（5）数据仓库的数据量很大大型DW是一个TB（1000GB）级数据库问题（一般为10GB级相当于一般数据库100MB的100倍）（6）数据仓库软、硬件要求较高需要一个巨大的硬件平台需要一个并行的数据库系统1.2数据挖掘的兴起1.2.1从机器学习到数据挖掘1.2.2数据挖掘含义1.2.3数据挖掘与OLAP的比较1.2.4数据挖掘与统计学1.2.1从机器学习到数据挖掘学习是人类具有的智能行为，主要在于获取知识。机器学习是研究使计算机模拟或实现人类的学习行为，即让计算机通过算法自动获取知识。机器学习是人工智能领域中的重要研究方向。20世纪60年代开始了机器学习的研究。(1)1980年在美国召开了第一届国际机器学习研讨会；明确了机器学习是人工智能的重要研究方向(2)1989年8月于美国底特律市召开的第一届知识发现（KDD）国际学术会议；首次提出知识发现概念(3)1995年在加拿大召开了第一届知识发现和数据挖掘（DM）国际学术会议；首次提出数据挖掘概念(4)我国于1987年召开了第一届全国机器学习研讨会。1.2.2数据挖掘含义知识发现（KDD）：从数据中发现有用知识的整个过程。数据挖掘（DM）：KDD过程中的一个特定步骤，它用专门算法从数据中抽取知识。如在人类数据库中挖掘知识为：（头发=黑色）∨（眼睛=黑色）→亚洲人该知识覆盖了所有亚州人的记录。1.2.3数据挖掘与OLAP的比较1.OLAP的多维分析OLAP的典型应用，通过商业活动变化的查询发现的问题，经过追踪查询找出问题出现的原因，达到辅助决策的作用。2.数据挖掘数据挖掘任务在于聚类（如神经网络聚类）、分类（如决策树分类）、预测等。1.2.4数据挖掘与统计学统计学与国家政治有紧密的关系。支配着社会现象的法则和方法是概率论。通过对全部对象（总体）进行调查，为制定计划和决策提供依据。统计学中应用于数据挖掘的内容（1）常用统计（2）相关分析（3）回归分析（4）假设检验（5）聚类分析（6）判别分析(7)主成份分析统计学与数据挖掘的比较统计学主要是对数量数据（数值）或连续值数据（如年龄、工资等），进行数值计算（如初等运算）的定量分析，得到数量信息。数据挖掘主要对离散数据（如职称、病症等）进行定性分析（覆盖、归纳等），得到规则知识。统计学与数据挖掘是有区别的。但是，它们之间是相互补充的。1.3数据仓库和数据挖掘的结合1.3.1数据仓库和数据挖掘的区别与联系1.3.2基于数据仓库的决策支持系统1.3.3数据仓库与商业智能1.3.1数据仓库和数据挖掘的区别与联系1.数据仓库与数据挖掘的区别2.数据仓库与数据挖掘的关系3.数据仓库中数据存储特点4.数据仓库中数据挖掘特点1.数据仓库与数据挖掘的区别数据仓库是一种存储技术，它能适应于不同用户对不同决策需要提供所需的数据和信息。数据挖掘研究各种方法和技术，从大量的数据中挖掘出有用的信息和知识。2.数据仓库与数据挖掘的关系数据仓库与数据挖掘都是决策支持新技术。但它们有着完全不同的辅助决策方式。在数据仓库系统的前端的分析工具中，数据挖掘是其中重要工具之一。它可以帮助决策用户挖掘数据仓库的数据中隐含的规律性。数据挖掘用于数据仓库实现决策支持：（1）预测客户购买倾向；（2）客户利润贡献度分析；（3）分析欺诈行为；（4）销售渠道优化分析等。数据仓库和数据挖掘的结合对支持决策会起更大的作用。3.数据仓库中数据存储特点由于数据仓库不同于数据库，数据挖掘也随之发生变化。（1）数据存储方式的不同（2）数据存储的数据量的不同（3）数据存储的结构不同4.数据仓库中数据挖掘特点（1）数据挖掘从数据仓库中挖掘更深层次的信息（2）数据仓库为数据挖掘提出了新要求①数据挖掘需要可扩展性②数据挖掘方法需要能挖掘多维知识1.3.2基于数据仓库的决策支持系统数据仓库的决策支持功能有：(1)对当前和历史数据完成查询和报表处理(2)可以用不同方法进行“如果，将怎样（what-if）”分析(3)从综合数据到细节数据，深入追踪钻取查询，寻找问题出现原因(4)认清过去的发展趋势，并将其应用于对未来结果的分析数据仓库中有大量的综合数据，为决策者提供了综合信息。数据仓库保存有大量历史数据，通过预测模型计算可以得到预测信息。联机分析处理（OLAP）对数据仓库中的数据进行多维数据分析，即多维数据的切片、切块、旋转、钻取等，得到更深层中的信息和知识。数据挖掘（DM）技术能获取关联知识、时序知识、聚类知识、分类知识等。数据仓库（DW）、联机分析处理（OLAP）、数据挖掘（DM）等结合，形成决策支持系统。1.3.3数据仓库与商业智能1.商业智能的概念2.商业智能辅助制定更好更快的决策1.商业智能的概念商业智能以