7 数据仓库和数据挖掘

姜素芳第7章数据仓库和数据挖掘本章学习目标了解数据仓库的概念及特点了解数据挖掘的应用和功能熟悉数据挖掘的几种主要技术姜素芳第7章数据仓库和数据挖掘7.1数据仓库概述7.2数据挖掘概述7.3数据挖掘的主要技术7.4数据仓库和挖掘对CRM的影响姜素芳第7章数据仓库和数据挖掘7.1数据仓库概述7.2数据挖掘概述7.3数据挖掘的主要技术7.4数据仓库和挖掘对CRM的影响姜素芳什么是数据仓库？7.1.1数据仓库概念与特点始于20世纪80年代初，“数据仓库之父”WilliamH.Inmon。“数据仓库是在企业管理和决策中面向主题的、集成的、相对稳定的、与时间相关的数据集合，以支持经营管理中的决策。数据仓库用于支持决策，面向分析型数据处理，不同于企业现有的操作型数据库；数据仓库是对多个异构的数据源有效集成，集成后按照主题进行了重组，并包含历史数据。姜素芳7.1.1数据仓库概念与特点1、面向主题2、集成的数据3、数据相对稳定4、数据仓库的时间相关性特点姜素芳7.1.1数据仓库概念与特点（1）面向主题数据库：面向事务处理任务，各系统分离数据仓库：按照一定的主题域组织在一起主题：用户使用数据仓库进行决策时所关心的重点方面。针对决策者的数据分析，而不是日常事务的处理，因而排除了对决策无用的数据，提供了特定主题的简明视图。是对应企业中某一宏观分析领域所涉及的分析对象，是针对某一决策问题而设置的。姜素芳姜素芳财务子系统销售商分析产品分析销售子系统供应子系统人力资源子系统消费者分析数据仓库生产调度子系统数据库面向主题面向事务姜素芳例如：一个保险公司的数据仓库所组织的主题可能是：客户、政策、保险金、索赔等，而按应用来组织则可能是：汽车保险、生命保险、伤亡保险等。姜素芳7.1.1数据仓库概念与特点（2）集成的数据从原来分散的多个异种数据源（关系数据库、文本数据库、Web数据库、一般文件等）构成的子系统中提取数据。①原有数据库系统记录的是每一项业务处理的流水账，不适合分析处理，在进入数据仓库之前必须进行综合、计算，抛弃分析处理不需要的数据项，必要时增加一定的外部数据。②原分散数据库中有很多重复或不一致的地方，必须消除不一致和错误，全局统一。为何进行数据集成？姜素芳7.1.1数据仓库概念与特点（3）数据相对稳定数据库：通常定时更新，根据需要变化数据仓库：主要供查询，只读。从内容上看，存储当前和历史的数据，不是日常事务产生的数据，并且当前数据在一定时间间隔后要转换成历史数据转存慢速设备，不需要的则删除，因此极少修改。姜素芳7.1.1数据仓库概念与特点（4）数据仓库的时间相关性数据仓库中的数据都要表明时间属性。通常包含历史信息，记录了企业从过去某一时点（如开始应用数据仓库的时点）到目前的各个阶段的信息，通过这些信息，可以对企业的发展历程和未来趋势做出定量分析和预测。为了满足决策分析的需要，数据仓库的数据存储期限一般为5~10年，当超过数据仓库的存储期限，或对分析不再有用时，这些数据将从数据仓库中删去。姜素芳姜素芳7.1.2传统数据库与数据仓库传统数据库数据仓库迥异日常业务的自动化处理属于联机事务处理只涉及当前数据，系统积累下的历史业务数据往往被转存到脱机的环境中用于支持高层决策分析属于联机分析处理对自身业务的运作及整个市场相关行业的态势进行分析，做出有利的决策姜素芳7.1.2传统数据库与数据仓库联机的事务处理系统异构的外部数据源脱机的历史业务数据数据中心(仓库)datadatadata为分析统计和决策支持应用服务姜素芳联机事务处理和联机分析处理联机事务处理（OLTP）——传统的关系型数据库的核心应用。OLTP：执行基本的增加、删除等联机事务和查询处理，及时、安全地将当前事务所产生的记录保存下来。几乎涵盖了组织的大部分日常操作。SQL语言例如：银行交易管理系统中，每天的大量操作都限于增加新账号、删除旧账号、更改账号中的金额数据、查询客户账号余额等。姜素芳联机分析处理（OLAP）——数据仓库的核心应用。OLAP：针对同一个主题对数据进行分析、查询和生成报表，从而快速、交互地得出决策支持的分析结论。基本功能是对用户当前及历史数据进行分析以辅导领导决策，侧重决策支持，并提供直观易懂的查询结果。姜素芳OLTPOLAP特征操作处理信息处理面向事务分析用户操作人员、低层管理人员决策人员、高级管理人员功能日常操作处理长期信息需求、分析决策DB设计面向应用面向主题姜素芳7.1.3CRM中数据仓库的结构体系结构——斯坦福大学的数据仓库体系结构客户应用数据仓库集成器监视器/包装器监视器/包装器监视器/包装信息信息信息姜素芳7.1.3CRM中数据仓库的结构体系结构——综合的数据仓库的体系结构数据源抽取清理装载刷新数据仓库服务前端工具查询工具报表工具分析工具数据挖掘工具数据集市OLAPOLAP主题主题主题姜素芳7.1.3CRM中数据仓库的结构组织结构——四个级别当前细节级集成轻度综合级提取综合高度综合级精炼综合早期细节级老化的数据最近时期的业务数据被转储于磁带等转换介质四个级别姜素芳7.1.3CRM中数据仓库的结构关于数据的数据组织仓库内的数据存储，描述何种信息存于何处，怎样编码，怎样与其他信息相关，来自哪里，怎样与业务相关。元数据对于管理、组织、探索数据非常重要，它能够让用户知道数据仓库有什么，以及如何使用。例如：数据仓库表的结构、数据仓库表的属性、数据仓库的元数据、抽取日志。组织结构——元数据姜素芳7.1.3CRM中数据仓库的结构组织结构图高度综合级面向决策人员生产线每月销售轻度综合级面向管理人员中心数据库当前细节级销售细节级操作型转换早期细节级销售细节级子生产线每周销售元数据姜素芳7.1.4数据仓库几个重要概念对数据仓库中数据综合程度的一个度量粒度越高，综合程度越高，细节程度越低粒度越低，综合程度越低，细节程度越高将近期的、综合的、查询频率高的高粒度数据存放于磁盘、光盘等快速设备将久远的、细节的、查询频率低的低粒度数据存放于磁带等低速设备姜素芳7.1.4数据仓库几个重要概念将数据分散到各自的物理单元中，以便能分别地、独立地处理，提高效率。数据分割时可以依据不同的标准，如日期、地域或业务领域等，也可以是它们的组合，一般按日期分割不可或缺。数据分割后的数据单元称为分片，各个分片内的数据独立，处理和重构、监控等操作更容易。姜素芳7.1.4数据仓库几个重要概念是数据仓库的一个子集，只包含公司业务某一方面的数据子集。数据集市的目标是把不同的数据提供给不同的用户。数据集市在物理上独立，被布局在局域网的一个单独的数据服务器上，专门为某一类特定用户服务，以满足只对数据仓库中一部分数据感兴趣的用户的分析需求。姜素芳7.1.5数据仓库的主要技术1.联机分析处理(OLAP)（1）MOLAP多维联机分析处理。以多维数据仓库为核心，以多维方式存储和显示数据。在多维数据存储“超立方块”的结构技术上使用各种报表技术。当用户发出请求时，从多维立方体中而不是数据仓库中取得数据，多维数据的处理速度快。综合数据多，不能存储大量细节数据，粒度不会太细。技术较新，处理大规模数据能力较弱等，接口不统一。姜素芳（2）ROLAP：关系型联机分析处理，以数据仓库为核心，不生成多维立方体，知识存储数据模型与数据仓库之间的映射关系，真正存储在数据仓库。当用户发出请求时，从数据仓库中取得数据，实时分析，增加相应时间，但是节省空间，且可以具体到细节，另外可直接应用到数据仓库系统上。主打产品。姜素芳（3）DOLAP：桌面联机分析处理。讲联机分析要用的数据，传输并存储到用户的客户端，用户访问不受网络显示。但操作安全性和数据安全性不受保障，也不易维护，一般应用于小型项目。（4）HOLAP：混合联机分析。折中方案，根据用户常用到的维度和测量值的分析，将它们生成多维数据库，存储于多维数据库中；与这些维度和测量值相关的详细数据，仍然以关系数据的形式保存在仓库中，既解决速度问题、存储问题，也解决了对详细数据的分析问题。姜素芳2.数据挖掘数据挖掘时高级应用，当前发展最快最活跃的技术，为决策过程提供强有力的支持。姜素芳思考：1.数据仓库的定义及特点2.什么是元数据？有何地位？3.什么是数据集市？与数据仓库的关系?4.什么是粒度？姜素芳第7章数据仓库和数据挖掘7.1数据仓库概述7.2数据挖掘概述7.3数据挖掘的主要技术7.4数据仓库和挖掘对CRM的影响姜素芳姜素芳（1）什么是数据挖掘？7.2.1数据挖掘的定义数据挖掘(DataMining)是从大型数据库的数据中提取人们感兴趣的知识，这些知识是隐含的、事先未知、潜在有用的信息，提取的知识表示为概念、规则、规律和模式等形式。挖掘对象不仅是数据库，还可能是文件系统或其他任何组织在一起的数据集合。从大量的数据中，抽取出潜在的、有价值的知识、模型或规则的过程。姜素芳（2）数据与知识数据——原始事实组成，有数值数据、图形数据、声音数据和视觉数据等。知识——概念、规则、模式、规律和约束等源泉姜素芳广义知识——数据的概括性描述，反映事物共同性质关联知识——一个事件与其他时间之间依赖或关联的知识分类知识——同类事物具有共同的特征和不同事物之间存在差异性特征的知识预测知识——根据时间序列性数据，用历史的和当前的数据区推测未来的数据，以时间为关键属性的关联知识偏差性知识——对差异和极端特例的描述，揭示事物偏离常规的异常现象姜素芳7.2.2在数据仓库进行的数据挖掘数据仓库和数据挖掘的关系数据仓库是基础，数据挖掘是高级应用两者需整体规划、分步实施优势已经完成对数据抽取、清洗、转换和装载，节省时间。数据集成度和综合性高历史数据丰富姜素芳基于数据仓库中的数据挖掘数据仓库各分公司数据集市分析数据集市数据挖掘数据集市数据姜素芳7.2.3数据挖掘的功能功能一：自动预测趋势和行为——ATM设置地点姜素芳功能二：关联分析——沃尔玛的购物篮分析姜素芳功能三：聚类——亚马逊网站Amazon姜素芳功能四：概念描述销售经理按照客户居住区域进行分组汇总，观察每组客户的购买频率和客户的收入。功能五：偏差检测饭卡某天异常刷了200元姜素芳7.2.4CRM中的数据挖掘流程确定问题和明确目标建立营销数据库为建模准备数据数据挖掘模型的建立评价模型将数据挖掘运用到CRM方案中探索数据为建立模型选择变量；从数据中选取一个样本来建立模型；转换变量，与算法一致。投资回收率、收益等姜素芳第7章数据仓库和数据挖掘7.1数据仓库概述7.2数据挖掘概述7.3数据挖掘的主要技术7.4数据仓库和挖掘对CRM的影响姜素芳7.3数据挖掘的主要技术决策树ID3算法神经网络遗传算法姜素芳决策树：对贷款申请的风险大小做出判断低风险工作时间10年是否高负债收入20万高风险高风险低风险YNNNYY决策树的规模大小决定了数据挖掘的效率。根节点叶子7.3.1决策树姜素芳执行语句If（income〉20）{if（workinglife〉10）{}；}；else{}；姜素芳7.3.2ID3算法ID3算法：解决两类人群的问题头发颜色红色金色黑色第一类人眼睛颜色第二类人黑色灰色蓝色第一类人第三类人第二类人（X.Q）（X.Q）姜素芳7.3.3神经网络312456输入层隐含层输出层预测变量目标变量连接节点W56W36W25W24W23W13W15W14W46姜素芳节点：对应于人脑的神经细胞连接：对应于人脑神经细胞的连接隐含层的层数和每层节点的个数决定了神经网络的复杂度。每个连接对应一个权重，此节点的值=它所有的输入节点的值与对应连接权重乘积的和。神经网络相互之间的差别也是通过连接权值及组成结构上的差别来体现的，每次出现错误时，修改的就是连接权值。姜素芳带权重的神经网络节点3到节点6的值？？忠诚区域年龄呼叫率WXYWXYWXY业务流失姜素芳神经网络的优点：对于复杂问题也有好效果处理种类和连续变量缺点：输入值需要再0~1之间不能解释结果可能会产生一个不好的结果耗时，前期数据处理工作量大姜素芳7.3.4遗传算法遗传算