CRM数据仓库

第6章CRM与数据仓库第6章CRM与数据仓库6.1数据仓库概述6.1.1数据仓库的产生6.1.2数据仓库概念及特征6.1.3数据仓库的内容6.1.3数据仓库系统的体系结构6.2客户关系管理中的数据仓库6.2.1客户关系管理需要数据仓库6.2.2客户关系管理中数据仓库的作用6.2.3客户关系管理数据仓库的系统结构6.3客户关系管理数据仓库的实施6.4客户关系管理数据仓库试验6.4.1客户关系管理数据仓库设计试验6.4.2客户关系管理数据仓库使用试验6.1数据仓库概述数据仓库与CRM有着难以割舍的密切关系，客户关系管理很多工作都是以数据仓库为基础展开的。从某种意义上说，数据仓库是客户关系管理的灵魂。利用数据仓库，企业可以对客户行为的分析与预测，从而制定准确的市场策略、发现企业的重点客户和评价市场性能，并通过销售和服务等部门与客户交流，实现企业利润的提高。对于客户量大、市场策略对企业影响较大的企业来说，必须在客户关系管理系统中包含数据仓库。6.1.1数据仓库的产生早期的数据库主要支持联机事务处理决策支持对数据分析的需求传统数据库系统不适宜DSS①事务处理和分析处理的性能特性不同②数据集成问题③数据动态集成问题④历史数据问题⑤数据的综合问题⑥操作繁简问题（1）事务处理和分析处理的性能特性不同所有联机事务处理强调的是数据更新处理性能和系统的可靠性，并不关心数据查询的方便与快捷。在事务处理环境中，用户的行为特点是数据的存取操作频率高而每次操作处理的时间短。在分析处理环境中，用户的行为模式与此完全不同，强调的是数据处理和分析的能力。在传统数据库系统基础上的DSS应用程序可能需要连续几个小时，从而消耗大量的系统资源。联机分析和事务处理对系统的要求不同，同一个数据库在理论上难以做到两全，将具有如此不同处理性能的两种应用放在同一个环境中运行显然是不适当的。（2）数据集成问题。DSS需要集成的数据。全面而正确的数据是有效的分析和决策的首要前提，相关数据收集得越完整，得到的结果就越可靠。当前绝大多数企业内数据的真正状况是分散而非集成的。造成这种分散的原因有多种，主要有事务处理应用分散、“蜘蛛网”问题、数据不一致问题、外部数据和非结构化数据。（3）数据动态集成问题静态集成的最大缺点在于，如果在数据集成后数据源中数据发生了变化，这些变化将不能反映给决策者，导致决策者使用的是过时的数据。集成数据必须以一定的周期（例如24小时）进行刷新，我们称其为动态集成。显然，事务处理系统不具备动态集成的能力。（4）历史数据问题事务处理一般只需要当前数据，在数据库中一般也是存储短期数据，不同数据的保存期限也不一样，即使有一些历史数据保存下来了，也被束之高阁，未得到充分利用。但对于决策分析而言，历史数据是相当重要的，许多分析方法必须一大量的历史数据为依托。没有历史数据的详细分析，是难以把握企业的发展趋势的。DSS对数据在空间和时间的广度上都有了更高的要求，而事务处理环境难以满足这些要求。（5）数据的综合问题在事务处理系统中积累了大量的细节数据，一般而言，DSS并不对这些细节数据进行分析。在分析前，往往需要对细节数据进行不同程度的综合。而事务处理系统不具备这种综合能力，根据规范化理论，这种综合还往往因为是一种数据冗余而加以限制。（6）操作繁简问题业务数据的模式是针对事务处理系统而设计的，数据的格式和描述方式并不适合非计算机专业人员进行业务上的分析和统计。有人感叹：20年前查询不到数据是因为数据太少了，而今天查询不到数据是因为数据太多了。要提高分析和决策的效率和有效性，分析型处理及其数据必须与操作型处理及其数据相分离。必须把分析型数据从事务处理环境中提取出来，按照DSS处理的需要进行重新组织，建立单独的分析处理环境，数据仓库正是为了构建这种新的分析处理环境而出现的一种数据存储和组织技术。数据仓库的数据从联机的事务处理系统、异构的外部数据源、脱机的历史业务数据中得到。它是一个联机的系统，专门为分析统计和决策支持应用服务，通过它可满足决策支持和联机分析应用所要求的一切。6.1.2数据仓库的概念和特征目前，数据仓库一词尚没有一个统一的定义。著名的数据仓库专家W.H.Inmon在其著作《BuildingtheDataWarehouse》一书中给予如下描述：数据仓库（DataWarehouse）是一个面向主题的（SubjectOriented）、集成的（Integrate）、相对稳定的（Non-Volatile）、反映历史变化（TimeVariant）的数据集合，用于支持管理决策。数据仓库概念的两个层次功能上：数据仓库用于支持决策，面向分析型数据处理，它不同于企业现有的操作型数据库；内容和特征上：数据仓库是对多个异构的数据源有效集成，集成后按照主题进行了重组，并包含历史数据，而且存放在数据仓库中的数据一般不再修改。数据仓库四个特点-面向主题传统的数据库是面向应用而进行数据组织的，其抽象程度不够高，没有完全实现数据与应用的分离。但这种方式能较好地将企业业务活动与数据库模式相对应，利于从手工处理向计算机处理过渡，因而具有较好的可操作性；数据仓库是面向主题而进行数据组织的。主题是一个在较高层次上对数据的抽象，在逻辑意义上，它是对企业中某一宏观领域所涉及的分析对象，即将数据组织成主题域。例如，在银行经营运作中，业务(存款、贷款、汇兑)、货币、客户、机构、会计科目是其主要构架或方向，因此在银行业务数据仓库中，选择业务、货币、客户、机构、会计科目五个主题，并将会计科目作为连接其他四个主题的交易主题进行处理。面向主题可以独立于数据处理逻辑，适用于分析型数据环境，适用于建设企业全局数据库；数据仓库中目前仍采用关系数据库技术来实现，其面向主题所作较高程度上的抽象，应强调其逻辑意义。数据仓库四个特点-集成的面向事务处理的操作型数据库通常与某些特定的应用相关，数据库之间相互独立，并且往往是异构。在数据仓库的所有特性之中，这是最重要的。应用问题的设计人员历经多年制定出来的不同的设计决策有很多很多种不同的表示方法，没有什么应用在编码、命名习惯、实际属性、属性度量等方面是一致的，各个应用问题设计员自由地做出他或她自己的设计决策。数据仓库中的数据是集成的。而数据仓库中的数据是在对原有分散的数据库数据抽取、清理的基础上经过系统加工、汇总和整理得到的，必须消除源数据中的不一致性，以保证数据仓库内的信息是关于整个企业的一致的全局信息。在数据仓库建设中，这是最关键最复杂的一个步骤，主要工作有：一是，进行数据的综合和计算；二是，统一源数据中所有不一致和矛盾的地方(如同名异义、异名同义、字长不一致、单位不一致等)。数据仓库四个特点-相对稳定的操作型数据库中的数据通常实时更新，数据根据需要及时发生变化。数据仓库的数据主要供企业决策分析之用，所涉及的数据操作主要是数据查询，一旦某个数据进入数据仓库以后，一般情况下将被长期保留，也就是数据仓库中一般有大量的查询操作，但修改和删除操作很少，通常只需要定期的加载、刷新。数据仓库四个特点-相对稳定的数据仓库四个特点-反映历史变化操作型数据库主要关心当前某一个时间段内的数据，而数据仓库中的数据通常包含历史信息，系统记录了企业从过去某一时点(如开始应用数据仓库的时点)到目前的各个阶段的信息，通过这些信息，可以对企业的发展历程和未来趋势做出定量分析和预测。数据仓库中的数据时间期限要远远长于操作型系统中的数据时间期限。操作型系统的时间期限一般是60～90天，而数据仓库中数据的时间期限通常是6～10年。操作型数据库含有“当前值”的数据，这些数据的准确性在访问时是有效的，同样当前值的数据能被更新。而数据仓库中的数据仅仅是一系列某一时刻生成的复杂的快照。操作型数据的键码结构可能包含也可能不包含时间元素，如年、月、日等。而数据仓库的键码结构总是包含某时间元素。数据仓库的数据码键都包含时间项，用作标明数据的历史时期。数据仓库中的数据包含有大量综合数据，很多与时间有关，如按时间段进行综合或隔时间片进行抽样。随着时间变化，数据仓库需要不断增加新数据、删去旧数据。数据仓库四个特点-反映历史变化数据仓库本质数据仓库实际上是一个“以大型数据管理信息系统为基础的、附加在这个数据库系统之上的、存储了从企业所有业务数据库中获取的综合数据的、并能利用这些综合数据为用户提供经过处理后的有用信息的应用系统”。如果说传统数据库系统的重点与要求是快速、准确、安全、可靠地将数据存进数据库中的话，那么数据仓库的重点与要求就是能够准确、安全、可靠地从数据库中取出数据，经过加工转换成有规律信息之后，再供管理人员进行分析使用。数据仓库所要研究和解决的问题就是从数据库中获取信息。6.1.3数据仓库的内容数据仓库并没有严格的数学理论基础，也没有成熟的基本模式，且更偏向于工程，具有强烈的工程性。因此，在技术上人们习惯于从工作过程等方面来分析，并按其关键技术部份分为数据的抽取、存储与管理以及数据的表现等三个基本方面。数据的抽取数据的抽取是数据进入仓库的入口。由于数据仓库是一个独立的数据环境，它需要通过抽取过程将数据从联机事务处理系统、外部数据源、脱机的数据存储介质中导入到数据仓库。数据抽取在技术上主要涉及互连、复制、增量、转换、调度和监控等方面。数据仓库中的数据并不要求与联机事务处理系统保持实时同步，因此数据抽取可以定时进行，但多个抽取操作执行的时间、相互的顺序、成败对数据仓库中信息的有效性则至关重要。存储和管理数据仓库的真正关键是数据的存储和管理。数据仓库的组织管理方式决定了它有别于传统数据库，同时也决定了其对外部数据的表现形式。要决定采用什么产品和技术来建立数据仓库的核心，则需要从数据仓库的技术特点着手分析。针对现有各业务系统的数据，进行抽取、清理，并有效集成，按照主题进行组织。数据仓库按照数据的覆盖范围可以分为企业级数据仓库和部门级数据仓库（通常称为数据集市）。数据的表现数据表现实际上相当于数据仓库的门面，其性能主要集中在多维分析、数理统计和数据挖掘方面。而多维分析又是数据仓库的重要表现形式，近几年来由于互联网的发展，使得多维分析领域的工具和产品更加注重提供基于Web前端联机分析界面，而不仅仅是在网上发布数据。6.1.4数据仓库系统体系结构数据源数据源是数据仓库系统的基础，是整个系统的数据源泉。通常包括企业内部信息和外部信息。内部信息包括各种业务处理数据和各类文档数据。外部信息包括各类法律法规、市场信息和竞争对手的信息等等。OLAP服务器OLAP服务器对分析需要的数据进行有效集成，按多维模型予以组织，以便进行多角度、多层次的分析，并发现趋势。其具体实现可以分为：ROLAP、MOLAP和HOLAP。ROLAP基本数据和聚合数据均存放在RDBMS之中；MOLAP基本数据和聚合数据均存放于多维数据库中；HOLAP基本数据存放于RDBMS之中，聚合数据存放于多维数据库中。前端工具前端工具主要包括各种报表工具、查询工具、数据分析工具、数据挖掘工具以及各种基于数据仓库或数据集市的应用开发工具。其中数据分析工具主要针对OLAP服务器，报表工具、数据挖掘工具主要针对数据仓库。数据仓库概述小结6.1.1数据仓库的产生6.1.2数据仓库概念及特征6.1.3数据仓库的内容6.1.4数据仓库系统的体系结构数据仓库的项目实施数据仓库系统是一种解决问题的过程，而不是一个可以买到的现成产品。不同企业会有不同的数据仓库。企业人员往往不懂如何建立和利用数据仓库，发挥其决策支持的作用，而数据仓库公司人员又不懂业务，不知道建立哪些决策主题，从数据源中抽取哪些数据。这需要双方互相沟通，共同协商开发数据仓库，因此是一个不断往复前进的过程。数据仓库的建设是一个系统工程，是一个不断建立、发展、完善的过程，通常需要较长的时间。这就要求各企业对整个系统的建设提出一个全面、清晰的远景规划及技术实施蓝图，将整个项目的实施分成若干个阶段，以“总体规划、分步实施、步步见效”为原则，不仅可迅速从当前投资中