搜索
研究方向前沿读书报告数据挖掘技术的算法与应用目录第一章数据仓库...51.1概论...51.2数据仓库体系结构...61.3数据仓库规划、设计与开发...71.3.1确定范围...71.3.2环境评估...71.3.3分析...71.3.4设计...81.3.5开发...81.3.5测试...81.3.6运行...81.4小结...9第二章数据挖掘...92.1概论...92.2数据挖掘研究的内容和本质...102.2.1广义知识...102.2.2关联知识...102.2.3分类知识...112.2.4预测型知识...112.3数据挖掘流程...112.3.1确定业务对象...122.3.2数据准备...122.3.3数据挖掘...122.3.4结果分析...122.3.5知识的同化...132.4数据挖掘的方法...132.4.1神经网络方法...132.4.2遗传算法...132.4.3决策树方法...142.4.4粗集方法...142.4.5覆盖正例排斥反例方法...142.4.6统计分析方法...142.4.7模糊集方法...142.6数据挖掘工具的现状...152.7数据挖掘未来研究方向及热点...162.4.1网站的数据挖掘...162.4.2生物信息或基因数据挖掘...172.4.3文本的数据挖掘...172.4.42005年十大热点问题...172.5小结...18第三章关联规则...183.1概论...183.2基本概念...183.3关联规则种类...193.4主要研究方向和典型算法分析...203.4.1多循环方式的采掘算法...203.4.2增量式更新算法...213.4.3并行发现算法...223.5频集算法的几种优化方法...243.4.1基于划分的方法...243.4.2基于Hash的方法...243.4.3基于采样的方法...253.4.4减少交易的个数...253.4.5其他的频集挖掘方法...253.4.6提高效率的几种方法说明...263.6多层和多维关联规则的挖掘...273.7关联规则价值衡量的方法...283.6.1系统客观层面...283.6.2用户主观层面...293.8选择规则的方法...293.9小结...30第四章正负关联规则研究...304.1概述...304.2研究现状...314.3关联规则具体研究...314.3.1关联规则挖掘的矩阵算法...314.3.2基于相关系数的正、负关联规则...324.3.3项集的相关性判断正负关联规则...324.3.4正、负关联规则间的置信度关系研究...334.3.5挖掘正负关联规则...334.3.6布尔加权关联规则的几种开采算法及比较...344.3.6关联规则的增量式更新...344.3.7并行化的分组关联规则算法...364.3.8分布式的数据挖掘...364.6研究方向的理论意义和实用价值...384.7小结...38第五章可视化研究...395.1概述...395.2研究现状...395.3研究方向的理论意义和实用价值...395.4可视化具体研究...395.4.1矩阵表示...395.4.2规则多边形...405.4.3平行坐标系...415.5小结...41参考资料：...42本报告的组织第一章数据仓库的内容第二章数据挖掘的内容第三章关联规则的内容第四章正负关联规则的研究，各种方法的具体算法实现。第五章可视化研究第一章数据仓库1.1概论传统数据库在日常的管理事务处理中获得了巨大的成功，但是对管理人员的决策分析要求却无法满足。因为，管理人员常常希望能够对组织中的大量数据进行分析，了解业务的发展趋势。而传统数据库只保留了当前的业务处理信息，缺乏决策分析所需要的大量历史信息。为满足管理人员的决策分析需要，就需要在数据库的基础上产生适应决策分析的数据环境——数据仓库（DW，DataWarehouse）。[1]目前，数据仓库一词尚没有一个统一的定义，著名的数据仓库专家W。H。Inmon在其著作《BuildingtheDataWarehouse》一书中给予如下描述：数据仓库（DataWarehouse）是一个面向主题的（SubjectOriented）、集成的（Integrate）、相对稳定的（Non-Volatile）、反映历史变化（TimeVariant）的数据集合，用于支持管理决策。对于数据仓库的概念我们可以从两个层次予以理解，首先，数据仓库用于支持决策，面向分析型数据处理，它不同于企业现有的操作型数据库；其次，数据仓库是对多个异构的数据源有效集成，集成后按照主题进行了重组，并包含历史数据，而且存放在数据仓库中的数据一般不再修改。根据数据仓库概念的含义，数据仓库拥有以下四个特点：1、面向主题。操作型数据库的数据组织面向事务处理任务，各个业务系统之间各自分离，而数据仓库中的数据是按照一定的主题域进行组织。主题是一个抽象的概念，是指用户使用数据仓库进行决策时所关心的重点方面，一个主题通常与多个操作型信息系统相关。2、集成的。面向事务处理的操作型数据库通常与某些特定的应用相关，数据库之间相互独立，并且往往是异构的。而数据仓库中的数据是在对原有分散的数据库数据抽取、清理的基础上经过系统加工、汇总和整理得到的，必须消除源数据中的不一致性，以保证数据仓库内的信息是关于整个企业的一致的全局信息。3、相对稳定的。操作型数据库中的数据通常实时更新，数据根据需要及时发生变化。数据仓库的数据主要供企业决策分析之用，所涉及的数据操作主要是数据查询，一旦某个数据进入数据仓库以后，一般情况下将被长期保留，也就是数据仓库中一般有大量的查询操作，但修改和删除操作很少，通常只需要定期的加载、刷新。4、反映历史变化。操作型数据库主要关心当前某一个时间段内的数据，而数据仓库中的数据通常包含历史信息，系统记录了企业从过去某一时点(如开始应用数据仓库的时点)到目前的各个阶段的信息，通过这些信息，可以对企业的发展历程和未来趋势做出定量分析和预测。通过利用数据仓库系统，人们可以获得许多方面的知识。[7]1.2数据仓库体系结构企业数据仓库的建设，是以现有企业业务系统和大量业务数据的积累为基础。数据仓库不是静态的概念，只有把信息及时交给需要这些信息的使用者，供他们做出改善其业务经营的决策，信息才能发挥作用，信息才有意义。而把信息加以整理归纳和重组，并及时提供给相应的管理决策人员，是数据仓库的根本任务。因此，从产业界的角度看，数据仓库建设是一个工程，是一个过程。整个数据仓库系统是一个包含四个层次的体系结构，具体由下图表示:·数据源：是数据仓库系统的基础，是整个系统的数据源泉。通常包括企业内部信息和外部信息。内部信息包括存放于RDBMS中的各种业务处理数据和各类文档数据。外部信息包括各类法律法规、市场信息和竞争对手的信息等等。·数据的存储与管理：是整个数据仓库系统的核心。数据仓库的真正关键是数据的存储和管理。数据仓库的组织管理方式决定了它有别于传统数据库，同时也决定了其对外部数据的表现形式。要决定采用什么产品和技术来建立数据仓库的核心，则需要从数据仓库的技术特点着手分析。针对现有各业务系统的数据，进行抽取、清理，并有效集成，按照主题进行组织。数据仓库按照数据的覆盖范围可以分为企业级数据仓库和部门级数据仓库（通常称为数据集市）。·OLAP服务器：对分析需要的数据进行有效集成，按多维模型予以组织，以便进行多角度、多层次的分析，并发现趋势。其具体实现可以分为：ROLAP、MOLAP和HOLAP。ROLAP基本数据和聚合数据均存放在RDBMS之中；MOLAP基本数据和聚合数据均存放于多维数据库中；HOLAP基本数据存放于RDBMS之中，聚合数据存放于多维数据库中。·前端工具：主要包括各种报表工具、查询工具、数据分析工具、数据挖掘工具以及各种基于数据仓库或数据集市的应用开发工具。其中数据分析工具主要针对OLAP服务器，报表工具、数据挖掘工具主要针对数据仓库。[8]1.3数据仓库规划、设计与开发对企业自身来说，数据仓库的建设是一个系统工程，是一个不断建立、发展、完善的过程，通常需要较长的时间。这就要求各企业对整个系统的建设提出一个全面、清晰的远景规划及技术实施蓝图，将整个项目的实施分成若干个阶段，以“总体规划、分步实施、步步见效”为原则，不仅可迅速从当前投资中获得收益，而且可以在已有的基础上，结合其他已有的业务系统，逐步构建起完整、健壮的数据仓库系统。企业数据仓库的建设通常按照快速原型法予以实施，主要包括：确定范围、环境评估、分析、设计、开发、测试和运行等几个阶段。同时企业数据仓库又是一个在原型的基础上进行不断迭代的过程。1.3.1确定范围确定范围的主要任务包括了解方向性分析处理需求，确定信息需求，确定数据覆盖范围。方向性需求包括：决策类型、决策者感兴趣的问题（或对象）等。在确定范围时应该重视的因素是必须用户驱动和数据驱动相结合，同时可以借鉴国内外已有的成功经验。1.3.2环境评估环境评估是对企业数据仓库系统建设的硬件环境和软件环境进行选型和准备。在硬件平台选择中需要选择与数据仓库系统规模相适应的核心服务器，同时我们认为数据仓库系统平台与业务处理平台应该相分离。软件平台的选择主要包括数据仓库引擎、OLAP引擎、前端分析展现工具的选择。产品进行测试是软件选型的一种有效方法，各个企业可以根据自身的数据状况对各类产品进行测试。1.3.3分析分析阶段主要包括两个方面的任务是深入了解数据源和分析数据仓库系统所包含的主题域及其相互之间的关系。分析阶段必须坚持用户参与，并且与原有系统开发或维护人员进行深入的沟通。需求分析包括一下的工作：确定数据仓库的粒度；确定候选的衡量指标（CandidateMeasure）、事实表以及维度，包括确定维度的层次结构；构建初始的多维模型。[5]1.3.4设计数据仓库设计的主要任务包括与操作型系统接口的设计和数据仓库本身的设计两个部分的内容。其中与操作型系统接口的设计主要是指数据抽取、清理、转换和刷新策略的设计。从多个不同的数据源中抽取数据，需要解决数据的不一致性，保证数据的质量。其中的不一致性主要包含模式冲突和语义冲突。从操作型数据库模型到数据仓库模型的转变需要大量细致的工作，例如：－消除纯粹是操作型的数据；－将包含在多个表中的有关数据进行合理合并；－适当增加部分导出数据；－在码值中增加时间关键字；－按照合适的数据粒度进行综合。数据仓库本身的设计包括数据仓库逻辑数据模型的设计、数据仓库物理数据模型的设计。由于目前数据仓库产品尚未形成一套统一的标准，因此在数据仓库设计阶段必须要有数据仓库专家和数据仓库系统产品提供商的参与。目前，主流的数据仓库建模技术分为两种：实体关系建模（Entity-RelationshipModeling）以及维建模（DimensionModeling）。其中，维建模又分为星型结构以及雪花型结构等。[5]数据仓库设计工具的选择有：EDA/SQL。(SASInstituteInc。)SAS研究所(Sybase,Inc。)Sysbase有限公司[3]CA公司的Erwin[5]1.3.5开发开发阶段所要完成的主要内容包括数据仓库建模、数据抽取和加载模块、数据访问模块以及开发实际应用。实际应用开发建议采用撌缘銛的方法，从急需的业务开始进行，应该重视的因素包括必须有行业专家的参与，同时必须有数据仓库专家的参与。1.3.5测试测试是保证系统可靠性的重要手段。数据仓库测试与一般软件系统测试不同的是数据仓库的测试不仅包括对软件系统的测试，同时包括对数据的测试。在测试阶段必须保证测试的充分性，同时注意测试数据的覆盖范围。1.3.6运行系统运行主要包括用户培训、数据加载、数据访问及应用等。在数据仓库系统的运行过程中，不断收集用户新的需求。数据仓库系统的建设不可能一蹴而就，它是一个不断建立、完善、健全的过程。这个过程是随着业务量、业务范围和客户的不断发展而发展的，其成长的速度非常之快，同时随着业务的发展，数据仓库的价值也将随之增长。[8]1.4小结