数据挖掘与知识发现-课程

知识发现与数据挖掘的基本概念数据挖掘方法和技术数据挖掘的知识表示知识发现的定义知识发现的研究问题知识发现的过程知识发现系统的结构知识发现是用一种简洁的方式从大量数据中抽取信息的一种技术，所抽取的信息是隐含的、未知的，并且具有潜在应用价值。知识发现可看成是一种有价值信息的搜寻过程，它不必预先假设或提出问题，仍然能够找到那些非预期的令人关注的信息，这些信息表示了不同研究对象之间的关系和模式。它还能通过全面的信息发现与分析，找到有价值的商业规则。知识发现意味着在数据仓库或数据集市的几千兆、几万兆字节数据中寻找预先未知的商业模式与事实。定性知识和定量知识的发现知识发现方法知识发现的应用数据准备数据挖掘结果的解释和评估数据准备数据集成：对数据进行合并处理、数据检查和清洗工作数据选择：缩小处理数据的范围，提高数据挖掘的质量数据预处理：削减数据维数或降维，克服数据挖掘工具的局限性数据挖掘探索性数据分析：利用图形化方式对数据进行探索描述建模：描述数据的所有特征预测建模：建立一个根据已知变量预测其它变量的模型分类回归寻找模式和规则：进行模式探测根据内容检索：根据用户感兴趣的模式建立相似的模式结果的解释和评估结果的解释结果不满足用户要求，换一种挖掘方法结果非常抽象，换一种容易理解的方法结果的评估所采用的数据挖掘技术的有效性用于挖掘的数据质量和数量知识发现系统管理器知识库和商业分析员数据仓库的数据库接口数据选择知识发现引擎知识发现评价知识发现描述商业分析员数据仓库知识库接口数据库数据选择知识发现引擎知识发现评价知识发现描述知识发现管理器知识发现系统管理器：作用是控制并管理整个知识发现过程商业分析员数据仓库知识库接口数据库数据选择知识发现引擎知识发现评价知识发现描述知识发现管理器知识库和商业分析员知识库包含了源于各方面的知识。商业分析员要按一种有效的方式指导关注信息的发现。商业分析员数据仓库知识库数据库接口数据选择知识发现引擎知识发现评价知识发现描述知识发现管理器数据仓库的数据库接口知识发现系统的数据库接口可以直接与数据仓库通信。商业分析员数据仓库知识库数据库接口数据选择知识发现引擎知识发现评价知识发现描述知识发现管理器数据选择确定从数据仓库中需要抽取的数据及数据结构商业分析员数据仓库知识库数据库接口数据选择知识发现引擎知识发现评价知识发现描述知识发现管理器知识发现引擎将知识库中的抽取算法提供给数据选择构件抽取的数据商业分析员数据仓库知识库数据库接口数据选择知识发现引擎知识发现评价知识发现描述知识发现管理器知识发现评价有助于商业分析员筛选模式，选出那些关注性的信息商业分析员数据仓库知识库数据库接口数据选择知识发现引擎知识发现评价知识发现描述知识发现管理器知识发现描述发现、评价并辅助商业分析员在知识库中保存关注性发现结果以备将来引用,并保持知识发现与管理人员的通信商业分析员数据仓库知识库数据库接口数据选择知识发现引擎知识发现评价知识发现描述知识发现管理器数据挖掘的进化历程数据挖掘的任务数据挖掘的分类数据挖掘的对象数据挖掘与专家系统的区别数据挖掘的进化历程数据挖掘的任务数据挖掘的分类数据挖掘的对象数据挖掘与专家系统的区别进化阶段商业问题支持技术产品厂家产品特点数据搜集(60年代)“过去五年中我的总收入是多少？”计算机、磁带和磁盘IBM,CDC提供历史性的、静态的数据信息数据访问(80年代)“在新英格兰的分部去年三月的销售额是多少？”关系数据库（RDBMS），结构化查询语言（SQL），ODBCOracle、Sybase、Informix、IBM、Microsoft在记录级提供历史性的、动态数据信息数据仓库；决策支持(90年代)“在新英格兰的分部去年三月的销售额是多少？波士顿据此可得出什么结论？”联机分析处理（OLAP）、多维数据库、数据仓库Pilot、Comshare、Arbor、Cognos、Microstrategy在各种层次上提供回溯的、动态的数据信息数据挖掘（正在流行）“下个月波士顿的销售会怎么样？为什么？”高级算法、多处理器计算机、海量数据库Pilot、Lockheed、IBM、SGI、其他初创公司提供预测性的信息数据挖掘的范围数据库可以由此拓展深度和广度数据挖掘的范围数据库可以由此拓展深度和广度“数据挖掘”这个名字来源于它有点类似于在山脉中挖掘有价值的矿藏在商业应用里，它就表现为在大型数据库里面搜索有价值的商业信息这两种过程都需要对巨量的材料进行详细地过滤，并且需要智能且精确地定位潜在价值的所在。对于给定了大小的数据库，数据挖掘技术可以用它如下的超能力产生巨大的商业机会：自动趋势预测自动探测以前未发现的模式“数据挖掘”这个名字来源于它有点类似于在山脉中挖掘有价值的矿藏在商业应用里，它就表现为在大型数据库里面搜索有价值的商业信息这两种过程都需要对巨量的材料进行详细地过滤，并且需要智能且精确地定位潜在价值的所在。对于给定了大小的数据库，数据挖掘技术可以用它如下的超能力产生巨大的商业机会：自动趋势预测自动探测以前未发现的模式数据挖掘能自动在大型数据库里面找寻潜在的预测信息。传统上需要很多专家来进行分析的问题，现在可以快速而直接地从数据中间找到答案。一个典型的利用数据挖掘进行预测的例子就是目标营销。数据挖掘工具可以根据过去邮件推销中的大量数据找出其中最有可能对将来的邮件推销作出反应的客户。“数据挖掘”这个名字来源于它有点类似于在山脉中挖掘有价值的矿藏在商业应用里，它就表现为在大型数据库里面搜索有价值的商业信息这两种过程都需要对巨量的材料进行详细地过滤，并且需要智能且精确地定位潜在价值的所在。对于给定了大小的数据库，数据挖掘技术可以用它如下的超能力产生巨大的商业机会：自动趋势预测自动探测以前未发现的模式数据挖掘工具扫描整个数据库并辨认出那些隐藏着的模式，比如通过分析零售数据来辨别出表面上看起来没联系的产品，实际上有很多情况下是一起被售出的情况。数据挖掘技术可以让现有的软件和硬件更加自动化，并且可以在升级的或者新开发的平台上执行。当数据挖掘工具运行于高性能的并行处理系统上的时候，它能在数分钟内分析一个超大型的数据库。这种更快的处理速度意味着用户有更多的机会来分析数据，让分析的结果更加准确可靠，并且易于理解。数据挖掘的范围数据库可以由此拓展深度和广度深度上，允许有更多的列存在。以往，在进行较复杂的数据分析时，专家们限于时间因素，不得不对参加运算的变量数量加以限制，但是那些被丢弃而没有参加运算的变量有可能包含着另一些不为人知的有用信息。现在，高性能的数据挖掘工具让用户对数据库能进行通盘的深度遍历，并且任何可能参选的变量都被考虑进去，再不需要选择变量的子集来进行运算了。广度上，允许有更多的行存在。更大的样本让产生错误和变化的概率降低，这样用户就能更加精确地推导出一些虽小但颇为重要的结论。数据挖掘的进化历程数据挖掘的任务数据挖掘的分类数据挖掘的对象数据挖掘与专家系统的区别关联分析时序模式聚类分类偏差检测预测关联分析时序模式聚类分类偏差检测预测在数据记录的数据项之间发掘关联关系，某些数据项的出现预示着该记录中其它一些数据项出现的可能。面包和牛奶的故事…关联规则的形式：支持度Support：表示该规则所代表的事例占全部事例的百分比置信度Confidence：表示该规则所代表事例占满足前提条件事例的百分比YXTXTYYX)|(XYP)(YXP关联分析时序模式聚类分类偏差检测预测给定一段时间内的数据记录，发掘记录间的相关性，当前记录中某些数据项的出现预示着其它数据项在随后记录中出现的可能性。纵向的关联关联分析时序模式聚类分类偏差检测预测将物理或抽象对象的集合分组成为由类似的对象组成的多个类的过程。聚类原则：同一类别的对象间距离尽可能小；不同类别的对象间距离尽可能大。考虑对象间的相似性问题关联分析时序模式聚类分类偏差检测预测给定属于不同类型的数据记录，根据记录中数据项的特征为每种类型生成分类模型。分类模型用于预测新的数据记录所属类型。汽车销售的例子必须事先给出分类的标号决策树分类：规则分类：IF(…)Then(…)Else(…)关联分析时序模式聚类分类偏差检测预测在数据分析中发现有很多异常情况存在于数据库中，我们可以根据这种异常情况获得很多有用的信息用于统计试验检测信用卡欺骗的例子关联分析时序模式聚类分类偏差检测预测利用历史数据或数据分布依据一定的模型计算出数值数据或识别出未来分布趋势等。用于分类的预测和用于回归的预测关联分析Apriori,AprioriTid序列分析AprioriAll,AprioriSome,DynamicSome数据分类RIPPER,ID3,C4.5,NaiveBayes,…数据挖掘的进化历程数据挖掘的任务数据挖掘的分类数据挖掘的对象数据挖掘与专家系统的区别数据挖掘数据库技术信息科学可视化统计学机器学习其他学科根据挖掘的数据库类型分类根据挖掘的知识类型分类根据应用分类根据所用的方法和技术分类根据挖掘的数据库类型分类根据挖掘的知识类型分类根据应用分类根据所用的方法和技术分类与数据库匹配的数据挖掘技术分类关系数据挖掘非关系型数据挖掘处理的数据的特定类型分类空间的数据挖掘时间序列的数据挖掘文本的数据挖掘多媒体的数据挖掘根据挖掘的数据库类型分类根据挖掘的知识类型分类根据应用分类根据所用的方法和技术分类关联时序聚类分类偏差检测预测分析根据挖掘的数据库类型分类根据挖掘的知识类型分类根据应用分类根据所用的方法和技术分类金融行业的数据挖掘电信行业的数据挖掘保险行业的数据挖掘医药行业的数据挖掘税务部门的数据挖掘根据挖掘的数据库类型分类根据挖掘的知识类型分类根据应用分类根据所用的方法和技术分类归纳学习法仿生物技术法公式发现法统计分析法模糊数学法可视技术法归纳学习法仿生物技术法公式发现法统计分析法模糊数学法可视技术法归纳学习是符号学习中研究得最为广泛得一种方法。给定关于某个概念的一系列已知的正例和反例，其任务是从中归纳出一个通用的概念描述归纳学习能够获得新的概念，创立新的规则，发现新的理论它的一般操作是泛化(generalization)和特化(specialization)泛化用来扩展一假设的语义信息，以使其能够包含更多的正例，应用于更多的情况特化是泛化的相反的操作，用于限制概念描述的应用范围归纳学习法仿生物技术法公式发现法统计分析法模糊数学法可视技术法神经网络方法类遗传算法类所谓人工神经网络(ArtificialNeuralnetwork)是指利用工程技术手段模拟人脑神经网络的结构和功能的一种技术系统。它是一种大规模并行的非线性动力学系统，简称为神经网络人脑是由大量的神经元通过及其丰富和完善的联接而形成的一个灵活多变的、错综复杂的神经网络神经元结构图树突轴突突触人工神经元结构模型图w1w2wnuiYix1x2xnfiijjijixwu)()(jjijiixwfufYo人工神经元：又称为处理单元、节点或短期记忆oxi:神经元的输入owi:突触连接强度即权值oui:神经元的内部状态o:阈值oYi:神经元的输出，规定神经元在一定输入的作用下，超过某一阈值，神经元才兴奋,才能引起输出是一简单非线性激活又称为神经元的功能函数i神经网络方法类遗传算法类遗传算法是模拟生物进化过程的算法:分别由繁殖(选择)、交叉（重组）、变异三个基本算子归纳学习法仿生物技术法公式发现法统计分析法模糊数学法可视技术法o该类对若干变量进行一定的数学运算，求得相应的数学公