aai09知识发现和数据挖掘0高级人工智能史忠植

2019/8/1史忠植高级人工智能1第九章知识发现和数据挖掘数据挖掘工具MSMiner史忠植中科院计算所2019/8/1史忠植高级人工智能2主要内容•研究背景•MSMiner体系结构•元数据•数据仓库平台•数据采掘集成工具2019/8/1史忠植高级人工智能3典型的知识发现系统(3)SAS公司的SASEnterpriseMinerIBM公司的IntelligentMinerSolution公司的ClementineDataEngineDBMiner中科院计算技术研究所的MSMiner2019/8/1史忠植高级人工智能4知识发现工具SAS(1)SAS公司的SASEnterpriseMiner是一种通用的数据挖掘工具。通过收集分析各种统计资料和客户购买模式，SASEnterpriseMiner可以帮助您发现业务的趋势，解释已知的事实，预测未来的结果，并识别出完成任务所需的关键因素，以实现增加收入、降低成本。2019/8/1史忠植高级人工智能5知识发现工具SAS(2)SASEnterpriseMiner提供抽样-探索-转换-建模-评估(SEMMA)的处理流程。数据挖掘算法有：·聚类分析，SOM/KOHONEN神经网络分类算法·关联模式/序列模式分析·多元回归模型·决策树模型(C45,CHAID,CART)·神经网络模型(MLP,RBF)·SAS/STAT，SAS/ETS等模块提供的统计分析模型和时间序列分析模型也可嵌入其中。2019/8/1史忠植高级人工智能6知识发现工具IntelligentMinerIBM公司的IntelligentMiner具有典型数据集自动生成、关联发现、序列规律发现、概念性分类和可视化显示等功能。它可以自动实现数据选择、数据转换、数据发掘和结果显示。若有必要，对结果数据集还可以重复这一过程，直至得到满意结果为止。2019/8/1史忠植高级人工智能7知识发现工具ClementineSolution公司的Clementine提供了一个可视化的快速建立模型的环境。它由数据获取（DataAccess）、探查（Investigate）、整理（Manipulation）、建模（Modeling）和报告（Reporting）等部分组成。都使用一些有效、易用的按钮表示，用户只需用鼠标将这些组件连接起来建立一个数据流，可视化的界面使得数据挖掘更加直观交互，从而可以将用户的商业知识在每一步中更好的利用。2019/8/1史忠植高级人工智能8数据挖掘工具:公用系统•MLC++•Matlab•Brute2019/8/1史忠植高级人工智能9知识发现工具MSMiner中科院计算技术研究所智能信息处理开放实验室开发的MSMiner是一种多策略知识发现平台，能够提供快捷有效的数据挖掘解决方案，提供多种知识发现方法。MSMiner具有下列特点：·提出了一种面向对象的元数据结构，·设计实现了一种简单但有效的数据仓库平台·提出了一种面向对象的数据挖掘任务模型·设计了一种可扩展算法库2019/8/1史忠植高级人工智能10数据仓库:特征•面向主题•集成性•稳定性•随时间变化2019/8/1史忠植高级人工智能11数据仓库:OLAP•MOLAP•ROLAP2019/8/1史忠植高级人工智能12数据挖掘和数据仓库的结合•数据仓库为数据挖掘提供经良好处理的数据源•数据挖掘为数据仓库提供深层数据分析手段2019/8/1史忠植高级人工智能13MSMiner体系结构设计目标：提供快捷有效的数据挖掘解决方案。设计要求：•开放性•可扩展性•效率•易用性2019/8/1史忠植高级人工智能14MSMiner体系结构MSMiner体系结构示意图客户端服务器端元数据模块执行数据采掘任务编辑数据采掘任务数据采掘集成工具数据抽取和集成主题组织OLAP可视化数据仓库管理器数据仓库OLEDBforODBC2019/8/1史忠植高级人工智能15元数据的内容关于外部数据源的关于内部数据的（包括数据库、表、字段的信息）关于数据仓库的（包括事实表、维表、立方以及其它的中间表）关于用户信息的数据采掘算法（包括算法的参数信息）关于采掘任务的（包括采掘步骤、每个步骤的所用的参数）2019/8/1史忠植高级人工智能16元数据：元数据库2019/8/1史忠植高级人工智能17元数据：元数据对象模型设计思路•一致性•完备性•易维护性2019/8/1史忠植高级人工智能18元数据是层次的嵌套的封装的互相联系的——采用面向对象的方法60多个类元数据的结构2019/8/1史忠植高级人工智能19数据仓库平台：结构MSMiner数据仓库结构示意图外部数据数据仓库元数据数据抽取、清洗、聚集、转换主题2主题1主题nOLAP及可视化工具数据采掘集成工具...2019/8/1史忠植高级人工智能20数据仓库平台：数据抽取和集成•数据的简单抽取和集成•数据的复杂处理•面向数据挖掘的数据预处理2019/8/1史忠植高级人工智能21数据抽取和集成:MSETL•MSETL系统作为本实验室数据处理软件系列的一个重要组成部分，主要完成从业务数据源到分析数据源的转换功能。具体包括从异质业务数据源中抽取需要的数据，对这些数据进行多种预处理，把经过处理后的数据装载入指定数据仓库/数据库2019/8/1史忠植高级人工智能22数据抽取和集成:MSETL用户界面（ETL转换函数和ETL任务）逻辑处理元数据管理数据库服务器2019/8/1史忠植高级人工智能23数据抽取和集成:MSETL••支持多种数据源和目的数据库•良好的可扩充性•高效率的调度执行功能•增量更新功能2019/8/1史忠植高级人工智能24数据抽取和集成:MSETL2019/8/1史忠植高级人工智能25数据抽取和集成:MSETL2019/8/1史忠植高级人工智能26数据仓库平台：数据仓库建模产品号产品名称产品目录产品表订单号订货日期订货表客户号客户名称客户地址客户表产品号客户号订单号时间标识地区名称产品数量总价事实表时间标识月季度年时间表地区名称省别地区表星型模型2019/8/1史忠植高级人工智能27OLAPMOLAP,ROLAP,HOLAPOLAP的操作SliceDiceRollupDrilldownPivotOLAP方案对小规模数据:ActiveXOCX对大规模数据:前台工具+MSOLAPServer2019/8/1史忠植高级人工智能28数据立方2019/8/1史忠植高级人工智能29OLAPMOLAP,ROLAP,HOLAPOLAP的操作SliceDiceRollupDrilldownPivotOLAP方案对小规模数据:ActiveXOCX对大规模数据:前台工具+MSOLAPServer2019/8/1史忠植高级人工智能30数据立方2019/8/1史忠植高级人工智能31数据仓库平台：OLAP的实现2019/8/1史忠植高级人工智能32元数据的内容关于外部数据源的关于内部数据的（包括数据库、表、字段的信息）关于数据仓库的（包括事实表、维表、立方以及其它的中间表）关于用户信息的关于算法（包括算法的参数信息）关于采掘任务的（包括采掘步骤、每个步骤的所用的参数）2019/8/1史忠植高级人工智能33数据挖掘集成工具：结构数据挖掘集成工具结构示意图数据仓库平台任务编辑任务规划和执行算法库算法管理元数据任务模型库、算法描述2019/8/1史忠植高级人工智能34数据挖掘集成工具：数据挖掘任务模型Step1Step2Step4Step3Step5DMTask=(V,R)V={x|x∈StepObjects}R={x,y|P(x,y)∧x,y∈V}2019/8/1史忠植高级人工智能35数据挖掘集成工具：数据挖掘任务模型步骤对象BNF语法定义：StepObject::=Attribute_List;Method_ListAttribute_List::=[Attribute|Attribute;Attribute_List]Attribute::=Name,ValueMethod_List::=[Method|Method;Method_List]Method::=Name,ScriptName::=[char|string]Value::=[char|string|integer|float]Script::=DML_Sentence*2019/8/1史忠植高级人工智能36数据挖掘集成工具：编辑任务模型•任务向导2019/8/1史忠植高级人工智能37数据挖掘集成工具：编辑任务模型•任务编辑图板2019/8/1史忠植高级人工智能38数据挖掘集成工具：处理任务模型人机界面主控模块规划器解释器缓存函数库黑板任务模型库数据采掘任务处理引擎的结构2019/8/1史忠植高级人工智能39数据挖掘集成工具：处理任务模型任务规划和解释执行S1S3S2S4S5S1-S2-S3-S4-S52019/8/1史忠植高级人工智能40数据挖掘集成工具：DML语言DML函数人机交互和控制台输入/输出数值计算字符串处理图形、图表展示文件操作数据库访问网络通讯对象访问消息处理和流程控制黑板操作外部功能调用其它辅助功能2019/8/1史忠植高级人工智能41数据挖掘集成工具：内嵌•决策树•SOM神经网络•粗糙集•关联规则2019/8/1史忠植高级人工智能42决策树2019/8/1史忠植高级人工智能43知识约简知识约简——在保持知识库的分类或决策能力不变的条件下，删除其中不相关或不重要知识冗余知识——资源的浪费；干扰人们作出正确而简洁的决策RoughSet——把那些无法确认的个体都归属于边界线区域，而这种边界线区域被定义为上近似集和下近似集之差集（Z.Pawlak）知识约简是粗糙集的核心内容之一2019/8/1史忠植高级人工智能44RoughSet约简2019/8/1史忠植高级人工智能45数据挖掘集成工具：外联•BP神经网络•统计分析•模糊聚类•超曲面分类•SVM•贝叶斯网络•基于范例推理(CBR)•隐马尔科夫模型(HMM)2019/8/1史忠植高级人工智能46BP用于预测2019/8/1史忠植高级人工智能47统计工具线性回归模型——一元线性回归、多元线性回归、逐步回归非线性回归模型——二次曲线、三次曲线、指数曲线、幂指数曲线、生产函数等模型确定型时间序列模型——指数平滑法、趋势移动平均法（水平趋势、线性趋势和二次曲线趋势）、成长曲线模型（Compertz曲线、Logistic曲线和修正指数曲线）、季节指数法随机型时间序列模型（自回归－移动平均模型ARMA）相关分析2019/8/1史忠植高级人工智能48自回归动平均(ARMA)2019/8/1史忠植高级人工智能49模糊聚类基于传递闭包的模糊聚类——计算模糊相似矩阵的传递闭包，从而获得传递闭包法的模糊聚类基于摄动的模糊聚类——参数系相似矩阵的最优模糊等价阵及其等价标准型获得失真最小的模糊聚类2019/8/1史忠植高级人工智能50数据挖掘集成工具：可扩展算法库•算法注册2019/8/1史忠植高级人工智能51MSMiner的应用：计算机选案决策树选案执行选案选案结果分析定义样本模板训练样本数据选案规则样本数据表数据汇总表税务稽查计算机选案系统功能结构2019/8/1史忠植高级人工智能52MSMiner的应用：计算机选案挖掘结果：2019/8/1史忠植高级人工智能53进一步的工作•与用户合作开发应用实例•进一步完善工作流•完善和丰富数据挖掘算法库•算法评测功能。2019/8/1史忠植高级人工智能54谢谢THANKYOU