数据挖掘2015最新精品课程完整课件(第1讲)---引言

数据挖掘徐光美[e-mail]教材JiaweiHan,MichelineKamber.数据挖掘：概念与技术.北京：机械工业出版社，2001.8月（有最新版本）创办了ACMTKDD学报并任主编，华人数据挖掘界的先驱和拥有最高成就的学者参考书2020年2月24日星期一数据挖掘3米歇尔是卡内基梅隆大学的教授，讲授“机器学习”等多门课程；美国人工智能协会（AAAL）的主席；美国《MachineLearning》杂志、国际机器学习年度会议（ICML）的创始人(英)汉德（DavidHand）是伦敦帝国大学数学系统计学教授。参考书（美）陈封能，（美）斯坦巴赫，（美）库玛尔著，范明等译。IntroductiontoDataMining.北京：人民邮电出版社，2011.国外很多名校采用的数据挖掘教材，内容较全面考核方式总评成绩=平时成绩*50%+期末作业成绩*50%平时成绩=课堂讲解成绩+课堂讨论和出勤成绩精读一篇核心期刊以上级别的文献：研究动机、具体方法、解决了何种问题、效果如何。用PPT在课堂上讲解上述问题不少于10分钟。并详细讲解该论文涉及的算法。期末提交1份大作业：研究动机、具体方法、解决了何种问题、效果如何、你认为该文章有哪些优缺点、应该如何解决、参考文献（至少5篇）2020年2月24日星期一数据挖掘5数据挖掘从业人员的收入数据挖掘从业人员的收入路漫漫其修远兮课程介绍数据挖掘兴起的背景数据挖掘的相关概念数据挖掘的主要任务主要内容Why:数据挖掘的产生海量数据被收集利用数据获取有用知识的有效方法有限2020年2月24日星期一数据挖掘10数据挖掘的社会需求数据挖掘数据库越来越大有价值的知识可怕的数据数据挖掘的社会需求数据爆炸，知识贫乏苦恼:淹没在数据中;不能制定合适的决策!数据知识决策模式趋势事实关系模型关联规则序列目标市场资金分配贸易选择在哪儿做广告销售的地理位置金融经济政府POS.人口统计生命周期课程介绍数据挖掘兴起的背景数据挖掘的相关概念数据挖掘的主要任务主要内容数据挖掘发展简史数据挖掘的定义--1Dataminingisthenon-trivialprocessofidentifyingvalid,novel,potentiallyuseful,andultimatelyunderstandablepatternsfromhugevolumeofdata.U.FayyadetalKDD’96数据挖掘是从海量数据中获取有效的、新颖的、潜在有用的、最终可理解的模式的非平凡过程数据挖掘的定义--2分析少量数据无需利用数据挖掘错误的模式价值不大不能仅仅挖掘出常识挖掘出的模式一般用于辅助进一步的决策挖掘出的模式要呈现给决策者数据挖掘并不像SQL查询那样容易数据库中的知识发现KDD数据挖掘与KDD数据挖掘属于KDD数据挖掘是KDD的一个核心步骤数据挖掘包含了KDD数据挖掘的对象不局限于数据库数据挖掘等于KDD越来越多的学者和业界人士赞同此观点挖掘何种数据--1文件关系数据库交易数据库每个记录代表一个事务：包括每次交易的唯一标识号和组成该事务的项例：TIDItems1Bread,Milk2Bread,Diaper,Beer,Eggs3Milk,Diaper,Beer,Coke4Bread,Milk,Diaper,Beer5Bread,Milk,Diaper,Coke数据仓库从一个或多个数据源搜集到的信息储存库，存放在一个一致的模式下，通常驻留在单个站点。数据清理数据变换数据集成数据装入定期刷新过程数据汇总组织特定主题：顾客、商品和活动等用多维数据库结构建模适合于OLAP清理变换集成装入刷新数据仓库查询与分析工具客户客户异地数据源2020年2月24日星期一数据挖掘21多媒体数据库图像、视频和音频数据。(image/videoretrieval)空间数据库包含涉及空间的信息地图数据库VLSI集成电路蛋白质分子3D空间排列时间序列数据库不同时间重复测量得到的值或事件的序列构成Ex:股票数据，环境、气象监测数据、工业测量数据等特点：趋势。循环、周期、突变Web数据Title:CNN.comInternationalH1:IAEA:IranhadsecretnukeagendaH3:EXPLOSIONSROCKBAGHDAD…TEXTBODY(withpositionandfonttype):TheInternationalAtomicEnergyAgencyhasconcludedthatIranhassecretlyproducedsmallamountsofnuclearmaterialsincludinglowenricheduraniumandplutoniumthatcouldbeusedtodevelopnuclearweaponsaccordingtoaconfidentialreportobtainedbyCNN…Hyperlink:•URL:•AnchorText:AIoaeda…Image:•URL:•Alt&Caption:Irannuclear…AnchorText:CNNHomepageNews…挖掘何种数据--5Comparingwith2011thedatatypeswiththehighestgrowth:XMLdatatext(free-form)socialnetworkdataThedatatypeswiththedecliningpopularity:music/audioimages/video,挖掘多大的数据商用数据挖掘软件开源数据挖掘软件数据挖掘的应用领域数据挖掘方法的来源Z.-H.Zhou.Threeperspectivesofdatamining.ArtificialIntelligence,2003,143(1).课程介绍数据挖掘兴起的背景数据挖掘的相关概念数据挖掘的主要任务主要内容数据挖掘的主要任务—1预测/分类型通过学习和推理进行预测/分类分类、回归、偏差检测描述型对数据的一般特征进行概括聚类、关联规则、序列模式分类—定义给定记录的集合（训练集）每条记录包含若干个属性，其中一个是类别属性，其它的称为条件属性。找出一个以类别属性为结论，以其它属性的值为条件的分类模型目标：尽量精确地给出事先未知记录的类别属性的值用测试集来检验模型的精度。分类—例子TidRefundMaritalStatusTaxableIncomeCheat1YesSingle125KNo2NoMarried100KNo3NoSingle70KNo4YesMarried120KNo5NoDivorced95KYes6NoMarried60KNo7YesDivorced220KNo8NoSingle85KYes9NoMarried75KNo10NoSingle90KYes10RefundMaritalStatusTaxableIncomeCheatNoSingle75K?YesMarried50K?NoMarried150K?YesDivorced90K?NoSingle40K?NoMarried80K?10TestSetTrainingSetModelLearnClassifier分类—应用直销营销(DirectMarketing)只给最有可能购买某种商品的客户邮寄宣传材料，节省宣传费用方法利用以前类似产品的数据已知数据中的{买、不买}构成了类别属性搜集与这类客户相关的个人、生活方式等信息，如居住地、收入等使用这些信息作为条件属性来学习分类器。聚类—定义给定一组数据，每条数据包含一组属性，根据数据间的相似度量，把这些数据分成不同的组群，使得：同一群中的数据尽量相似群与群之间的差别尽量明显相似度量若属性值是连续的，一般使用Euclidean距离其它适用于不同具体问题的相似度量聚类的展示三维空间中基于Euclidean距离的聚类类内距离最小类间距离最大聚类—应用文本聚类目标：根据文本中关键词出现的频率找出若干组内容相似的文本方法：找出每篇文本中频繁出现的词。根据关键词出现的频率给出度量文本相似程度的指标。使用该指标进行聚类。文本聚类的展示对象：LosAngelesTimes的3204篇文章相似度量指标：这些文章中相同关键词的数目关联规则—定义给定一组记录，每条记录由若干个项目组成，找出一些项目出现将导致另一些项目出现的规则TIDItems1Bread,Coke,Milk2Beer,Bread3Beer,Coke,Diaper,Milk4Beer,Bread,Diaper,Milk5Coke,Diaper,MilkRulesDiscovered:{Milk}--{Coke}{Diaper,Milk}--{Beer}关联规则—应用1营销假设发现的规则为{Bagels,…}--{PotatoChips}PotatoChips为后件=可以用来决定哪些商品可以促进PotatoChips的销售Bagels为前件=可以用来决定若对Bagels搞促销，将影响哪些商品的销售Bagels为前件且Potatochips为后件=可用来决定哪些商品可以和Bagels一起对Potatochips进行促销关联规则—应用2超市货架管理目标：确定经常被大量客户一起购买的商品.方法：利用POS机搜集的销售数据找出项目之间的关联序列模式给定一系列具有时间属性的对象（事件），发现不同事件的强序列依赖关系(AB)(C)(DE)回归回归是通过具有已知值的变量来预测其它变量的值在统计、神经网络领域有广泛的应用例如:根据广告费用来预测新产品的销售量根据温度、湿度和压强来预测风力偏差/异常检测从正常的行为中检测重要的偏差应用：信用卡欺诈甄别网络入侵检测挖掘结果的评价客观评价方法基于统计和模式的结构,如support和confidence主观评价方法基于用户对数据的信任程度,如unexpectednessL.Q.Geng,H.J.Hamilton.InterestingnessMeasuresforDataMining:ASurvey.ACMComputingSurveys,2006,38(3).Top-10AlgorithmFinallySelectedatICDM’06#1:C4.5(61votes)-决策树算法#2:K-Means(60votes)-聚类算法#3:SVM(58votes)-分类#4:Apriori(52votes)-关联规则#5:EM(48votes)-数据收敛#6:PageRank(46votes)-网页权威性测度#7:AdaBoost(45votes)-迭代算法#7:kNN(45votes)-k最近邻分类#7:NaiveBayes(45votes)-分类#10:CART(34votes)-分类与回归重要资源2020年2月24日星期一数据挖掘492020年2月24日星期一50参考文献源DataminingandKDD(SIGKDDmemberCDROM):Conferenceproceedings:KDD,andothers,suchasPKDD,PAKDD,ICDMetc.Journal:DataMiningandKnowledgeDiscoveryDatabasefield(SIGMODmemberCDROM):Conferenceproceedings:ACM-SIGMOD,ACM-PODS,VLDB,ICDE,EDBT,DASFAAJournals:AC