搜索
十大数据挖掘算法及各自优势•国际权威的学术组织theIEEEInternationalConferenceonDataMining(ICDM)2006年12月评选出了数据挖掘领域的十大经典算法：C4.5,k-Means,SVM,Apriori,EM,PageRank,AdaBoost,kNN,NaiveBayes,andCART.•不仅仅是选中的十大算法，其实参加评选的18种算法，实际上随便拿出一种来都可以称得上是经典算法，它们在数据挖掘领域都产生了极为深远的影响。SIAMSDM（美国计算机学会下属知识发现会议）ACMKDD（美国计算机学会下属数据挖掘会议）IEEEICDM（国际电器与电子工程师学会下属数据挖掘会议）1.C4.5•C4.5算法是机器学习算法中的一种分类决策树算法,其核心算法是ID3算法.C4.5算法继承了ID3算法的优点，并在以下几方面对ID3算法进行了改进：•1)用信息增益率来选择属性，克服了用信息增益选择属性时偏向选择取值多的属性的不足；•2)在树构造过程中进行剪枝；•3)能够完成对连续属性的离散化处理；•4)能够对不完整数据进行处理。•C4.5算法有如下优点：产生的分类规则易于理解，准确率较高。其缺点是：在构造树的过程中，需要对数据集进行多次的顺序扫描和排序，因而导致算法的低效。2.Thek-meansalgorithm即K-Means算法•k-meansalgorithm算法是一个聚类算法，把n的对象根据他们的属性分为k个分割，kn。•它与处理混合正态分布的最大期望算法很相似，因为他们都试图找到数据中自然聚类的中心。它假设对象属性来自于空间向量，并且目标是使各个群组内部的均方误差总和最小。3.Supportvectormachines•支持向量机，英文为SupportVectorMachine，简称SV机（论文中一般简称SVM）。它是一种監督式學習的方法，它广泛的应用于统计分类以及回归分析中。•支持向量机将向量映射到一个更高维的空间里，在这个空间里建立有一个最大间隔超平面。在分开数据的超平面的两边建有两个互相平行的超平面。分隔超平面使两个平行超平面的距离最大化。假定平行超平面间的距离或差距越大，分类器的总误差越小。•一个极好的指南是C.J.CBurges的《模式识别支持向量机指南》。vanderWalt和Barnard将支持向量机和其他分类器进行了比较。4.TheApriorialgorithm•Apriori算法(频繁项集)是一种最有影响的挖掘布尔关联规则频繁项集的算法。其核心是基于两阶段频集思想的递推算法。•该关联规则在分类上属于单维、单层、布尔关联规则。•在这里，所有支持度大于最小支持度的项集称为频繁项集，简称频集。5.最大期望(EM)算法•在统计计算中，最大期望（EM，Expectation–Maximization）算法是在概率（probabilistic）模型中寻找参数最大似然估计的算法，其中概率模型依赖于无法观测的隐藏变量（LatentVariabl）。•最大期望经常用在机器学习和计算机视觉的数据集聚（DataClustering）领域。6.PageRank•PageRank是Google算法的重要内容。2001年9月被授予美国专利，专利人是Google创始人之一拉里·佩奇（LarryPage）。因此，PageRank里的page不是指网页，而是指佩奇，即这个等级方法是以佩奇来命名的。•PageRank根据网站的外部链接和内部链接的数量和质量俩衡量网站的价值。PageRank背后的概念是，每个到页面的链接都是对该页面的一次投票，被链接的越多，就意味着被其他网站投票越多。•这个就是所谓的“链接流行度”——衡量多少人愿意将他们的网站和你的网站挂钩。PageRank这个概念引自学术中一篇论文的被引述的频度——即被别人引述的次数越多，一般判断这篇论文的权威性就越高。7.AdaBoost•Adaboost是一种迭代算法，其核心思想是针对同一个训练集训练不同的分类器(弱分类器)，然后把这些弱分类器集合起来，构成一个更强的最终分类器(强分类器)。•其算法本身是通过改变数据分布来实现的，它根据每次训练集之中每个样本的分类是否正确，以及上次的总体分类的准确率，来确定每个样本的权值。将修改过权值的新数据集送给下层分类器进行训练，最后将每次训练得到的分类器最后融合起来，作为最后的决策分类器。8.kNN:k-nearestneighborclassification•K最近邻(k-NearestNeighbor，KNN)分类算法，是一个理论上比较成熟的方法，也是最简单的机器学习算法之一。•该方法的思路是：如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别。绿色圆要被决定赋予哪个类，是红色三角形还是蓝色四方形？•如果K=3，由于红色三角形所占比例为2/3，绿色圆将被赋予红色三角形那个类•如果K=5，由于蓝色四方形比例为3/5，因此绿色圆被赋予蓝色四方形类。9.NaiveBayes•在众多的分类模型中，应用最为广泛的两种分类模型是决策树模型(DecisionTreeModel)和朴素贝叶斯模型（NaiveBayesianModel，NBC）。•朴素贝叶斯模型发源于古典数学理论，有着坚实的数学基础，以及稳定的分类效率。同时，NBC模型所需估计的参数很少，对缺失数据不太敏感，算法也比较简单。10.CART:分类与回归树•CART,ClassificationandRegressionTrees。•在分类树下面有两个关键的思想。•第一个是关于递归地划分自变量空间的想法；第二个想法是用验证数据进行剪枝。HITS•也是一个连接分析算法，它是由IBM首先提出的。在HITS，每个节点(网页)都有一个重要度和权威度(Hubsandauthorities,我也忘了具体的翻译是什么了)。通过反复通过权威度来求重要度，通过重要度来求权威度得到最后的权威度和重要度。BIRCH•也是一种聚类算法，其全称是BalancedIterativeReducingandClusteringusingHierarchies。BIRCH也是只是看了理论没具体实现过。是一个综合的层次聚类特征(ClusteringFeature,CF)和聚类特征树(CFTree)两个概念，用于概括聚类描述。•聚类特征树概括了聚类的有用信息，并且占用空间较元数据集合小得多，可以存放在内存中，从而可以提高算法在大型数据集合上的聚类速度及可伸缩性。GSP•全称为GeneralizedSequentialPattern(广义序贯模式)，是一种序列挖掘算法。对于序列挖掘没有仔细看过，应该是基于关联规则的吧！•GSP类似于Apriori算法，采用冗余候选模式的剪除策略和特殊的数据结构-----哈希树来实现候选模式的快速访存。PrefixSpan•一个类似Apriori的序列挖掘算法。Findingreduct•粗糙集约减算法。gSpan•图挖掘算法。HITS•HITS也是一个连接分析算法，它是由IBM首先提出的。在HITS，每个节点(网页)都有一个重要度和权威度(Hubsandauthorities,我也忘了具体的翻译是什么了)。通过反复通过权威度来求重要度，通过重要度来求权威度得到最后的权威度和重要度。•你对哪个算法感兴趣呢？•你想挖出什么“宝贝”呢？数据挖掘中易犯的10大错误•按照Elder博士的总结，这10大易犯错误包括：•0.缺乏数据（LackData）1.太关注训练（FocusonTraining）2.只依赖一项技术（RelyonOneTechnique）3.提错了问题（AsktheWrongQuestion）4.只靠数据来说话（Listen(only)totheData）5.使用了未来的信息（AcceptLeaksfromtheFuture）6.抛弃了不该忽略的案例（DiscountPeskyCases）7.轻信预测（Extrapolate）8.试图回答所有问题（AnswerEveryInquiry）9.随便地进行抽样（SampleCasually）10.太相信最佳模型（BelievetheBestModel）•吴信东（XindongWu），1963年9月生于安徽省枞阳县。曾任美国佛蒙特大学（UniversityofVermont）计算机科学系系主任和正教授，现任合肥工业大学计算机应用岗位长江学者讲座教授（2006年3月教育部批准接受），千人计划入选者，2010年11月当选为IEEEFellow。他是国际著名的数据挖掘研究与应用学者•1987年7月至1991年3月，合肥工业大学任助教。••1993年7月至2001年8月，先后在澳大利亚的詹姆士-库克大学（JamesCookUniversity）任讲师和莫那什大学（MonashUniversity）任高级讲师，以及美国的科州矿业学院（ColoradoSchoolofMines）任副教授。••2001年9月至今，在美国的佛蒙特大学（UniversityofVermont）计算机科学系任正教授和系主任。•近五年来，发表或被录用SCI期刊论文16篇、五个国际顶级会议KDD、ICDM、AAAI、IJCAI、ICML上的论文8篇。同时，作为数据挖掘领域最权威的国际期刊《IEEETransactionsonKnowledgeandDataEngineering》(TKDE)的现任主编，和两大国际顶级会议之一IEEEInternationalConferenceonDataMining(ICDM)的创办人和现任指导委员会主席，成为数据挖掘领域中领导学科发展、推动技术进步的国际学术带头人之一，2004年获得了ACMSIGKDD奉献奖。•IEEE计算机学会（IEEEComputerSociety）智能信息处理委员会（IEEEComputerSocietyTechnicalCommitteeonIntelligentInformatics）的主任（2002.4至今）；•国际顶级学报《IEEETransactionsonKnowledgeandDataEngineering》的主编（2005.1～2008.12）；以及8个顶级学术期刊的编委会；•Springer出版的国际学报《知识与信息系统》（KnowledgeandInformationSystems）的创办人、主编（1999.1～2004.12）和名誉主编（2005.1至今）；•国际电气和电子工程师协会（IEEE）“国际数据挖掘大会”（IEEEInternationalConferenceonDataMining）的创办人和指导委员会主席（2001年至今）；•Springer出版社《高级信息与知识处理》（AdvancedInformationandKnowledgeProcessing）系列丛书的两名主编之一（2001.1至今）；