adaboost算法

Adaboost2Adaboost算法•算法分析•算法步骤•训练过程•举例说明•算法介绍3•Adaboost算法介绍分类器：1、监督式分类器•线性分类器感知器，最小平方误差判别分析线性支持向量机•非线性分类器多层感知器神经网络非线性支持向量机，核函数机器•非数值方法——决策树•Adaboost2、非监督式分类器4•Adaboost算法介绍Bagging技术和boosting技术都通过将T个学习得到的分类法C1,C2…CT组合起来，从而创造一个改进的分类法C*Bagging技术：对训练集S进行T次迭代，每次通过放回取样选取样本集St，通过学习St得到分类法Ct对于未知样本X，每个分类法返回其类预测，作为一票C*统计得票，并将得票最高的预测赋予XBoosting技术：每个训练样本赋予一个权值Ct的权值取决于其错误率5•IdeaAdaBoost(AdaptiveBoosting,R.Scharpire,Y.Freund,ICML,1996)•Adaboost是一种迭代算法，其核心思想是针对同一个训练集训练不同的分类器（弱分类器），然后把这些弱分类器集合起来，构成一个更强的最终分类器（强分类器）。•Adaboost算法介绍6Backtoschool•Adaboost算法介绍•IdeaAdaBoost(AdaptiveBoosting,R.Scharpire,Y.Freund,ICML,1996)•Adaboost算法本身是通过改变数据分布来实现的，它根据每次训练集之中每个样本的分类是否正确，以及上次的总体分类的准确率，来确定每个样本的权值。将修改过权值的新数据集送给下层分类器进行训练，最后将每次得到的分类器最后融合起来，作为最后的决策分类器。7Backtoschool•Adaboost算法介绍•目前，对Adaboost算法的研究以及应用大多集中于分类问题，同时近年也出现了一些在回归问题上的应用。•就其应用adaboost系列主要解决了：两类问题、多类单标签问题、多类多标签问题、大类单标签问题，回归问题。•它用全部的训练样本进行学习。•使用adaboost分类器可以排除一些不必要的训练数据特征，并将关键放在关键的训练数据上面。8Backtoschool•Adaboost算法分析该算法其实是一个简单的弱分类算法提升过程，这个过程通过不断的训练，可以提高对数据的分类能力。1、先通过对N个训练样本的学习得到第一个弱分类器；2、将分错的样本和其他的新数据一起构成一个新的N个的训练样本，通过对这个样本的学习得到第二个弱分类器；3、将1和2都分错了的样本加上其他的新样本构成另一个新的N个的训练样本，通过对这个样本的学习得到第三个弱分类器4、最终经过提升的强分类器。即某个数据被分为哪一类要通过......的多数表决。9Backtoschool•Adaboost算法分析对于boosting算法，存在两个问题：1.如何调整训练集，使得在训练集上训练的弱分类器得以进行；2.如何将训练得到的各个弱分类器联合起来形成强分类器。10Backtoschool•Adaboost算法分析针对以上两个问题，AdaBoost算法进行了调整：1.使用加权后选取的训练数据代替随机选取的训练样本，这样将训练的焦点集中在比较难分的训练数据样本上；2.将弱分类器联合起来，使用加权的投票机制代替平均投票机制。让分类效果好的弱分类器具有较大的权重，而分类效果差的分类器具有较小的权重。11Backtoschool•Adaboost算法分析AdaBoost算法是Freund和Schapire根据在线分配算法提出的，他们详细分析了AdaBoost算法错误率的上界，以及为了使强分类器达到错误率，算法所需要的最多迭代次数等相关问题。与Boosting算法不同的是，AdaBoost算法不需要预先知道弱学习算法学习正确率的下限即弱分类器的误差，并且最后得到的强分类器的分类精度依赖于所有弱分类器的分类精度，这样可以深入挖掘弱分类器算法的能力。12Backtoschool•Adaboost算法分析AdaBoost算法中不同的训练集是通过调整每个样本对应的权重来实现的。开始时，每个样本对应的权重是相同的，即其中n为样本个数，在此样本分布下训练出一弱分类器。对于分类错误的样本，加大其对应的权重；而对于分类正确的样本，降低其权重，这样分错的样本就被突显出来，从而得到一个新的样本分布。在新的样本分布下，再次对样本进行训练，得到弱分类器。依次类推，经过T次循环，得到T个弱分类器，把这T个弱分类器按一定的权重叠加（boost）起来，得到最终想要的强分类器。13Backtoschool•Adaboost算法步骤AdaBoost算法的具体步骤如下：1.给定训练样本集S，其中X和Y分别对应于正例样本和负例样本；T为训练的最大循环次数；2.初始化样本权重为1/n，即为训练样本的初始概率分布；3.第一次迭代：(1)训练样本的概率分布相当，训练弱分类器;(2)计算弱分类器的错误率;(3)选取合适阈值，使得误差最小；(4)更新样本权重；经T次循环后，得到T个弱分类器，按更新的权重叠加，最终得到的强分类器。14Backtoschool•Adaboost算法步骤Adaboost算法是经过调整的Boosting算法，其能够对弱学习得到的弱分类器的错误进行适应性(Adaptive)调整。上述算法中迭代了T次的主循环，每一次循环根据当前的权重分布对样本x定一个分布P，然后对这个分布下的样本使用弱学习算法得到一个弱分类器，对于这个算法定义的弱学习算法，对所有的样本都有错误率，而这个错误率的上限并不需要事先知道，实际上。每一次迭代，都要对权重进行更新。更新的规则是：减小弱分类器分类效果较好的数据的概率，增大弱分类器分类效果较差的数据的概率。最终的分类器是个弱分类器的加权平均。15•Adaboost训练过程16•Adaboost训练过程17•Adaboost训练过程18•Adaboost算法实现19Backtoschool2021Backtoschool22Backtoschool23Backtoschool24Backtoschool25Backtoschool26Backtoschool27Backtoschool28Backtoschool29Backtoschool30Backtoschool0.1/（(1-0.3/0.3)*0.1*3+0.7)31Backtoschool32Backtoschool33Thankyou!Thankyou!