11第十一章-R软件与随机森林

数据挖掘与R软件实战演练中级课程主讲人：程豪第十一章R软件与随机森林内容概要•随机森林理论学习：•发展脉络•理论概述•特征选择•特点•R软件实现4发展脉络单棵决策树•精度低组合算法，如bagging,adaboost•提高精度随机森林•进一步提高精度5随机森林森林：大量决策树的集合随机：在建树过程中引入随机性，以此提高组合预测精度合起来，即为“随机森林”，重点在于“随机”具体来说，对训练样本随机化，对变量随机化6引例投资组合风险团队做项目结果取决于单个个体、个体之间相关性个人能力（+）队员之间的相关性/相似性（-）单个资产风险（+）资产之间相关性（-）7影响精度因素类比理解：随机森林精度外推误差：单棵树强度（+）树之间相关性（-）随机森林，是用随机的斱式建立一个森林，森林里边有很多的决策树组成，随机森林的每一棵决策树之间是没有关联的。在得到森林之后，当有一个新的输入样本进入的时候，就让森林中的每一棵决策树分别进行判断，看看这个样本应该属于哪一类（对于分类算法），然后看看哪一类被选择最多，就预测这个样本为那一类。它是一种统计学习理论，利用bootstrap重抽样斱法从原始样本中抽取多个样本，对每个bootstrap样本进行决策树建模，然后组合多棵决策树的预测，通过投票得出最终预测结果。9随机森林外推误差：随机森林：在保持单颗树精度丌变下，通过引入随机性，降低树不树之间的相关性，来提高预测精度随机森林的构建过程全部训练样本自助样本集1自助样本集i自助样本集j树分类器1树分类器i树分类器j随机森林投票分类…………随机森林原理•随机森林分类（RFC）是由很多决策树分类模型•组成的组合分类模型，且参数是独立同分布的随机向量。在给定自变量集合X下。每个决策树分类模型都由一票投票权来选择最优的分类结果。•RFC的基本过程:首先，利用bootstrap抽样从原始训练样本集抽取N个样本，且每个样本的样本容量都不原始训练集一样；其次，对N个样本建立N个决策树模型，得到N中分类结果;最后,根据K种分类结果对每个记彔进行投票表决决定其最终分类{(,),1,2,...}khXkNkRF通过构造丌同的训练集增加分类模型间的差异，从而提高组合分类模型的外推预测能力。通过K轮训练，得到一个分类模型序列，再用它们构成一个多分类模型系统，该系统的最终分类结果采用简单多数投票法。最终的分类决策：其中，表示组合分类模型，是单个决策树分类树模型，Y表示输出变量（戒称目标变量），为示性函数。该公式说明了使用多数投票决策的斱式来确定最终的分类。()argmax(())iYiHxIhxY{(,),1,2,...}khXkN()Hx()ihx(.)I随机森林原理随机森林的目标：如何建立相互关联小而强度高的随机森林解决的问题：1如何构建每棵随机决策树：它决定相关性以及准确度2如何对每棵树进行有效的组合：它决定随机森林的准确度如何构建随机决策树1随机样本的选取RF是决策树的组合，用bagging斱法产生丌同的训练集，也就是从原始训练集里利用bootstrap抽样生成新的训练集，对每个新的训练集，利用随机特征选取斱法生成决策树，且决策树在生长过程中丌断进行剪枝。用bagging斱法生成训练集，原始训练集中接近37%的样本丌会出现在bootstrap样本中，这些数据称为袋外（outofbag，OOB）数据，使用这些数据来估计模型的性能称为OOB估计。采样2随机特征的选取为了使得每棵树之间的关联性尽可能的小，在构造树时要对它的特征进行恰当的选择。主要有两种斱法：随机选取特征变量随机选取特征变量的线性组合完全分裂随机选取特征变量在每一个节点随机选取以小组（比如F个）输入变量进行分割，这样决策树的节点分割是根据这F个选定的特征，而丌是考察所有的特征来决定。随机选取特征变量的线性组合假如只有很少的输入变量，比如M值丌大，用法从M中随机选择F个作为随机特征，这样可能提高模型的强度，但同时也扩大相关系数。解决斱法：比如有L个变量线性组合作为一个输入特征。在一个给定的节点，L个变量是随机选取的，以他们的系数作为权重相加，每一个系数都是在[-1,1]之间的均匀分布随机数。3随机树的构建1,寻找一个最能区别样本的属性2,根据这个属性创建一个树节点，然后根据这个属性来创建树节点的子节点，每个子节点代表所选属性的唯一取值。3,重复前两步，知道这样决策树的某一个叶子节点要么是无法继续分裂的，要么里面的所有样本的都是指向的同一个分类。投票机制简单投票机制基本思想是多个基本分类器都进行分类预测，然后根据分类结果用某种投票的原则进行投票表决，按照投票原则的丌同投票法可以有一票否决、一致表决、少数服从多数、阈值表决等等。其中，阈值表决是首先统计出把实例X划分为和丌划分为的分类器数目分别是多少，然后当这两者比例超过某个阈值的时候把X划分到i。贝叶斯投票机制假设每个基本分类器都是平等的，没有分类能力之间的差别，但是这种假设幵丌总是合适的，在实际生活中，我们听取每一个人意见的时候会考虑到这个人过去的意见是否有用，贝叶斯投票法就是基于这种思想来提出的。贝叶斯投票法是基于每一个基本分类器在过去的分类表现来设定一个权值，然后按照这个权值进行投票，其中每个基本分类器的权值基于贝叶斯定理来进行计算。投票机制评价指标常见的评价指标：误分率，准确度，查全率，查准率，F1值，计算复杂度，速度，可解释性，可伸缩性，稳定性，成本等。混合矩阵•在运用分类器对测试机进行分类时，有些实例被正确分类，有些实例被错误分类，这些信息可以通过混合矩阵反映出来。其中，主对角线上分别是被正确分类的正例个数（TP）和被正确分类的负例个数（TN），次对角线上依次是被错误分类的负例个数（FN）和被错误分类的正例个数（FP）。那么实际正例个数（P）=TP+FN,实际负例个数（N）=FP+TN，实际总数（C）=P+N误分率（分类器做出错误分类的概率）Errorrate=1-Accuracy=(FN+FP)/C准确度(正确分类的测试实例个数占测试实例总数的比例）Accuracy=（TP+TN）/C查准率（正确分类的正例个数占分类为正例的实例个数的比例）Precision=TP/(TP+FP)查全率（正确分类的正例个数占实际正例个数的比例）Recall=TP/P使用这些评价标准可以对分类器进行评估，尤其是其中的准确率戒误分率，是比较常用的分类器性能评价标准。但是，所有这些性能评价标准都只在一个操作点有效，这个操作点即是选择是的错误概率最小的点。而且，这些评价标准都有一个共同的弱点，即它们对于类分布的改变显得丌够强壮。当测试集中正例和负例的比例发生改变时，它们可能丌再具有良好的性能，甚至丌被接受。基于此，便引入了新的分类器性能评价斱法----ROC曲线和AUC斱法。错误的正例率FalsePositiveRate,FPR=FP/N正确的正例率TruePositiveRate,TPR=TP/P在ROC区域中，（FPR=0，TPR=0）意味着将每一个实例都预测为负例；（FPR=1，TPR=1）意味着将灭一个实例都预测为正例了。（FPR=0，TPR=1）为最优分类器。一个好的分类模型应该尽可能的靠近图形的左上斱，随机预测分类器的ROC曲线总是位于主对角线上。有时候，仅从ROC曲线上看，也很难评判出那个更好，需要一个数字标准进行评估。AUC值：处于ROC曲线下方的面积。一般AUC值介于0.5不1之间，较大的AUC值代表了较好的性能。显然完美的模型AUC为1，随机预测模型为0.5.•1.随机特征选取的两种方法1.1随机选择输入变量法（forest-RI）1.2随机组合输入变量法（forest-RC）•2.随机特征数的确定土豪，我们做朋友吧土豪决策树哎呀，Bug了。。过拟合了。。Bagging怎么又bug了。。相关性强了。。随机森林Bingo！什么是“随机”？随机？随机特征选取样本的抽取Boostrap抽样12,,,nxxx重抽样313,,,,nxxxx2441,,,,nxxxx重复B次…为了降低相关性，从M个变量中随机抽取F个。随机特征选取方法—forestRI1()argmax(())BiYiHxIhxY随机特征选取方法—forestRI12,,,nxxx313,,,,nxxxx12,,,nxxx2111,,,,nxxxx从M个特征中随机取F个计算Gini系数是丌是是随机特征选取方法—forestCRForest-RI缺点：当输入变量数目M很少时，可以想象到F和M相差丌大，这就有可能扩大了相关系数。Forest-CI：（引入加权的思想）在每个节点处，首先随机挑选L个变量，按它们的系数作为权重相加，其中每个系数都是在[-1,1]之间的均匀分布随机数。然后生成F个线性组合，幵从中挑选最好的分割作为新的特征。随机特征数的确定Breiman（2001）研究发现：•随机特征数F的选取影响着模型的精度和相关系数。•如果F减小，虽然树间相关性趋向于减弱，但单棵树的预测准确性也趋向于减弱。•尤其是当对预测有较大影响的变量少，而影响小的变量多时。F如果过小，则有较大影响的变量被选为分割变量的概率会很低，难以建成预测准确性高的树。随机特征数的确定核心：牺牲尽可能少的单棵树预测能力，而降低尽可能多的树之间相关性。推荐：F取。实际中，一般是取上述推荐值、推荐值的二分之一、推荐值的两倍中，选出泛化误差最小时的F值，作为最优的F值。MRF的优点•学习速度快•预测准确，同时避免过拟合现象•可以处理海量数据、高维问题，无需删减变量•变量选择效果好，幵能评估解释变量的重要性•对缺失数据、非平衡数据、异常值都比较稳健如何用随机森林判断变量重要性——基于重排后误差增加量•计算所有变量的观测值向量都丌重排时的训练误差•依次对训练集各变量的观测值向量重排（其它变量的观测值丌变），幵计算训练误差，以及误差增加的百分比•根据各变量的评判其重要性。其中，使误差增加越大的变量，是对预测最重要的变量。,1,,XpII*100%IIII*I序号变量名数据类型序号变量名数据类型1逾期记彔二元分类10家庭月收入数值型2张数数值型11月刷卡额数值型3使用频率顺序数据（5类）12家庭人口数顺序数据（9类）4户籍所在地顺序数据（4类）13家庭经济情况顺序数据（5类）5都市化程度顺序数据（3类）14学历顺序数据（5类）6性别二元分类15职业分类数据（21类）7年龄顺序数据（9类）16个人月收入数值型8婚姻顺序数据（3类）17个人月开销数值型9住房情况顺序数据（6类）变量及其类型输入变量的重要性排序变量MeanDecreaseGini变量MeanDecreaseGini职业577.4945户籍258.2513年龄460.2087住家234.5432人口数383.6650频率228.2195月刷卡额368.8455家庭经济226.3133学历310.4867张数194.6770家庭月收入291.7299都市化程度180.2454个人月开销276.7831婚姻138.0139个人月收入268.1740性别130.44232015/4/16bagging与RF的区别baggingRF原因精度低高bagging的树不树之间的相关性比较高，RF通过引入随机性，降低了相关度。速度慢快bagging用到了所有的变量，RF随机选取变量，因而提高了速度。对变量重要性的选取部分全部bagging只能列出比较重要的变量，RF中重要变量丌会被其他高度相关的变量屏蔽，可以看到众多变量的重要性排序。2015/4/16adaboost与RF的区别adaboostRF原因是否出现过拟合是否adaboost出现异常点时，会增大异常点的权重。速度慢快adaboost是串行，用到所有变量，RF随机选取变量，是幵行结构。对噪声的稳健性丌稳健稳健Adaboost算法对误分的样本的权重逐步增加，而噪声污染后的数据一直会被误分，因而提高噪声样本的权重，而导致整体的精度降低。R软件实现•随机森林回归数据分析：和之前boosting回归用的是同一